Data mining. Jaké jsou základní data miningové postupy, jaká je jejich podstata a k čemu slouží? Uveďte příklady využití data miningu v prostředí současného webu

Data mining (dobývání znalostí z databází) je netriviální proces poznávání platných, dosud neznámých, potenciálně užitečných a srozumitelných vzorů v datech. Data mining je nejrychleji rostoucím segmentem business intelligence. Dle definice TDKIV se jedná o technologie vyhledávání, modelování a prezentace předem neznámých informací, příp. znalostí a vztahů mezi daty v rozsáhlých databázích a datových skladech. Analýzy se odvozují přímo z obsahu dat, nikoliv na základě hypotéz či dotazů uživatele. Využívají se techniky umělé inteligence (neuronové sítě, rozpoznávání či samoučící se algoritmy), jež mohou být kombinovány s technikami statistického a matematického modelování (klasifikační pravidla nebo stromy, regrese a shluková analýza) a s nástroji OLAP. S pomocí data miningu se snažíme z ukládaných dat získat složitější a užitečnější informace než jen grafy a základní přehledy. Ze statistického úhlu pohledu se jedná o hledání korelací, tedy vyšetřování vzájemných vztahů nebo vzorů v datech. Smyslem je tedy analyzovat datové závislosti či určit trendy a pokud to typ dat umožňuje, předpovědět budoucí vývoj. Data mining se používá především v oblastech, kde se sbírá velké množství dat.

Data mining pomáhá hledat odpovědi na různé otázky. Za praktický příklad může posloužit třeba snaha o zefektivnění firemního e-shopu. Pomocí uložených údajů o přístupech lze určit typické problémy při procházení webu, vysledovat závislosti mezi objemem prodeje a datem uskutečnění, určit komponenty, které zákazníci za daný čas nakoupili a v jakém pořadí. Vznikne tak analýza nákupního chování spotřebitele. Na základě ní lze navýšit zakázku doporučením souvisejícího produktu. Příkladem je výhodné balení fotoaparátu a čisticí sady na objektiv, kdy čisticí sada využívá většího objemu prodeje fotografických přístrojů. Tvorba efektivnějších produktových balíčků, a vůbec celá marketingová strategie je jen jednou oblastí použití. Využití data miningu lze doporučit také v oblasti detekce potenciálních podvodů, kontroly kvality výroby v průmyslové sféře, v různých predikcích a v mnoha dalších oborech včetně chemických laboratoří a nemocnic.

Další typické příklady využití:

• údaje o klientech, pohyby na účtech (bankovnictví),
• údaje o volání (telefonní operátoři),
• informace o tom, jak lidé nakupují (obchodní řetězce a internetové obchody),
• pohyb uživatelů na internetu,
• datové informace o expresi genů (genetika),
• provozy zaznamenávají průběh provozních parametrů (průmysl).

Data mining probíhá v šesti krocích:

1. Definování problému, porozumění požadavků a stanovení cíle projektu. Také se zde navrhuje a tvoří plán pro řešení daného problému.
2. Porozumění datům je nezbytná součást procesu. Vytváří se první hypotézy, kdy se v průběhu celého procesu snažíme potvrdit, vyvrátit nebo najít jiná řešení, jak k problému přistupovat.
3. Příprava dat, integrace datových zdrojů, čištění a úprava dat do podoby, kterou vyžadují analytické nástroje a metody, které později budou na data aplikovány. Špatná integrace dat může vést ke znehodnocení zdrojů dat a ovlivnění celkové kvality řešení.
4. Modelování obsahuje testování vhodných metod a nastavení jejich parametrů pro řešení definovaného problému. Nejlepší získaná řešení postupují do dalšího kroku.
5. Při hodnocení dochází ke konečnému zhodnocení a selekci získaných modelů podle různých vlastností a ověření správnosti získaných řešení. Dle získaných výsledků je již možno zvážit případnou implementaci celého procesu.
6. Nasazení je posledním krokem v celém procesu. Pokud je rozhodnuto výsledky data miningu implementovat do svých procesů, je nezbytné modely udržovat aktuální. Vztahy v datech se časem mění, a pokud by systém nebyl pravidelně aktualizován, je velmi pravděpodobné, že by časem pozbyl jak kvality, tak i zcela své funkce.

CRISP-DM (CRoss Industry Standard Proces for Data Mining)

CRISP-DM Process Diagram

CRISP-DM je souhrnná metodologie dobývání znalostí z databází, která umožňuje provádět rozsáhlé projekty dobývání rychleji, efektivněji a méně nákladně prostřednictvím osvědčených postupů.

Základní etapy procesu dobývání jsou:

• Co řešit (porozumění problematice, formulování úlohy)
• Kde vzít data
• Jak data připravit
• Jak data analyzovat
• Co jsme zjistili (porozumění výsledkům)
• Jak výsledky využít

CRM

CRM (Customer Relationship Management - řízení vztahů se zákazníky) spočívá v nalezení a pokud možno pochopení zákazníkova chování. Jedná se obecně o princip obchodní strategie, kdy firma vědomě dbá na udržování kvalitních vztahů se zákazníky, jelikož si takto buduje dlouhodobé obchodní vazby, které jsou základem úspěšného podnikání. K realizaci této strategie pak firma používá speciální software, který je nejčastěji označován jako CRM systém.

CRM se dělí na dvě části:

• Operativní CRM: zahrnuje tvorbu marketingových kampaní a podporuje prodej. Obsahuje všechny prostředky pro komunikaci se zákazníkem (telefonicky, e-mailem, pop-up nabídky po přihlášení do uživatelského účtu atd.).
• Analytický CRM: analyzuje zákaznická data, tvoří vzorce chování podobných zákazníků a slouží jako podklad pro operativní CRM. Podstatou je tzv. Bussines intelligence, což je: souhrnný pojem pro procesy, technologie a nástroje potřebné k přetvoření dat do informací, informací do znalostí a znalostí do plánů, které umožní provést akce podporující splnění primárních cílů organizace. Právě zde, v analytickém CRM, je pro složité analýzy zákaznických dat využíván data mining.

Web mining

The general relationship between the categories of Web Mining and objectives of Data Mining

Web mining je součástí odvětví Data Mining. Jedná se v něm o uplatnění technik z data miningu k vyhledávání informací na webu. Je to extrakce zajímavých a potenciálně užitečných vzorů, zákonitostí a skrytých informací z artefaktů nebo aktivit provozovaných na World Wide Webu. Data pro Web Mining můžeme shromáždit z mnoha různých zdrojů. Jedním zdrojem dat jsou obsahy webových stránek, odkud můžeme získat zobrazovaný obsah, meta popis stránky, WWW odkazy či URL a jeho struktura. Druhým zdrojem jsou záznamy a data o chování uživatele, která se automaticky ukládají v logovacích souborech. Tyto soubory jsou na straně serverů, proxy serverů (=funguje jako prostředník mezi klientem a cílovým počítačem, překládá klientské požadavky a vůči cílovému počítači vystupuje sám jako klient) nebo na straně klienta. Data z těchto zdrojů se liší v jejich původu a klasifikaci.

Tato data můžeme roztřídit do čtyř skupin:

• Obsah – data, která jsou určena k tomu, aby byla prezentována uživatelům. Jsou to data, která se nacházejí na webových stránkách a skládají se z textu a grafiky, přičemž největší význam pro analýzy má textová složka.
• Struktura – uspořádání informací, které charakterizují strukturu obsahu. Mezistránková struktura je tvořena prostřednictvím hyperlinků, které spojují stánku s ostatními. Uspořádání HTML a XML tagů tvoří vnitrostránkovou strukturu.
• Užívání – data, která popisují vzory užívání webových stránek. Jsou to IP adresy či data a časy přístupů.
• Uživatelský profil – data, která poskytují demografické informace o uživatelích webových stránek. Jsou to registrační data a další informace o uživatelích.

Typy web miningu

Web structure mining

Web Structure Mining analyzuje vzájemné propojení webových stránek a studuje hyperlinkovou strukturu webu. Kategorizuje webové stránky a generuje informace, např. podobnost a vztah mezi webovými stránkami. Ze vzájemných hypertextových vazeb webových stránek je možné usuzovat na jejich tematickou podobnost. Web Structure Mining například transformuje webový prostor do orientovaného grafu a následně využívá techniky pro práci s grafy. Výsledkem je pak hierarchický model struktury webového prostoru.

Web content mining

Proces dobývání znalostí z obsahu webových stránek. Analyzuje textové složky stránek. Je to automatický proces, který jde až na extrakci klíčových slov. Protože dokumenty obsahují strojově nečitelnou sémantiku, některé přístupy navrhují restrukturovat obsah dokumentu do podoby, která může být využívána stroji.

Existují dvě skupiny web content miningových strategií:

• ty, které přímo dolují obsah dokumentů – Web Page Content Mining,
• a ty, které vylepšují obsahové pátrání dalších nástrojů, jako jsou vyhledávací stroje – Search Result Mining.

První ukládá polouspořádané informace z webu do databází a analyzuje je standardními databázovými dotazy a data miningovými technikami. Druhý využívá speciální agenty k hledání, filtrování a třídění dokumentů. Ti využívají různé techniky (doménová charakteristika, uživatelský profil, techniky výběru informací atd.) k organizování a interpretaci objevených informací.

Usage mining

Web Usage Mining je proces, který sleduje pohyb a analyzuje chování uživatele WWW stránek.

Web Style Mining

Web Style Mining se zabývá analýzou stylu a prezentace webových stránek. Ze stylu dokumentů, které jsou zobrazeny webovým prohlížečem, mohou být vytěženy cenné informace. Web Style Mining je možné aplikovat v oblastech: selekce založené na charakteristických stylech, indexování stylů, shlukování stylů, generování stylů a vyhledávání stylů.

Odkazy

Doporučená literatura

• PETR, Pavel. Data Mining. Vyd. 3. Pardubice: Univerzita Pardubice, 2010- . sv. ISBN 978-80-7395-325-6.
• HAN, Jiawei. Data mining: concepts and techniques [online]. 3rd ed. Burlington, Mass.: Elsevier, ©2012. The Morgan Kaufmann series in data management systems [cit. 2022-03-10]. Dostupné z: https://ebookcentral.proquest.com/lib/natl-ebooks/detail.action?docID=729031.
• KANTARDZIC, Mehmed. Data mining: concepts, models, methods, and algorithms. 2nd ed. Hoboken: Wiley, ©2011. xvii, 534 s. ISBN 978-0-470-89045-5.
• WITTEN, I. H. Data mining: practical machine learning tools and techniques [online]. 3rd ed. Amsterdam: Elsevier/Morgan Kaufmann, 2011 [cit. 2022-03-10]. Dostupné z: https://ebookcentral.proquest.com/lib/natl-ebooks/detail.action?docID=634862.
• RUD, Olivia Parr. Data mining: praktický průvodce dolováním dat pro efektivní prodej, cílený marketing a podporu zákazníků (CRM). Vyd. 1. Praha: Computer Press, 2001. 329 s. Rychle a jistě. Databáze. ISBN 80-7226-577-6.

Související články

• Metody dobývání znalostí z databází (data mining)
• Datová analytika: a) proces analýzy dat (data mining, zpracování, analýza a prezentace dat), b) použití, nástroje, možnosti a trendy
• Data
• Rozhodovací tabulky a stromy

Klíčová slova

data mining, web, data miningové postupy, dolování z dat, vytěžování dat, dobývání znalostí z databází