Data mining. Jaké jsou základní data miningové postupy, jaká je jejich podstata a k čemu slouží? Uveďte příklady využití data miningu v prostředí současného webu

Stránka ve výstavbě

Na této stránce se právě pracuje. Prosím needitujte tuto stránku, dokud na ní zůstává tato šablona. Předejdete tak editačnímu konfliktu. Jestliže uběhla od poslední editace doba alespoň dvou dnů, neváhejte tuto šablonu odstranit.

Data mining (dobývání znalostí z dobývání znalostí z databází) je netriviální proces poznávání platných, dosud neznámých, potenciálně užitečných a srozumitelných vzorů v datech. Data mining je nejrychleji rostoucím segmentem business intelligence. Dle definice TDKIV se jedná o technologie vyhledávání, modelování a prezentace předem neznámých informací, příp. znalostí a vztahů mezi daty v rozsáhlých databázích a datových skladech. Analýzy se odvozují přímo z obsahu dat, nikoliv na základě hypotéz či dotazů uživatele. Využívají se techniky umělé inteligence (neuronové sítě, rozpoznávání, samoučící se algoritmy), jež mohou být kombinovány s technikami statistického a matematického modelování (klasifikační pravidla nebo stromy, regrese, shluková analýza) a s nástroji OLAP. S jeho pomocí se snažíme z ukládaných dat získat složitější a užitečnější informace než jen grafy a základní přehledy. Ze statistického úhlu pohledu se jedná o hledání korelací, tedy vyšetřování vzájemných vztahů nebo vzorů v datech. Smyslem je tedy analyzovat datové závislosti, určit trendy, a pokud to typ dat umožňuje, předpovědět budoucí vývoj.

Data mining pomáhá hledat odpovědi na různé otázky. Za praktický příklad může posloužit třeba snaha o zefektivnění firemního e-shopu. Pomocí uložených údajů o přístupech lze určit typické problémy při procházení webu, vysledovat závislosti mezi objemem prodeje a datem uskutečnění, určit komponenty, které zákazníci za daný čas nakoupili a v jakém pořadí (cross-selling). Vznikne tak analýza nákupního chování spotřebitele. Na základě ní lze navýšit zakázku doporučením souvisejícího produktu. Příkladem je výhodné balení fotoaparátu a čisticí sady na objektiv, kdy čisticí sada využívá většího objemu prodeje fotografických přístrojů. Tvorba efektivnějších produktových balíčků, a vůbec celá marketingová strategie je jen jednou oblastí použití. Využití data miningu lze doporučit také v oblasti detekce potenciálních podvodů, kontroly kvality výroby v průmyslové sféře, v různých predikcích a v mnoha dalších oborech včetně chemických laboratoří a nemocnic.

Data mining se tedy používá především v oblastech, kde se sbírá velké množství dat. Typickými příklady obrovských datových souborů jsou například:

• údaje o klientech, pohyby na účtech (bankovnictví),
• údaje o volání (telefonní operátoři),
• informace o tom, jak lidé nakupují (obchodní řetězce a internetové obchody),
• pohyb uživatelů na internetu, datové informace o expresi genů (genetika),
• provozy zaznamenávají průběh provozních parametrů (průmysl).

Data mining probíhá v šesti krocích:

1. Definování problému, porozumění požadavků a stanovení cíle projektu. Také se zde navrhuje a tvoří plán pro řešení daného problému.
2. Porozumění datům je nezbytná součást procesu. Vytváří se první hypotézy, které se v průběhu celého procesu snažíme potvrdit, vyvrátit nebo najít jiná řešení, jak k problému přistupovat.
3. Příprava dat, integrace datových zdrojů, čištění a úprava dat do podoby, kterou vyžadují analytické nástroje a metody, které později budou na data aplikovány. Špatná integrace dat může vést ke znehodnocení zdrojů dat a ovlivnění celkové kvality řešení.
4. Modelování obsahuje testování vhodných metod a nastavení jejich parametrů pro řešení definovaného problému. Nejlepší získaná řešení postupují do dalšího kroku.
5. Při hodnocení dochází ke konečnému zhodnocení a selekci získaných modelů podle různých vlastností a ověření správnosti získaných řešení. Dle získaných výsledků je již možno zvážit případnou implementaci celého procesu.
6. Nasazení je posledním krokem v celém procesu. Pokud je rozhodnuto výsledky data miningu implementovat do svých procesů, je nezbytné modely udržovat aktuální. Vztahy v datech se časem mění, a pokud by systém nebyl pravidelně aktualizován, je velmi pravděpodobné, že by časem pozbyl jak kvality, tak i zcela své funkce.

CRISP-DM (CRoss Industry Standard Proces for Data Mining)

CRISP-DM Process Diagram

CRISP-DM je souhrnná metodologie dobývání znalostí z databází, umožňuje provádět rozsáhlé projekty dobývání rychleji, efektivněji a méně nákladně prostřednictvím osvědčených postupů.

Základní etapy procesu dobývání jsou:

• Co řešit (porozumění problematice, formulování úlohy)
• Kde vzít data
• Jak data připravit
• Jak data analyzovat
• Co jsme zjistili (porozumění výsledkům)
• Jak výsledky využít

Web mining

Web mining je uplatnění technik z data miningu k vyhledávání informací na webu. Je to extrakce zajímavých a potenciálně užitečných vzorů, zákonitostí a skrytých informací z artefaktů nebo aktivit provozovaných na World Wide Webu. Web Mining je součástí odvětví nazývaného Data Mining. Data pro Web Mining můžeme shromáždit z mnoha různých zdrojů. Jedním zdrojem dat jsou obsahy webových stránek, odkud můžeme získat zobrazovaný obsah, meta popis stránky, WWW odkazy, URL a jeho struktura, atd. Druhým zdrojem jsou záznamy a data o chování uživatele, která se automaticky ukládají v logovacích souborech, tyto soubory jsou na straně serverů, proxy serverů nebo na straně klienta. Data z těchto zdrojů se liší v jejich původu a klasifikaci.

Můžeme je roztřídit do čtyř skupin:

• Obsah – Data, která jsou určena k tomu, aby byla prezentována uživatelům. Jsou to data, která se nacházejí na webových stránkách, skládají se z textu a grafiky, přičemž největší význam pro analýzy má textová složka.
• Struktura – Uspořádání informací, které charakterizuje strukturu obsahu. Mezi-stránková struktura je tvořena prostřednictvím hyper-linků, které spojují stánku s ostatními. Uspořádání HTML a XML tagů tvoří vnitro-stránkovou strukturu.
• Užívání – To jsou data, která popisují vzory užívání webových stránek. Jsou to IP adresy, data a časy přístupů, atd.
• Uživatelský profil – data, která poskytují demografické informace o uživatelích webových stránek. Jsou to registrační data a další informace o uživatelích.

Typy web miningu

Web structure mining

Jak uživatel používá web (jaké linky) Web Structure Mining analyzuje vzájemné propojení webových stránek, studuje hyper-linkovou strukturu webu. Kategorizuje webové stránky a generuje informace, např. podobnost a vztah mezi webovými stránkami. Ze vzájemných hypertextových vazeb webových stránek je možné usuzovat na jejich tematickou podobnost. Web Structure Mining například transformuje webový prostor do orientovaného grafu a následně využívá techniky pro práci s grafy. Výsledkem je pak hierarchický model struktury webového prostoru.

Web content mining

Proces dobývání znalostí z obsahu webových stránek. Analyzuje textové složky stránek. Je to automatický proces, který jde až na extrakci klíčových slov. Protože dokumenty obsahují strojově nečitelnou sémantiku, některé přístupy navrhují restrukturovat obsah dokumentu do podoby, která může být využívána stroji.

Jsou dvě skupiny web content miningových strategií:

• ty, které přímo dolují obsah dokumentů – Web Page Content Mining,
• a ty, které vylepšují obsahové pátrání dalších nástrojů, jako jsou vyhledávací stroje – Search Result Mining

První ukládá polo-uspořádané informace z webu do databází a analyzuje je standardními databázovými dotazy a data-miningovými technikami. Druhý využívá speciální agenty k hledání, filtrování a třídění dokumentů. Ti využívají různé techniky (doménová charakteristika, uživatelský profil, techniky výběru informací, atd.) k organizování a interpretaci objevených informací.

Usage mining

Data z on-line formulářů. Web Usage Mining je proces, který sleduje pohyb a analyzuje chování uživatele WWW stránek. Této problematice se bude podrobně věnovat následující text.

Web Style Mining

Web Style Mining se zabývá analýzou stylu a prezentace webových stránek. Ze stylu dokumentů, které jsou zobrazeny webovým prohlížečem, mohou být vytěženy cenné informace. Tato metoda je poměrně nová a rozvíjí se především v Asii. Web Style Mining je možné aplikovat v oblastech: selekce založené na charakteristických stylech, indexování stylů, shlukování stylů, generování stylů a vyhledávání stylů.

Odkazy

Doporučená literatura

• PETR, Pavel. Data Mining. Vyd. 3. Pardubice: Univerzita Pardubice, 2010- . sv. ISBN 978-80-7395-325-6.
• HAN, Jiawei. Data mining: concepts and techniques [online]. 3rd ed. Burlington, Mass.: Elsevier, ©2012. The Morgan Kaufmann series in data management systems [cit. 2022-03-10]. Dostupné z: https://ebookcentral.proquest.com/lib/natl-ebooks/detail.action?docID=729031.
• KANTARDZIC, Mehmed. Data mining: concepts, models, methods, and algorithms. 2nd ed. Hoboken: Wiley, ©2011. xvii, 534 s. ISBN 978-0-470-89045-5.
• WITTEN, I. H. Data mining: practical machine learning tools and techniques [online]. 3rd ed. Amsterdam: Elsevier/Morgan Kaufmann, 2011 [cit. 2022-03-10]. Dostupné z: https://ebookcentral.proquest.com/lib/natl-ebooks/detail.action?docID=634862.
• RUD, Olivia Parr. Data mining: praktický průvodce dolováním dat pro efektivní prodej, cílený marketing a podporu zákazníků (CRM). Vyd. 1. Praha: Computer Press, 2001. 329 s. Rychle a jistě. Databáze. ISBN 80-7226-577-6.

Související články

• Metody dobývání znalostí z databází (data mining)
• Datová analytika: a) proces analýzy dat (data mining, zpracování, analýza a prezentace dat), b) použití, nástroje, možnosti a trendy
• Data
• Rozhodovací tabulky a stromy

Klíčová slova

data mining, web, data miningové postupy, dolování z dat, vytěžování dat, dobývání znalostí z databází