Metody dobývání znalostí z databází (data mining): Porovnání verzí

(Vše kromě chybné citace)
 
m (Všechno hotové)
Řádek 1: Řádek 1:
−
"''Dobývání znalostí z databází (také '''data mining''') je netriviální proces poznávání platných, dosud neznámých, potenciálně užitečných a srozumitelných vzorů v datech.''<ref>Advances in knowledge discovery and data mining / edited by Usama M. Fayyad ... [et al.]. 1996. ISBN 0262560976.</ref>"<br />
+
"''Dobývání znalostí z databází (také '''data mining''') je netriviální proces poznávání platných, dosud neznámých, potenciálně užitečných a srozumitelných vzorů v datech.''<ref>FAYYAD, Usama M. <i>Advances in knowledge discovery and data mining</i>. Menlo Park: AAAI Press, c1996.</ref>"<br />
  
 
Data mining se tedy chápe jako proces hledání vzorů v datech, vzor znamená určitý platný vztah na konkrétním souboru dat vyjádřený ve srozumitelné podobě. Podoba zahrnuje některé z forem modelů dat např. rozhodovací stromy, asociační pravidla, shlukové analýzy apod.<br />
 
Data mining se tedy chápe jako proces hledání vzorů v datech, vzor znamená určitý platný vztah na konkrétním souboru dat vyjádřený ve srozumitelné podobě. Podoba zahrnuje některé z forem modelů dat např. rozhodovací stromy, asociační pravidla, shlukové analýzy apod.<br />
Řádek 36: Řádek 36:
 
== Odkazy ==
 
== Odkazy ==
 
=== Reference ===
 
=== Reference ===
 +
<references/>
 
=== Použitá literatura ===
 
=== Použitá literatura ===
−
MAŘÍK, Vladimír, Olga ŠTĚPÁNKOVÁ a Jiří LAŽANSKÝ. Umělá inteligence (4). Praha: Academia, 2003. ISBN 8020010440.<br />
+
*MAŘÍK, Vladimír, Olga ŠTĚPÁNKOVÁ a Jiří LAŽANSKÝ. Umělá inteligence (4). Praha: Academia, 2003. ISBN 8020010440.<br />
−
BERKA, Petr. Dobývání znalostí z databází / Petr Berka. 2003. ISBN 8020010629.
+
*BERKA, Petr. Dobývání znalostí z databází / Petr Berka. 2003. ISBN 8020010629.
 
=== Související články ===
 
=== Související články ===
 
[[Umělá inteligence]]<br />
 
[[Umělá inteligence]]<br />
Řádek 44: Řádek 45:
 
[[Datové struktury]]
 
[[Datové struktury]]
 
=== Externí odkazy===
 
=== Externí odkazy===
−
What is the CRISP-DM methodology?. Smart Vision Europe [online]. [cit. 2018-05-20]. Dostupné z: https://www.sv-europe.com/crisp-dm-methodology/<br />
+
 
−
PLCHÚT, Martin. Dobývání znalostí z databází: Úvod a oblasti aplikací. Fakulta informačních technologií VUT [online]. [cit. 2018-05-20]. Dostupné z: http://www.fit.vutbr.cz/study/courses/ZZD/public/seminar0304/Uvod.pdf
+
*PLCHÚT, Martin. Dobývání znalostí z databází: Úvod a oblasti aplikací. Fakulta informačních technologií VUT [online]. [cit. 2018-05-20]. Dostupné z: http://www.fit.vutbr.cz/study/courses/ZZD/public/seminar0304/Uvod.pdf<br />
 +
*What is the CRISP-DM methodology?. Smart Vision Europe [online]. [cit. 2018-05-20]. Dostupné z: https://www.sv-europe.com/crisp-dm-methodology/
 
=== Klíčová slova ===
 
=== Klíčová slova ===
 
Získávání znalostí z databází, data mining, datová analýza, dolování dat, dobývání znalostí z databází
 
Získávání znalostí z databází, data mining, datová analýza, dolování dat, dobývání znalostí z databází

Verze z 20. 5. 2018, 13:31

"Dobývání znalostí z databází (také data mining) je netriviální proces poznávání platných, dosud neznámých, potenciálně užitečných a srozumitelných vzorů v datech.[1]"

Data mining se tedy chápe jako proces hledání vzorů v datech, vzor znamená určitý platný vztah na konkrétním souboru dat vyjádřený ve srozumitelné podobě. Podoba zahrnuje některé z forem modelů dat např. rozhodovací stromy, asociační pravidla, shlukové analýzy apod.
Data mining se používá pro zjišťování nových poznatků a hypotéz v protikladu ke klasické statistické analýze, která má za cíl je potvrdit nebo vyvrátit. Důvodem pro to, je velké množství různých druhů dat, se kterými operuje většina organizací, a ve kterých se můžou ukrývat dosud neznámá zajímavá zjištění.

Historie

Rozvoj data miningu podmiňoval v 70. a 80. letech 20. století nárůst výkonu a paměti počítačů, vývoj databázových technologií a počátku výzkumu umělé inteligence. Šířeji aplikovat se začal na počátku 90. let v USA v komerčním sektoru. Velké organizace vytvářely tak velké množství dat, že se již klasickými metodami nedaly analyzovat. Data mining se nejvíce používal v bankovnictví, pojišťovnictví, maloobchodním prodeji, přímém marketingu apod. V dnešní době big data “velkých dat”, se používání data miningu neustále zvyšuje, hojně se využívá např. web mining (získávání znalostí z webu) nebo text mining (získávání znalostí z dokumentů).

Metodologie

Ačkoliv není CRISP-DM jedinou standardizovanou metodologií vyvinutou pro data mining (viz např. SEMMA pro proprietální SAS), je nejuniverzálnější a nejčastěji používanou. CRISP-DM (Cross Industry Standard Process for Data Mining) byla vyvinuta v rámci výzkumného projektu Evropské komise a podílelo se na ní několik komerčních firem se zkušenostmi s data miningem. CRISP-DM popisuje jednotlivé oblasti data miningu s důrazem na vracení se k předchozím fázím a jejich neustálé upravování.

  • CRISP-DM

Popis fází

  • Porozumění problematice (Business Understanding) - zadání úlohy a cíle data miningu, může být vemi hrubé vymezení toho, co chce uživatel znát.
  • Porozumění datům (Data Understanding) - posouzení smyslu, kvality a významnosti dat.
  • Příprava dat (Data Preparation) - příprava dat před modelováním. Zahrnuje čištění dat, transformaci dat, slučování dat, práci s chybějícími hodnotami apod.
  • Modelování (Modeling) - tvorba modelů.
  • Vyhodnocení výsledků (Evaluation) - ověření správnosti modelů.
  • Využití výsledků (Deployment) - využití výsledků v praxi, z hlediska zadavatele nejdůležitější fáze.

Z praktického hlediska je časově nejnáročnější oblast přípravy dat. Pro úspěch data miningu jsou nejdůležitější fáze porozumění problematice, datům a využití výsledků. Uživatel se tak vyhne riziku tzv. GIGO (Garbage In - Garbage Out) - když nesmyslná a nepochopená vstupní data vedou ke špatným výsledkům.

Typy úloh

Základní typy úloh, které se odvíjejí od cílů data miningu se rozdělují na -

  • Predikce (klasifikace) - po klasifikaci na trénovací množině dat uživatel chce předpovídat další neznámé objekty např. analýza bonity potenciálního klienta.
  • Deskripce - uživatel chce získat povědomí o datech jako celku a orientovat se v nich, např. analýza nákupního košíku.
  • Hledání nuggetů - uživatel chce zjistit některé zajímavé odchylky od normálních hodnot, např. identifikace podvodníka.

Vybrané metody

Statistické -

  • Kontingenční tabulky
  • Regresní analýza
  • Shluková analýza
  • Diskriminační analýza

Strojové učení -

  • rozhodovací stromy
  • neuronové sítě
  • Bayesovské sítě
  • rozhodovací pravidla

Odkazy

Reference

  1. ↑ FAYYAD, Usama M. Advances in knowledge discovery and data mining. Menlo Park: AAAI Press, c1996.

Použitá literatura

  • MAŘÍK, Vladimír, Olga ŠTĚPÁNKOVÁ a Jiří LAŽANSKÝ. Umělá inteligence (4). Praha: Academia, 2003. ISBN 8020010440.
  • BERKA, Petr. Dobývání znalostí z databází / Petr Berka. 2003. ISBN 8020010629.

Související články

Umělá inteligence
Statistika
Datové struktury

Externí odkazy

Klíčová slova

Získávání znalostí z databází, data mining, datová analýza, dolování dat, dobývání znalostí z databází

Citováno z „https://wikisofia.cz/w/index.php?title=Metody_dobývání_znalostí_z_databází_(data_mining)&oldid=53850“