Problematika velkých dat. Big data.

Problematika velkých dat (Big data)

Díky obrovskému růstu dat, jejich propojování v rámci sítí a zdokonalování technologií se o datech přestalo uvažovat jako o něčem, co je statické, zastarává a ztrácí svou užitečnost. Dnes jsou již důležitou surovinou podnikání a cenným ekonomickým vstupem. Na základě rozdělení dat a jejich charakteristikou, která je popsána jako pět dimenzí velkých dat, objevujeme nové zdroje informací, transformujeme je do datového formátu a získáváme nové hodnoty informací.

Analýza velkých dat

Základní charakteristika analýzy velkých dat

1. Nečekaně přesné výsledky
2. Není potřebné vytvářet vzorek k testování
3. Vysoká úroveň korelace

Samotná velká data se musí podrobit složitému zpracování, aby korektně vypovídala o reálném světě. K tomu slouží nástroje, obchodní postupy a procesy založené na komplikovaných výpočtech a algoritmech. Komplexní algoritmy umožní rozsáhlou analýzu dat, avšak je stále nutné dbát na správnou interpretaci.

,,Příkladem budiž Tallin, ve kterém se pár chytrých hlav rozhodlo vyřešit problém husté dopravy a kvality ovzduší populárním i papírově efektivním způsobem. Veřejnou dopravou zdarma. Opírali se o korelaci mezi slevou a objemem prodejů, která je skutečně v mnoha případech zároveň kauzalitou. Snížení hustoty dopravy nebylo pozorováno, znečištění ovzduší nekleslo, naopak mírně vzrostlo. Proč? V případě osobní dopravy, tedy jízdou autem, platí jiná kauzalita. S růstem životní úrovně a disponibilního příjmu si prostě lidé, ať se to politikům a ekologům líbí nebo ne, kupují více automobilů a preferují je před veřejnou dopravou. Chcete-li snížit počet lidí přepravujících se v osobních automobilech, musíte zdražit jejich používaní, například mýtným pro vjezd do centra města."

Příklady oblastí využívání velkých dat

Doprava a cestovní ruch

V tomto odvětví se nejvíce uplatňují velké objemy dat o aktuální poloze z GPS. Počítače zpracují údaje a uživatel získá představu o aktuální dopravní situaci. Běžně řidiči užívají GPS navigace a aplikace jako např. Waze, které vyhodnocují vhodné náhradní trasy a tím přispívají k plynulosti provozu. Stejně dobře může fungovat lokalizace prostředků hromadné dopravy, kdy cestující mohou na mapách sledovat aktuální informace o zpoždění.

Telekomunikační společnosti

Velký potenciál mají informace o poloze mobilních telefonních čísel v reálném čase. Údaje mohou vypovídat o oběhu velké masy lidí a tím pomoci při organizaci a řízení dalších činností v oblasti dopravy, cestovního ruchu, zdravotnictví a péče o lidské zdraví.

Obchod

Funkčnost velkých dat v oblasti obchodu spatřujeme v analýze nákupních transakcí, které ovlivňují finanční a reklamní strategie. Firmy po celém světě vytváří vlastní programy a systémy, které kontrolují cenovou politiku svých konkurentů. Uvádí se, že objem obchodních dat se ročně zdvojnásobuje v každé společnosti na světě.

Amazon

Obchod, který začal prodávat knihy přes internet, se jako první zabýval otázkou jak zákazníkům doporučit konkrétní produkt na základě individuálních nákupních preferencí. Pracovníci Amazonu vymysleli kolaborativní filtrování získaných dat, které hledalo asociace mezi samotnými produkty. Na základě této metody Amazon proklamoval, že ví o svých zákazni

Veřejná správa

V tomto sektoru nacházíme velký počet dat o populaci. Díky těmto informacím, mohou orgány veřejné správy kvalitně hospodařit s rozpočtem. Na základě skladby obyvatelstva lze nastavovat služby dle potřeby. Například starší lidé vyžadují vyšší nároky na zdravotní péči, naopak děti a mládež potřebují fungující vzdělávací instituce.

Věda a výzkum

Čím dál více vědních oborů těží z velkého objemu nashromážděných dat, které mají různé formáty výstupu. Astronomie, meteorologie, bioinformatika a jiná odvětví vděčí za významné objevy právě sofistikovaným analýzám z velkých dat.

Projekty

Velký synoptický průzkumový dalekohled (LSST)

Tento kompaktní dalekohled o průměru 8, 4 metrů zaznamenává denně 30 bilionů bajtů obrazu.

The Sloan Digital Sky Survey: Mapping the Universe

Projekt, který má za cíl využitím té nejmodernější techniky a pokročilými analýzy objasňovat původ vesmíru. Přístroje během jednoho průzkumu zpracují okolo 60 bilionů bajtů dat.

Centrum pro simulaci klimatu (NCCS)

Díky superpočítačovému klastru, který vynalezli pracovníci NCCS při NASA bylo zaznamenáno 35 petabytů dat pozorování klimatu.

Google Trends

Jedním z největších zpracovatelů velkých dat je společnost Google a její sofistikované nástroje. Jako příklad uvádíme Google trends. Tato služba umožňuje uživateli zjistit, jak často byly po určitou dobu zadávány do vyhledávače Google konkrétní klíčová slova a témata. Díky tomu, že Google zpracuje každý den více než tři miliardy vyhledávacích dotazů a všechny je ukládá, má ke zpracování spoustu dat. Sledováním toho, co lidé vyhledávají na internetu, bylo například možné v roce 2009 předvídat, přesný výskyt viru chřipky H1N1 téměř v reálném čase. Vysvětlení tohoto jevu bylo prokázáno pomocí silné korelace – čím více lidí v určité lokalitě vyhledávalo pomocí vyhledávače Google jisté termíny, tím více lidí v daném místě má chřipku. Uvádí se, že Google každý den zpracovává 24 petabajtů dat. str. 61

Analýzy ze sociálních sítí

Nezanedbatelnou digitální stopu zanechávají lidé nejen na sociálních sítí, ale webových stránkách obecně. Na základě činností, které vykonáváme ve světě internetu, mohou společnosti analyzovat a zjišťovat uživatelské preference.

Velká data: rizika

Rozsah shromažďování, ukládání a opakovaného používání osobních údajů se stále rozšiřuje a nepochybně zasahuje stále více do soukromí obyčejných lidí. Moderní technologie dokonce odhalují osobnostní sklony a předvídají chování člověka. Velká data se také mohou stát nástrojem elity, která může jednoduše segregovat skupiny lidí.

Prevence – kontrola velkých dat

Ochrana soukromí: Přesun zodpovědnosti držitele dat za jejich zpracování -

Hodnocení sklonů: klást důraz na lidské působení a omezení intervence vycházejících z dat

Auditování algoritmů: monitorování a transparentnost velkých dat -

Velká data a knihovny

Základní perspektivy práce s velkými daty v knihovnách jsou zakotveny v personálním zastoupení a velkém množství polo strukturovaných dat. V knihovnách jsou dle své specializace zaměstnáni odborníci, kteří vidí informace obsažené v datech z jiných úhlů pohledu a tím napomáhají správné interpretaci. Do budoucna by měl být kladen vyšší nárok na vzdělání knihovníka v oblasti matematiky a analýzy dat.

Základní příležitosti velkých dat v knihovnách

Digitalizace

Internet věcí

Vizualizace

Tvorba znalostních databází

Proces zpracování a vizualizace Velkých dat

1) Získávání dat

2) Zpracování - převedení získaných dat do strojově čitelné podoby

3) Filtrování - stanovení kritérií

4) Dolování - získávání informací z množiny předložených dat

5) Reprezentace - převedení výsledků do vizuálně pochopitelné a přitažlivé podoby

6) Čištění - vylepšování získaného výsledku

7) Interpretace - získání té nejlepší možnosti pochopení obsahu

Kromě zmíněných příkladů týkajících se převážně informačních zdrojů, shromažďuje knihovna jako jako každá jiná instituce mnoho údajů, které by mohly být podrobeny analýze velkých dat z oblasti personalistiky, managementu a statistiky, které by se pozitivně podepsaly na chodu knihovny. Tímto způsobem se může vyhodnocovat pokles, nebo vzrůst zájmu o služby. Využití potenciálu velkých dat v knihovnách by do budoucna mohlo znamenat lepší vyhovění uživatelských požadavků a moudřejší rozhodování o rozpočtu.