Entropie v pojetí informační vědy

Entropie je míra informace, kterou nese jednotka, nebo také míra neurčitosti náhodného pokusu, množství informace potřebné k odstranění neurčitosti. Tvrzení vychází z předpokladu, že termín informace znamená zprávu, která snižuje neurčitost. Znázorňuje se Shannonovým vzorcem: Shannonův vzorec. Původně se jednalo o pojem klasické termodynamiky, který zavedl Rudolf Clausius ("Přírůstek entropie v termodynamice znamená posun z více uspořádaného (rozlišitelného) do méně uspořádaného stavu fyzikálního systému. Tento jev je doprovázen energetickými změnami (např. atomová energie vzniká porušením uspořádání atomového jádra").[1]. Lze ji uplatnit v případě, že jsou složky systému smíšené. Pro výpočet musí být známá pravděpodobnost výskytu znaku. Míra informace stoupá, pakliže byl znak méně očekávaný. Informace je na entropii závislá.

Informace

Je to údaj o reálném prostředí, o jeho stavu a procesech, které v něm probíhají. Jedná se o interdisciplinární pojem, kdy se v každém oboru pracuje s informací z rozličných úhlů pohledu: teorie informace, kybernetika, obecná teorie systémů, počítačová věda, informatika, sociální komunikace, sémiotika, sémantika, lingvistika, sociální informatika, informační estetika (Informační estetiku rozvinul A. Moles, který prováděl rozsáhlé výzkumy klasické hudby pomocí entropie. Umění chápal jako permutační proces. Skutečný informační obsah dle něj záleží na přijímači. Vnímání tohoto obsahu je určeno krátkodobou pamětí, konkrétně schopností zapamatovat si jednotlivé znaku jdoucí za sebou v intervalu 5 vteřin. Obsah krátkodobého je dáno součinem: Kk = Ck * T = 128 (bit). Tato hodnota byla stanovena jako kritérium srozumitelnosti díla.). Čím větší je podíl informace, tím menší je podíl entropie.)

Teorie informace

Za zakladatele jsou považováni američtí matematici Claude Shannon a Norbert Wiener, ve svých pracích poskytli matematicko-statistický pohled na informaci.

Claude Shannon

Zabýval se tokem informací sdílených lidmi pomocí nově vytvořených komunikačních technologií. Ve svých třiatřiceti letech se Claude Shannon stal jednou z vůdčích osobností dvou vznikajících oborů: informatiky a kybernetiky. [2]Inspirovala ho práce výzkumníka pro Bellovy telefonní laboratoře. Přelomovou prací je výsledek bádání, při němž Shannon spolupracoval s Warrenem Weaverem - A Mathematical Theory of Communication, kde tvrdí, že z informace se musí odstranit sémantická složka a pro bádání ponechat pouze syntaktickou složku, pro odstranění neurčitosti. Z Informace se stává pojem.

Norbert Wiener

Doplnil Shannonovu práci. Zkoumal způsoby, jakými dochází k dorozumívání mezi stroji, jak jsou řízeny jako celek a udržovány v chodu. Informaci chápal jako nosič, který slouží jako prostředník mezi jednotlivými složkami systému. Zde popsané nazval kybernetikaJe považován za „otce kybernetiky“, nauky zkoumající abstraktní principy komplexních systémů a způsoby přenosu a zpracování informací. Jeho teorie zásadním způsobem ovlivnila nejen IT.[3]

Odkazy

Reference

  1. Katedra biofyziky | Přírodovědecká fakulta Univerzity Palackého v Olomouc. [online].
  2. Průkopníci informačního věku (10.). [online].
  3. Průkopníci informačního věku (11.): Norbert Wiener. [online].

Použitá literatura

Související články

Čtyři aspekty informace (Buckland)
Shannonovo chápání informace
Norbert Wiener

Externí odkazy

Entropie na Wikipedii

klíčová slova

informace, entropie, termodynamika, teorie informace