Entropie v pojetí informační vědy

míra informace, kterou nese jednotka, nebo také míra neurčitosti náhodného pokusu, množství informace potřebné k odstranění neurčitosti. Tvrzení vychází z předpokldu, že termín informace znamená : zpráva, která snižuje neurčitost. Znázorňuje se Shannonovým vzorcem:Shannonův vzorec. Původně se jednalo o pojem klasické termodynamiky který zavedl Rudolf Clausius ( "Přírůstek entropie v termodynamice znamená posun z více uspořádaného (rozlišitelného) do méně uspořádaného stavu fyzikálního systému. Tento jev je doprovázen energetickými změnami (např. atomová energie vzniká porušením uspořádání atomového jádra")."). Lze ji uplatnit v případě, že jsou složky systému smíšené. Pro výpočet musí být známá pravděpodobnost výskytu znaku. Míra informace stoupá, pakliže byl znak méně očekávaný. Informace je na entropii závislá.

Informace

Je to údaj o reálném prostředí, o jeho stavu a procesech které v něm probíhají. Jedná se o interdisciplinární pojem, kdy v se v každém oboru pracuje s informací z rozličných úhlů pohledu: Teorie informace, kybernetika, obecná teorie systémů, počítačová věda, informatika, sociální komunikace, sémiotika, sémantika, lingvistika, sociální informatika, informační estetika (Informační estetiku rozvinul A. Moles, který prováděl rozsáhlé výzkumy klasické hudby pomocí entropie. Umění chápal jako permutační proces. Skutečný informační obsah dle něj záleží na přijímači. Vnímání tohoto obsahu je určeno krátkodobou pamětí, konkrétně schopností zapamatovat si jednotlivé znaku jdoucí za sebou v intervalu 5 vteřin. Obsah krátkodobého je dáno součinem: Kk = Ck * T = 128 (bit). Tato hodnota byla stanovena jako kritérium srozumitelnosti díla. ). Čím větší je podíl informace, tím menší je podíl entropie.

Teorie informace

Za zakladatele jsou považováni američtí matematici Claude Shannon a Norbert Wiener, ve svých pracích poskytli matematicko-statistický pohled na informaci.

Claude Shannon

Zabýval se tokem informací sdílených lidmi pomocí nově vytvořených komunikačních technologií. Inspirovala ho práce výzkumníka pro Bellovy telefonní laboratoře. Přelomovou prací je výsledek bádání, při němž Shannon spolupracoval s Warrenem Weaverem - A Mathematical Theory of Communication, kde tvrdí, že z informace se musí odstranit sémantická složka a pro bádání ponechat pouze syntaktickou složku, pro odstranění neurčitosti. Z Informace se stává pojem.

Norbert Wiener

Doplnil Shannonovu práci. Zkoumal způsoby, jakými dochází k dorozumívání mezi stroji, jak jsou řízeny jako celek a udržovány v chodu. Informaci chápal jako nosič, který slouží jako prostředník mezi jednotlivými složkami systému. Zde popsané nazval kybernetika.