Teorie informace

Tato teorie byla definovaná C. E. Shannonem jako "snížení neurčitosti systému" a matematicky vyjádřená jako logaritmus pravděpodobnosti nějakého jevu (přenosu zprávy) při rovnoměrném rozložení hustoty pravděpodobnosti. Pro pravděpodobnost 1/2 při dvojkovém logaritmu dostaneme jednotku zvanou bit. Bit je pouze míra informace, jako je metr nebo coul mírou vzdálenosti.

Základní schéma

• ZI: zdroj informace – člověk, stroj nebo příroda
• Kodér: informace je zakódována (= zpráva)
• Přenos: zakódovaná zpráva je poškozena šumem
• Dekodér: odkódováné zprávy (převedené do řeči, písma apod.)
• PI: příjemce informace

Zde je vidět, že informace není to, co máme v hlavě, ale to, co dokážeme sdělit někomu jinému. Přitom je jasné, že neexistuje způsob, kdy dekódovaná informace je úplně shodná s původní informací – sémantický obsah přenesený k příjemci není úplně shodný se sémantickým obsahem na straně zdroje informace.

Odtud je jasné, že pojem informace má mnoho rovin a že je těžké definovat pojem informace v plném rozsahu. Zároveň je jasné, že základním prvkem zpracování informace (tak aby vůbec mohla být přenesena od původce k příjemci) je kódování, tj. převedení informace do nějakého řetězce znaků (znaky mohou být např. také fonémy). Uvedeny jsou základní principy kódování.

Kódování

• Abeceda je (konečná) množina znaků používaných v daném kódu.
• Slovo = konečná posloupnost znaků z dané abecedy
• Délka slova = počet znaků ve slově

Kódování je převedení informace do zadaného kódu, případně převedení informace z jednoho kódu do druhého kódu. Při binárním kódování abeceda obsahuje pouze dva znaky 0 a 1 tj. A = {0,1}. Kód je zadán, pokud je zadána množina kódových slov, tj. podmnožina množiny všech možných slov. Obvykle je množina kódových slov zadána nějakou soustavou podmínek. V blokovém kódu je zpráva je rozdělena do částí (bloku) o stejné délce, každý blok je zakódován samostatně a zakódované bloky jsou spojeny do zakódované zprávy.

Množství informace

1 bit = jednotka informace = množství informace obsažené v binárním slově o délce jedna

Základní pojmy

• Zpráva - jakákoliv posloupnost rozlišitelných znaků
• Symboly - rozlišitelné prvky ve zprávě (grafické znázornění … znaky)
• Abeceda - množina všech symbolů
• Signál - materiální nositel zprávy
• Kódování - transformace zprávy vyjádřené pomocí 1 abecedy na zprávu vyjádřenou pomocí 2. abecedy
• Informace - vztah mezi symboly zprávy a okolním světem