Tato teorie byla definovaná C. E. Shannonem jako "snížení neurčitosti systému" a matematicky vyjádřená jako logaritmus pravděpodobnosti nějakého jevu (přenosu zprávy) při rovnoměrném rozložení hustoty pravděpodobnosti. Pro pravděpodobnost 1/2 při dvojkovém logaritmu dostaneme jednotku zvanou bit. Bit je pouze míra informace, jako je metr nebo coul mírou vzdálenosti.

Základní schéma

[[Soubor:Teorie.png]]

Citováno z „https://wikisofia.cz/w/index.php?title=Teorie_informace&oldid=53740“