Teorie informace

Tato teorie byla definovaná C. E. Shannonem jako "snížení neurčitosti systému" a matematicky vyjádřená jako logaritmus pravděpodobnosti nějakého jevu (přenosu zprávy) při rovnoměrném rozložení hustoty pravděpodobnosti. Pro pravděpodobnost 1/2 při dvojkovém logaritmu dostaneme jednotku zvanou bit. Bit je pouze míra informace, jako je metr nebo coul mírou vzdálenosti.