Optimální (entropické) kódování informačního zdroje

Popis

Podľa teórie informácie, entropické kódovanie je bezstratová kompresia dát, ktorá je nezávislá na vlastnostiach média.[1] Pri efektívnom kódovaní ide o to, nájsť také, pri ktorom bude priemerná prenosová rýchlosť správ cez informačný kanál čo najväčšia, t.j. priemerný počet signálov použitých na zakódovanie správy bude čo najmenší. Inými slovami, pri entropickom kódovaní sa nahrádzajú symboly rovnakej dĺžky vo vstupnej správe kódovými slovami rôznej dĺžky a to tak, že najčastejšie sa vyskytujúce symboly majú priradené najkratšie kódové slová.[2] Pre entropické kódovanie platí vlastnosť prefixu – žiadne kódové slovo nie je začiatkom iného kódového slova. Najznámejšie algoritmy entropického kódovania vynašli: C. Shannon, D. Huffman, R. Fano.[3]

Príklady entropického kódovania

Huffmanove kódovanie

  1. Entropy encoding. San Francisco: Wikimedia Foundation. Dostupné také z: https://en.wikipedia.org/wiki/Entropy_encoding
  2. UZEL,Petr. Entropické kodéry. 2009. Dostupné také z: https://is.cuni.cz/webapps/zzp/download/120008368/?lang=cs
  3. IVÁNEK, Jiří. Vybrané kapitoly z kódování informací. Praha, 2007. Dostupné také z: texty.jinonice.cuni.cz/studijni-texty/ivanek-jiri/ivanek_01.pdf/attachment_download/file