Shannonovo chápání informace: Porovnání verzí
| (Nejsou zobrazeny 4 mezilehlé verze od 4 dalších uživatelů.) | |||
| Řádek 1: | Řádek 1: | ||
| − | |||
=== Claude Elwood Shannon === | === Claude Elwood Shannon === | ||
[[Claude Shannon|Claude Elwood Shannon]] byl americký elektrotechnik a matematik, nazývaný též "''otec teorie informace''". Teorii informace, která významně ovlivnila celou řadu oborů, stvořil v [[Bell|Bellových]] laboratořích a v roce 1948 publikoval v časopise Bell System Technical Journal pod článkem "''The Mathematical Theory of Communication''". | [[Claude Shannon|Claude Elwood Shannon]] byl americký elektrotechnik a matematik, nazývaný též "''otec teorie informace''". Teorii informace, která významně ovlivnila celou řadu oborů, stvořil v [[Bell|Bellových]] laboratořích a v roce 1948 publikoval v časopise Bell System Technical Journal pod článkem "''The Mathematical Theory of Communication''". | ||
| − | |||
Společně s [[Weaver|Warrenem Weaverem]] je také autorem obecného [[model komunikace|modelu komunikace]]. | Společně s [[Weaver|Warrenem Weaverem]] je také autorem obecného [[model komunikace|modelu komunikace]]. | ||
| − | |||
'''Shannonova definice informace''': | '''Shannonova definice informace''': | ||
„Informace je míra množství neurčitosti nebo nejistoty o nějakém náhodném ději odstraněná realizací tohoto děje.“<ref>PŘICHYSTAL, Jan. Úvod do teorie informace. In: Úvod do teorie informace [online]. 2007 [cit. 2015-01-24]. Dostupné z: https://akela.mendelu.cz/~jprich/predn/teoinf.pdf</ref> | „Informace je míra množství neurčitosti nebo nejistoty o nějakém náhodném ději odstraněná realizací tohoto děje.“<ref>PŘICHYSTAL, Jan. Úvod do teorie informace. In: Úvod do teorie informace [online]. 2007 [cit. 2015-01-24]. Dostupné z: https://akela.mendelu.cz/~jprich/predn/teoinf.pdf</ref> | ||
| − | + | == Pojem BIT == | |
| − | |||
| − | |||
Shannon zevšeobecnil myšlenky R.Hartleyho, vydané v knize "''Přenos informace''". Oddělil syntaktickou část od sémantické, tedy odhlédl od významu zprávy a rozdělil ji na nejmenší možné jednotky - na jednotlivé znaky. Vyjádřil přenos informace matematicky. Jednotku informace nazval '''binary digit''' (dvojková číslice), neboli zkráceně '''bit'''. | Shannon zevšeobecnil myšlenky R.Hartleyho, vydané v knize "''Přenos informace''". Oddělil syntaktickou část od sémantické, tedy odhlédl od významu zprávy a rozdělil ji na nejmenší možné jednotky - na jednotlivé znaky. Vyjádřil přenos informace matematicky. Jednotku informace nazval '''binary digit''' (dvojková číslice), neboli zkráceně '''bit'''. | ||
| − | |||
Jeden [[bit]] nese informaci odpovědi na otázku - ANO-NE; máme tedy dvě možnosti a víme, že jedna z nich je platná. Tyto možnosti lze vyjádřit čísly (1,0). Počet bitů tedy určuje, kolikrát muselo dojít k rozhodnutí, než jsme došli ke správnému výsledku. | Jeden [[bit]] nese informaci odpovědi na otázku - ANO-NE; máme tedy dvě možnosti a víme, že jedna z nich je platná. Tyto možnosti lze vyjádřit čísly (1,0). Počet bitů tedy určuje, kolikrát muselo dojít k rozhodnutí, než jsme došli ke správnému výsledku. | ||
| − | |||
Tento počet rozhodnutí vypočteme vzorcem: | Tento počet rozhodnutí vypočteme vzorcem: | ||
| − | |||
'''<big>N = s<sup>n</sup></big>''' | '''<big>N = s<sup>n</sup></big>''' | ||
| − | |||
'''N''' je počet možných zpráv, | '''N''' je počet možných zpráv, | ||
'''n''' je délka zprávy (počítáno na jednotlivé znaky), | '''n''' je délka zprávy (počítáno na jednotlivé znaky), | ||
'''s''' je dvě (počet možností 1,0 - pravděpodobnost obou možností je stejná) | '''s''' je dvě (počet možností 1,0 - pravděpodobnost obou možností je stejná) | ||
| − | |||
| − | |||
počet bitů vypočteme vzorcem: | počet bitů vypočteme vzorcem: | ||
| − | |||
'''<big>I = log<sub>2</sub> N</big>''' | '''<big>I = log<sub>2</sub> N</big>''' | ||
| − | |||
1 bit je množství informace, které odstraňuje neurčitost, tedy [[Entropie v pojetí informační vědy|entropii]]. | 1 bit je množství informace, které odstraňuje neurčitost, tedy [[Entropie v pojetí informační vědy|entropii]]. | ||
| − | + | == Entropie informace == | |
| − | |||
| − | |||
Entropie (neuspořádanost nebo neurčitost) je základním pojmem v [[teorie informace|teorii informace]]. Znamená míru neurčitosti ve zprávě. Naopak informaci chápal jako odstranění této neurčitosti. | Entropie (neuspořádanost nebo neurčitost) je základním pojmem v [[teorie informace|teorii informace]]. Znamená míru neurčitosti ve zprávě. Naopak informaci chápal jako odstranění této neurčitosti. | ||
Tedy '''s narůstající informací klesá entropie a naopak'''. Shannonova entropie má význam střední hodnoty. | Tedy '''s narůstající informací klesá entropie a naopak'''. Shannonova entropie má význam střední hodnoty. | ||
| − | |||
Definoval ji takto: | Definoval ji takto: | ||
| − | |||
''"Předpokládáme existenci nějakého systému a současně předpokládáme samostatnou událost (nezávislou na předchozích událostech), která způsobí přechod systému do nového stavu. Předpokládejme n vzájemně se vylučujících stavů x, pravděpodobnost stavu i je p(i), pak entropie stavu x bude:''<ref>OTÝPKA, Miloslav. Entropie. In: Coptel Internetový portál [online]. 2011 [cit. 2015-01-24]. Dostupné z: http://coptel.coptkm.cz/index.php?action=2&doc=21116&docGroup=167&cmd=0&instance=1</ref> | ''"Předpokládáme existenci nějakého systému a současně předpokládáme samostatnou událost (nezávislou na předchozích událostech), která způsobí přechod systému do nového stavu. Předpokládejme n vzájemně se vylučujících stavů x, pravděpodobnost stavu i je p(i), pak entropie stavu x bude:''<ref>OTÝPKA, Miloslav. Entropie. In: Coptel Internetový portál [online]. 2011 [cit. 2015-01-24]. Dostupné z: http://coptel.coptkm.cz/index.php?action=2&doc=21116&docGroup=167&cmd=0&instance=1</ref> | ||
| − | + | [[File:vzorec.png|200px]] | |
| − | |||
| − | [[File:vzorec.png| | ||
| − | |||
Míra neurčitosti nemůže být v záporných hodnotách. Znaménko minus zde znamená, že entropie je záporná veličina. | Míra neurčitosti nemůže být v záporných hodnotách. Znaménko minus zde znamená, že entropie je záporná veličina. | ||
| − | |||
Shannon vyjádřil množství informace v jedné zprávě záporným logaritmem její pravděpodobnosti. | Shannon vyjádřil množství informace v jedné zprávě záporným logaritmem její pravděpodobnosti. | ||
| − | |||
| − | |||
'''Shannonova entropie bodech:''' | '''Shannonova entropie bodech:''' | ||
| + | *"Entropie jevu se rovná nule, když je tento jev jednoznačně určený. | ||
| + | *Entropie libovolného jevu se blíží k hodnotě nula (maximální určitosti systému), když se pravděpodobnost jevu blíží hodnotě jedna nebo nula. | ||
| + | *Entropie je kladné číslo, v krajním případě (pro P=1 nebo P=0) rovné 0. | ||
| + | *Entropie je maximální, při rovnoměrném rozložení pravděpodobnosti všech možných jevů. | ||
| + | *Entropie složeného pokusu, v kterém záleží na pořadí pokusů a kde jsou jevy navzájem nezávislé, je celková entropie rovna součtu entropií jednotlivých pokusů."<ref>Biokybernetika. In: Katedra biofyziky - Přírodovědecká fakulta [online]. [cit. 2015-01-24]. Dostupné z: http://biofyzika.upol.cz/userfiles/file/biokybernetika_6_informace.doc</ref> | ||
| − | + | ==Odkazy== | |
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
| − | |||
=== Reference === | === Reference === | ||
<references /> | <references /> | ||
| − | |||
| − | |||
| − | |||
| − | |||
=== Literatura === | === Literatura === | ||
Průkopníci informačního věku (10.): Claude Shannon. CIO Business World [online]. 2010, č. 11 [cit. 2015-01-24]. Dostupné z: http://businessworld.cz/cio-bw-special/prukopnici-informacniho-veku-10-claude-shannon-6969 | Průkopníci informačního věku (10.): Claude Shannon. CIO Business World [online]. 2010, č. 11 [cit. 2015-01-24]. Dostupné z: http://businessworld.cz/cio-bw-special/prukopnici-informacniho-veku-10-claude-shannon-6969 | ||
| − | + | [[Kategorie: Informační studia a knihovnictví]] | |
| − | [[Kategorie: Informační studia a knihovnictví | + | [[Kategorie:Teoretické a obecné aspekty knihovnictví a informací]] |
| + | [[Kategorie:Články k ověření učitelem Souček M]] | ||
Aktuální verze z 12. 3. 2018, 14:44
Obsah
Claude Elwood Shannon
Claude Elwood Shannon byl americký elektrotechnik a matematik, nazývaný též "otec teorie informace". Teorii informace, která významně ovlivnila celou řadu oborů, stvořil v Bellových laboratořích a v roce 1948 publikoval v časopise Bell System Technical Journal pod článkem "The Mathematical Theory of Communication". Společně s Warrenem Weaverem je také autorem obecného modelu komunikace. Shannonova definice informace: „Informace je míra množství neurčitosti nebo nejistoty o nějakém náhodném ději odstraněná realizací tohoto děje.“[1]
Pojem BIT
Shannon zevšeobecnil myšlenky R.Hartleyho, vydané v knize "Přenos informace". Oddělil syntaktickou část od sémantické, tedy odhlédl od významu zprávy a rozdělil ji na nejmenší možné jednotky - na jednotlivé znaky. Vyjádřil přenos informace matematicky. Jednotku informace nazval binary digit (dvojková číslice), neboli zkráceně bit. Jeden bit nese informaci odpovědi na otázku - ANO-NE; máme tedy dvě možnosti a víme, že jedna z nich je platná. Tyto možnosti lze vyjádřit čísly (1,0). Počet bitů tedy určuje, kolikrát muselo dojít k rozhodnutí, než jsme došli ke správnému výsledku. Tento počet rozhodnutí vypočteme vzorcem: N = sn N je počet možných zpráv, n je délka zprávy (počítáno na jednotlivé znaky), s je dvě (počet možností 1,0 - pravděpodobnost obou možností je stejná) počet bitů vypočteme vzorcem: I = log2 N 1 bit je množství informace, které odstraňuje neurčitost, tedy entropii.
Entropie informace
Entropie (neuspořádanost nebo neurčitost) je základním pojmem v teorii informace. Znamená míru neurčitosti ve zprávě. Naopak informaci chápal jako odstranění této neurčitosti.
Tedy s narůstající informací klesá entropie a naopak. Shannonova entropie má význam střední hodnoty.
Definoval ji takto:
"Předpokládáme existenci nějakého systému a současně předpokládáme samostatnou událost (nezávislou na předchozích událostech), která způsobí přechod systému do nového stavu. Předpokládejme n vzájemně se vylučujících stavů x, pravděpodobnost stavu i je p(i), pak entropie stavu x bude:[2]
Míra neurčitosti nemůže být v záporných hodnotách. Znaménko minus zde znamená, že entropie je záporná veličina. Shannon vyjádřil množství informace v jedné zprávě záporným logaritmem její pravděpodobnosti. Shannonova entropie bodech:
- "Entropie jevu se rovná nule, když je tento jev jednoznačně určený.
- Entropie libovolného jevu se blíží k hodnotě nula (maximální určitosti systému), když se pravděpodobnost jevu blíží hodnotě jedna nebo nula.
- Entropie je kladné číslo, v krajním případě (pro P=1 nebo P=0) rovné 0.
- Entropie je maximální, při rovnoměrném rozložení pravděpodobnosti všech možných jevů.
- Entropie složeného pokusu, v kterém záleží na pořadí pokusů a kde jsou jevy navzájem nezávislé, je celková entropie rovna součtu entropií jednotlivých pokusů."[3]
Odkazy
Reference
- ↑ PŘICHYSTAL, Jan. Úvod do teorie informace. In: Úvod do teorie informace [online]. 2007 [cit. 2015-01-24]. Dostupné z: https://akela.mendelu.cz/~jprich/predn/teoinf.pdf
- ↑ OTÝPKA, Miloslav. Entropie. In: Coptel Internetový portál [online]. 2011 [cit. 2015-01-24]. Dostupné z: http://coptel.coptkm.cz/index.php?action=2&doc=21116&docGroup=167&cmd=0&instance=1
- ↑ Biokybernetika. In: Katedra biofyziky - Přírodovědecká fakulta [online]. [cit. 2015-01-24]. Dostupné z: http://biofyzika.upol.cz/userfiles/file/biokybernetika_6_informace.doc
Literatura
Průkopníci informačního věku (10.): Claude Shannon. CIO Business World [online]. 2010, č. 11 [cit. 2015-01-24]. Dostupné z: http://businessworld.cz/cio-bw-special/prukopnici-informacniho-veku-10-claude-shannon-6969
Text je dostupný pod licencí Creative Commons Uveďte autora 3.0 Česko při dodržení případných autorských práv a dalších podmínek
© 2013 ISSN: 2336-5897
