Automatická indexace: Porovnání verzí

Značky: editace z Vizuálního editoru, možná chyba ve Vizuálním editoru
 
(Není zobrazeno 28 mezilehlých verzí od 6 dalších uživatelů.)
Řádek 1: Řádek 1:
<div style="background: white; border: solid 1px blue; -moz-border-radius: 15px; -webkit-border-radius: 15px; border-radius: 15px;">
+
[[Soubor:Indexation des publications et rédaction des fiches bibliographiques.jpg|náhled|vpravo|počátky indexace]]
<div style="border: solid 2px blue; margin: 2px; text-align: center; padding: 10px; -moz-border-radius: 15px; -webkit-border-radius: 15px; border-radius: 15px;">
+
Proces [[indexace|indexace]] realizovaný pomocí automatických postupů ve všech jeho fázích, tj. při výběru relevantních výrazů z textu v přirozeném jazyce a přiřazování termínů řízeného slovníku. <ref><i>TDKIV</i>. Dostupné také z: http://aleph.nkp.cz/F/?func=direct&doc_number=000001507&local_base=KTD</ref>
<div style="font-size: 125%; text-align: center">'''Stránka ve výstavbě'''</div>
+
O automatickém indexování se začalo hovořit někdy v 50. letech 20. století. Za jejím rozvojem stojí především obrovský růst využití výpočetní techniky.
{|
 
|width=10% align=center|[[Soubor:Inkwell icon - Noun Project 2512.svg|60px]]
 
|width=80%|''Na této stránce se právě pracuje. Prosím needitujte tuto stránku, dokud na ní zůstává tato šablona. Předejdete tak [[Nápověda:Editační konflikt|editačnímu konfliktu]]. {{#if: {{{1|}}} | Prosím dodržte lhůtu {{{1}}} od doby, kdy byla tato zpráva vložena (přesné datum vyhledejte v historii). Poté neváhejte šablonu odstranit.| Jestliže uběhla od poslední editace doba alespoň dvou dnů, neváhejte tuto šablonu odstranit.}}''
 
|width=10% align=center|[[Soubor:Inkwell icon - Noun Project 2512.svg|60px]]
 
|}
 
</div>
 
</div>
 
  
 +
== Počátky Automatické indexace ==
  
Proces indexace realizovaný pomocí automatických postupů ve všech jeho fázích, tj. při výběru relevantních výrazů z textu v přirozeném jazyce a přiřazování termínů řízeného slovníku. <ref><i>TDKIV</i>. Dostupné také z: http://aleph.nkp.cz/F/?func=direct&doc_number=000001507&local_base=KTD</ref>
+
Jako počátky automatické indexace bereme ukázku nové metody na Mezinárodní konferenci vědeckých informací,(International Conference on Scientific Information), která se konala ve Washingtonu v listopadu roku 1958. Názorně předvedená ukázka nové metody se stala senzací celé konference.<ref><i>KIVI (Knihovnictví a Informační Věda Informuje)</i> [online]. [cit. 2015-10-11]. Dostupné z: http://www.phil.muni.cz/kivi/clanky.php?cl=44</ref>
O automatickém indexování se začalo hovořit někdy v 50. letech 20. století. Za jejím rozvojem stojí především obrovský růst využití výpočetní techniky.
 
  
[[Soubor:Indexation des publications et rédaction des fiches bibliographiques.jpg|rám|vpravo|počátky indexace]]
+
== Výhody automatické indexace ==
  
 +
Hlavní výhodou automatické indexace je objem, který se dá oproti intelektuální indexaci zvládnout za použití podstatně menších prostředků, jež se zvyšují s počtem indexovaných dokumentů. Druhou nezanedbatelnou výhodou je eliminace subjektivních faktorů indexátora, jelikož veškeré úkony jsou prováděny bez lidského zásahu do výsledků.
  
==Počátky Automatické indexace==
+
== Typy automatické indexace ==
na Mezinárodní konferenci vědeckých informací (International Conference on Scientific Information), která se konala ve Washingtonu v listopadu roku 1958. Názorně předvedená ukázka nové metody se stala senzací celé konference.<ref><i>KIVI (Knihovnictví a Informační Věda Informuje)</i> [online]. [cit. 2015-10-11]. Dostupné z: http://www.phil.muni.cz/kivi/clanky.php?cl=44</ref>
 
  
==Výhody automatické indexace==
+
V automatické indexaci existují dva typy postupů tvorby indexu: slovní indexace (automatická extrakce) a pojmová indexace (automatické přiřazování).
Hlavní výhodou automatické indexace je objem, který se dá oproti intelektuální indexaci zvládnout za použití podstatně menších prostředků, jež se zvyšujem s počtem indexovaných dokumentů. Druhou nezanedbatelnou výhodou je eliminace subjektivních faktorů indexátora, jelikož veškeré úkony jsou prováděny bez lidského zásahu do výsledků.
 
==Typy automatické indexace==
 
  
V automatické indexaci existují dva typy postupů tvorby indexu: slovní indexace (automatická extrakce) a pojmová indexace (automatické přiřazování).
+
== Slovní indexace ==
  
==Slovní indexace==
 
 
Též označována jako Automatická extrakce. Je proces pracují s plným textem dokumentu z nějž extrahuje indexační termíny(pracuje tak za použití přirozeného jazyka). Tato metoda je snazší a pracuje s ní velká část současných indexačních systémů.
 
Též označována jako Automatická extrakce. Je proces pracují s plným textem dokumentu z nějž extrahuje indexační termíny(pracuje tak za použití přirozeného jazyka). Tato metoda je snazší a pracuje s ní velká část současných indexačních systémů.
==Pojmová indexace==
 
  
==Problémy==
+
== Pojmová indexace ==
I přes velmi pokročilou techniku a propracované postupy se stále nepodařilo dosáhnout výsledků jakých dosahují lidští indexátoři. Je to způsobeno problémy s kterými si vylepšené algoritmy stálě neporadí stejně dobře jako lidský mozek. Konkrétní příklady pro uvedení: homonyma, synonyma, sousloví,  proměnlivost významu slova v čase, jiný význam slov, citové zabarvení, nadřazenost a podřazenost termínů,termín vystihující obsah, složité vazby mezi termíny, který není v textu zmíněn , nebo termín, který slovník vůbec neobsahuje.
+
 
 +
Také označované jako Automatické přiřazování. Je metoda založena na poměřování termínů z znalostní báze a nebo řízeného slovníku s termíny z plného textu dokumentu.
 +
 
 +
== Problémy ==
  
==Využití automatické indexace==
+
I přes velmi pokročilou techniku a propracované postupy se stále nepodařilo dosáhnout výsledků jakých dosahují lidští indexátoři. Je to způsobeno problémy s kterými si vylepšené algoritmy stále neporadí stejně dobře jako lidský mozek. Konkrétní příklady pro uvedení: homonyma, synonyma, sousloví,  proměnlivost významu slova v čase, jiný význam slov, citové zabarvení, nadřazenost a podřazenost termínů,termín vystihující obsah, složité vazby mezi termíny, který není v textu zmíněn, nebo termín, který slovník vůbec neobsahuje.
 +
=== Lingvistické problémy automatické indexace lze rozdělit do těchto oblastí: <ref name="strossa">STROSSA, Petr. ''Vybrané kapitoly z počítačového zpracování přirozeného jazyka''. Opava: Slezská univerzita, 1999. ISBN 8072480413.</ref> ===
  
==Trendy==
+
=== 1) významnost jednotlivých slov pro charakterizaci obsahu celého textu ===
  
==Reference==
+
Snad každý text obsahuje slova, která pro indexaci nemají význam. Bývají to slova pro text důležitá z gramatického hlediska, nikoli lexikálního – tedy předložky, spojky, členy, zájmena, modální slovesa. V těchto případech se aplikují tzv. negativní slovníky (též slovníky zakázaných slov, stop-slovníky). Využijí se i tehdy, pokud text obsahuje nadměrné množství slov, třebaže s tématem úzce souvisejí (např. pro oblast zdravotnictví by to mohlo být slovo zdraví).
 +
 
 +
=== 2) tvarosloví přirozeného jazyka ===
 +
 
 +
Z hlediska tvarosloví (morfologie) jazyka bývají problémem při indexaci především slovanské jazyky, které oproti např. angličtině jsou plné skloňování a časování. Proti morfologické bohatosti jazyka je vhodné lemmatizačně ošetřit text. Vytvoří se tzv. lemmata, což jsou abstraktní lexikální jednotky, která zastupují množinu slov, která se k lemmatu vztahují. V konkrétních případech jde často o situace, kdy se rozhodne, že za lemma bude považován 1. pád jednotného čísla podstatného jména nebo kořen slova (např. pod lemma let spadají slova lety, letadla, letící, ale pozor na slovo století, to už má odlišný význam!).
 +
 
 +
=== 3) otázky synonymie a homonymie výrazů přirozeného jazyka ===
 +
 
 +
Pokud jsou v textu vztahy mezi slovy založené na úplném nebo částečném překrytí významu, pak lze tento problém vyřešit indexací pomocí tezaurů. Ty bývají terminologicky zaměřené na danou odbornou oblast. V tezauru se rozlišují dva termíny: deskriptor a nedeskriptor. Deskriptor je zástupce ekvivalentní třídy a existuje pro něj jeden až libovolné množství nedeskriptorů. Mezi deskriptory se pak vymezují vztahy nadřazenosti, podřazenosti, ekvivalence a asociace.
 +
 
 +
=== 4) číslice a znaky v textu ===
 +
 
 +
Při indexaci je také otázkou, jak se vypořádat v textu s číslicemi a symboly jako jsou interpunkce, spojovníky a jiné. Může se rozhodnout, že na ně během indexace nebude brán ohled – v takovém případě o tom ale musí ten, kdo zadává vyhledávací dotaz, vědět. Rozhodnutí každopádně vychází z povahy textu, např. historici potřebují indexovat číslice (letopočty), právníci požadují indexovat číslice v paragrafech zákonů a v biologii má význam indexovat číslice například v názvech vitamínů. V textech z oblasti počítačové vědy se indexují např. i tečky a podtržítka, která mají důležitou úlohu v názvech programů apod. (např. command.com)
 +
 
 +
== Odkazy ==
 +
 
 +
=== Reference ===
  
 
<references/>
 
<references/>
  
==Související články==
+
=== Externí odkazy ===
 +
 
 +
* [https://cs.wikipedia.org/wiki/Automatick%C3%A1_indexace Automatická indexace na české wikipedii]
 +
 
 +
=== Související články ===
 +
 
 +
* [[Výhody a úskalí základních typů indexace]]
 +
 
 +
=== Klíčová slova ===
 +
 
 +
Automatická indexace, indexace, indexování, heslování
  
==Externí odkazy==
 
  
 
[[Kategorie:Informační studia a knihovnictví]]
 
[[Kategorie:Informační studia a knihovnictví]]
 +
[[Kategorie:Zpracování informací a informační servis]]

Aktuální verze z 8. 10. 2018, 17:44

počátky indexace

Proces indexace realizovaný pomocí automatických postupů ve všech jeho fázích, tj. při výběru relevantních výrazů z textu v přirozeném jazyce a přiřazování termínů řízeného slovníku. [1] O automatickém indexování se začalo hovořit někdy v 50. letech 20. století. Za jejím rozvojem stojí především obrovský růst využití výpočetní techniky.

Počátky Automatické indexace

Jako počátky automatické indexace bereme ukázku nové metody na Mezinárodní konferenci vědeckých informací,(International Conference on Scientific Information), která se konala ve Washingtonu v listopadu roku 1958. Názorně předvedená ukázka nové metody se stala senzací celé konference.[2]

Výhody automatické indexace

Hlavní výhodou automatické indexace je objem, který se dá oproti intelektuální indexaci zvládnout za použití podstatně menších prostředků, jež se zvyšují s počtem indexovaných dokumentů. Druhou nezanedbatelnou výhodou je eliminace subjektivních faktorů indexátora, jelikož veškeré úkony jsou prováděny bez lidského zásahu do výsledků.

Typy automatické indexace

V automatické indexaci existují dva typy postupů tvorby indexu: slovní indexace (automatická extrakce) a pojmová indexace (automatické přiřazování).

Slovní indexace

Též označována jako Automatická extrakce. Je proces pracují s plným textem dokumentu z nějž extrahuje indexační termíny(pracuje tak za použití přirozeného jazyka). Tato metoda je snazší a pracuje s ní velká část současných indexačních systémů.

Pojmová indexace

Také označované jako Automatické přiřazování. Je metoda založena na poměřování termínů z znalostní báze a nebo řízeného slovníku s termíny z plného textu dokumentu.

Problémy

I přes velmi pokročilou techniku a propracované postupy se stále nepodařilo dosáhnout výsledků jakých dosahují lidští indexátoři. Je to způsobeno problémy s kterými si vylepšené algoritmy stále neporadí stejně dobře jako lidský mozek. Konkrétní příklady pro uvedení: homonyma, synonyma, sousloví, proměnlivost významu slova v čase, jiný význam slov, citové zabarvení, nadřazenost a podřazenost termínů,termín vystihující obsah, složité vazby mezi termíny, který není v textu zmíněn, nebo termín, který slovník vůbec neobsahuje.

Lingvistické problémy automatické indexace lze rozdělit do těchto oblastí: [3]

1) významnost jednotlivých slov pro charakterizaci obsahu celého textu

Snad každý text obsahuje slova, která pro indexaci nemají význam. Bývají to slova pro text důležitá z gramatického hlediska, nikoli lexikálního – tedy předložky, spojky, členy, zájmena, modální slovesa. V těchto případech se aplikují tzv. negativní slovníky (též slovníky zakázaných slov, stop-slovníky). Využijí se i tehdy, pokud text obsahuje nadměrné množství slov, třebaže s tématem úzce souvisejí (např. pro oblast zdravotnictví by to mohlo být slovo zdraví).

2) tvarosloví přirozeného jazyka

Z hlediska tvarosloví (morfologie) jazyka bývají problémem při indexaci především slovanské jazyky, které oproti např. angličtině jsou plné skloňování a časování. Proti morfologické bohatosti jazyka je vhodné lemmatizačně ošetřit text. Vytvoří se tzv. lemmata, což jsou abstraktní lexikální jednotky, která zastupují množinu slov, která se k lemmatu vztahují. V konkrétních případech jde často o situace, kdy se rozhodne, že za lemma bude považován 1. pád jednotného čísla podstatného jména nebo kořen slova (např. pod lemma let spadají slova lety, letadla, letící, ale pozor na slovo století, to už má odlišný význam!).

3) otázky synonymie a homonymie výrazů přirozeného jazyka

Pokud jsou v textu vztahy mezi slovy založené na úplném nebo částečném překrytí významu, pak lze tento problém vyřešit indexací pomocí tezaurů. Ty bývají terminologicky zaměřené na danou odbornou oblast. V tezauru se rozlišují dva termíny: deskriptor a nedeskriptor. Deskriptor je zástupce ekvivalentní třídy a existuje pro něj jeden až libovolné množství nedeskriptorů. Mezi deskriptory se pak vymezují vztahy nadřazenosti, podřazenosti, ekvivalence a asociace.

4) číslice a znaky v textu

Při indexaci je také otázkou, jak se vypořádat v textu s číslicemi a symboly jako jsou interpunkce, spojovníky a jiné. Může se rozhodnout, že na ně během indexace nebude brán ohled – v takovém případě o tom ale musí ten, kdo zadává vyhledávací dotaz, vědět. Rozhodnutí každopádně vychází z povahy textu, např. historici potřebují indexovat číslice (letopočty), právníci požadují indexovat číslice v paragrafech zákonů a v biologii má význam indexovat číslice například v názvech vitamínů. V textech z oblasti počítačové vědy se indexují např. i tečky a podtržítka, která mají důležitou úlohu v názvech programů apod. (např. command.com)

Odkazy

Reference

  1. TDKIV. Dostupné také z: http://aleph.nkp.cz/F/?func=direct&doc_number=000001507&local_base=KTD
  2. KIVI (Knihovnictví a Informační Věda Informuje) [online]. [cit. 2015-10-11]. Dostupné z: http://www.phil.muni.cz/kivi/clanky.php?cl=44
  3. STROSSA, Petr. Vybrané kapitoly z počítačového zpracování přirozeného jazyka. Opava: Slezská univerzita, 1999. ISBN 8072480413.

Externí odkazy

Související články

Klíčová slova

Automatická indexace, indexace, indexování, heslování