Automatická indexace: Porovnání verzí
m |
|||
| (Není zobrazeno 25 mezilehlých verzí od 6 dalších uživatelů.) | |||
| Řádek 1: | Řádek 1: | ||
| − | + | [[Soubor:Indexation des publications et rédaction des fiches bibliographiques.jpg|náhled|vpravo|počátky indexace]] | |
| − | |||
Proces [[indexace|indexace]] realizovaný pomocí automatických postupů ve všech jeho fázích, tj. při výběru relevantních výrazů z textu v přirozeném jazyce a přiřazování termínů řízeného slovníku. <ref><i>TDKIV</i>. Dostupné také z: http://aleph.nkp.cz/F/?func=direct&doc_number=000001507&local_base=KTD</ref> | Proces [[indexace|indexace]] realizovaný pomocí automatických postupů ve všech jeho fázích, tj. při výběru relevantních výrazů z textu v přirozeném jazyce a přiřazování termínů řízeného slovníku. <ref><i>TDKIV</i>. Dostupné také z: http://aleph.nkp.cz/F/?func=direct&doc_number=000001507&local_base=KTD</ref> | ||
O automatickém indexování se začalo hovořit někdy v 50. letech 20. století. Za jejím rozvojem stojí především obrovský růst využití výpočetní techniky. | O automatickém indexování se začalo hovořit někdy v 50. letech 20. století. Za jejím rozvojem stojí především obrovský růst využití výpočetní techniky. | ||
| − | + | == Počátky Automatické indexace == | |
| + | Jako počátky automatické indexace bereme ukázku nové metody na Mezinárodní konferenci vědeckých informací,(International Conference on Scientific Information), která se konala ve Washingtonu v listopadu roku 1958. Názorně předvedená ukázka nové metody se stala senzací celé konference.<ref><i>KIVI (Knihovnictví a Informační Věda Informuje)</i> [online]. [cit. 2015-10-11]. Dostupné z: http://www.phil.muni.cz/kivi/clanky.php?cl=44</ref> | ||
| − | == | + | == Výhody automatické indexace == |
| − | |||
| − | + | Hlavní výhodou automatické indexace je objem, který se dá oproti intelektuální indexaci zvládnout za použití podstatně menších prostředků, jež se zvyšují s počtem indexovaných dokumentů. Druhou nezanedbatelnou výhodou je eliminace subjektivních faktorů indexátora, jelikož veškeré úkony jsou prováděny bez lidského zásahu do výsledků. | |
| − | Hlavní výhodou automatické indexace je objem, který se dá oproti intelektuální indexaci zvládnout za použití podstatně menších prostředků, jež se | + | |
| − | ==Typy automatické indexace== | + | == Typy automatické indexace == |
V automatické indexaci existují dva typy postupů tvorby indexu: slovní indexace (automatická extrakce) a pojmová indexace (automatické přiřazování). | V automatické indexaci existují dva typy postupů tvorby indexu: slovní indexace (automatická extrakce) a pojmová indexace (automatické přiřazování). | ||
| − | ==Slovní indexace== | + | == Slovní indexace == |
| + | |||
Též označována jako Automatická extrakce. Je proces pracují s plným textem dokumentu z nějž extrahuje indexační termíny(pracuje tak za použití přirozeného jazyka). Tato metoda je snazší a pracuje s ní velká část současných indexačních systémů. | Též označována jako Automatická extrakce. Je proces pracují s plným textem dokumentu z nějž extrahuje indexační termíny(pracuje tak za použití přirozeného jazyka). Tato metoda je snazší a pracuje s ní velká část současných indexačních systémů. | ||
| − | ==Pojmová indexace== | + | |
| + | == Pojmová indexace == | ||
| + | |||
Také označované jako Automatické přiřazování. Je metoda založena na poměřování termínů z znalostní báze a nebo řízeného slovníku s termíny z plného textu dokumentu. | Také označované jako Automatické přiřazování. Je metoda založena na poměřování termínů z znalostní báze a nebo řízeného slovníku s termíny z plného textu dokumentu. | ||
| − | ==Problémy== | + | == Problémy == |
| − | I přes velmi pokročilou techniku a propracované postupy se stále nepodařilo dosáhnout výsledků jakých dosahují lidští indexátoři. Je to způsobeno problémy s kterými si vylepšené algoritmy | + | |
| + | I přes velmi pokročilou techniku a propracované postupy se stále nepodařilo dosáhnout výsledků jakých dosahují lidští indexátoři. Je to způsobeno problémy s kterými si vylepšené algoritmy stále neporadí stejně dobře jako lidský mozek. Konkrétní příklady pro uvedení: homonyma, synonyma, sousloví, proměnlivost významu slova v čase, jiný význam slov, citové zabarvení, nadřazenost a podřazenost termínů,termín vystihující obsah, složité vazby mezi termíny, který není v textu zmíněn, nebo termín, který slovník vůbec neobsahuje. | ||
| + | === Lingvistické problémy automatické indexace lze rozdělit do těchto oblastí: <ref name="strossa">STROSSA, Petr. ''Vybrané kapitoly z počítačového zpracování přirozeného jazyka''. Opava: Slezská univerzita, 1999. ISBN 8072480413.</ref> === | ||
| + | |||
| + | === 1) významnost jednotlivých slov pro charakterizaci obsahu celého textu === | ||
| + | |||
| + | Snad každý text obsahuje slova, která pro indexaci nemají význam. Bývají to slova pro text důležitá z gramatického hlediska, nikoli lexikálního – tedy předložky, spojky, členy, zájmena, modální slovesa. V těchto případech se aplikují tzv. negativní slovníky (též slovníky zakázaných slov, stop-slovníky). Využijí se i tehdy, pokud text obsahuje nadměrné množství slov, třebaže s tématem úzce souvisejí (např. pro oblast zdravotnictví by to mohlo být slovo zdraví). | ||
| + | |||
| + | === 2) tvarosloví přirozeného jazyka === | ||
| + | |||
| + | Z hlediska tvarosloví (morfologie) jazyka bývají problémem při indexaci především slovanské jazyky, které oproti např. angličtině jsou plné skloňování a časování. Proti morfologické bohatosti jazyka je vhodné lemmatizačně ošetřit text. Vytvoří se tzv. lemmata, což jsou abstraktní lexikální jednotky, která zastupují množinu slov, která se k lemmatu vztahují. V konkrétních případech jde často o situace, kdy se rozhodne, že za lemma bude považován 1. pád jednotného čísla podstatného jména nebo kořen slova (např. pod lemma let spadají slova lety, letadla, letící, ale pozor na slovo století, to už má odlišný význam!). | ||
| − | == | + | === 3) otázky synonymie a homonymie výrazů přirozeného jazyka === |
| − | + | Pokud jsou v textu vztahy mezi slovy založené na úplném nebo částečném překrytí významu, pak lze tento problém vyřešit indexací pomocí tezaurů. Ty bývají terminologicky zaměřené na danou odbornou oblast. V tezauru se rozlišují dva termíny: deskriptor a nedeskriptor. Deskriptor je zástupce ekvivalentní třídy a existuje pro něj jeden až libovolné množství nedeskriptorů. Mezi deskriptory se pak vymezují vztahy nadřazenosti, podřazenosti, ekvivalence a asociace. | |
| − | ==Reference== | + | === 4) číslice a znaky v textu === |
| + | |||
| + | Při indexaci je také otázkou, jak se vypořádat v textu s číslicemi a symboly jako jsou interpunkce, spojovníky a jiné. Může se rozhodnout, že na ně během indexace nebude brán ohled – v takovém případě o tom ale musí ten, kdo zadává vyhledávací dotaz, vědět. Rozhodnutí každopádně vychází z povahy textu, např. historici potřebují indexovat číslice (letopočty), právníci požadují indexovat číslice v paragrafech zákonů a v biologii má význam indexovat číslice například v názvech vitamínů. V textech z oblasti počítačové vědy se indexují např. i tečky a podtržítka, která mají důležitou úlohu v názvech programů apod. (např. command.com) | ||
| + | |||
| + | == Odkazy == | ||
| + | |||
| + | === Reference === | ||
<references/> | <references/> | ||
| − | ==Související články== | + | === Externí odkazy === |
| + | |||
| + | * [https://cs.wikipedia.org/wiki/Automatick%C3%A1_indexace Automatická indexace na české wikipedii] | ||
| + | |||
| + | === Související články === | ||
| + | |||
| + | * [[Výhody a úskalí základních typů indexace]] | ||
| + | |||
| + | === Klíčová slova === | ||
| + | |||
| + | Automatická indexace, indexace, indexování, heslování | ||
| − | |||
[[Kategorie:Informační studia a knihovnictví]] | [[Kategorie:Informační studia a knihovnictví]] | ||
| + | [[Kategorie:Zpracování informací a informační servis]] | ||
Aktuální verze z 8. 10. 2018, 17:44
Proces indexace realizovaný pomocí automatických postupů ve všech jeho fázích, tj. při výběru relevantních výrazů z textu v přirozeném jazyce a přiřazování termínů řízeného slovníku. [1] O automatickém indexování se začalo hovořit někdy v 50. letech 20. století. Za jejím rozvojem stojí především obrovský růst využití výpočetní techniky.
Obsah
Počátky Automatické indexace
Jako počátky automatické indexace bereme ukázku nové metody na Mezinárodní konferenci vědeckých informací,(International Conference on Scientific Information), která se konala ve Washingtonu v listopadu roku 1958. Názorně předvedená ukázka nové metody se stala senzací celé konference.[2]
Výhody automatické indexace
Hlavní výhodou automatické indexace je objem, který se dá oproti intelektuální indexaci zvládnout za použití podstatně menších prostředků, jež se zvyšují s počtem indexovaných dokumentů. Druhou nezanedbatelnou výhodou je eliminace subjektivních faktorů indexátora, jelikož veškeré úkony jsou prováděny bez lidského zásahu do výsledků.
Typy automatické indexace
V automatické indexaci existují dva typy postupů tvorby indexu: slovní indexace (automatická extrakce) a pojmová indexace (automatické přiřazování).
Slovní indexace
Též označována jako Automatická extrakce. Je proces pracují s plným textem dokumentu z nějž extrahuje indexační termíny(pracuje tak za použití přirozeného jazyka). Tato metoda je snazší a pracuje s ní velká část současných indexačních systémů.
Pojmová indexace
Také označované jako Automatické přiřazování. Je metoda založena na poměřování termínů z znalostní báze a nebo řízeného slovníku s termíny z plného textu dokumentu.
Problémy
I přes velmi pokročilou techniku a propracované postupy se stále nepodařilo dosáhnout výsledků jakých dosahují lidští indexátoři. Je to způsobeno problémy s kterými si vylepšené algoritmy stále neporadí stejně dobře jako lidský mozek. Konkrétní příklady pro uvedení: homonyma, synonyma, sousloví, proměnlivost významu slova v čase, jiný význam slov, citové zabarvení, nadřazenost a podřazenost termínů,termín vystihující obsah, složité vazby mezi termíny, který není v textu zmíněn, nebo termín, který slovník vůbec neobsahuje.
Lingvistické problémy automatické indexace lze rozdělit do těchto oblastí: [3]
1) významnost jednotlivých slov pro charakterizaci obsahu celého textu
Snad každý text obsahuje slova, která pro indexaci nemají význam. Bývají to slova pro text důležitá z gramatického hlediska, nikoli lexikálního – tedy předložky, spojky, členy, zájmena, modální slovesa. V těchto případech se aplikují tzv. negativní slovníky (též slovníky zakázaných slov, stop-slovníky). Využijí se i tehdy, pokud text obsahuje nadměrné množství slov, třebaže s tématem úzce souvisejí (např. pro oblast zdravotnictví by to mohlo být slovo zdraví).
2) tvarosloví přirozeného jazyka
Z hlediska tvarosloví (morfologie) jazyka bývají problémem při indexaci především slovanské jazyky, které oproti např. angličtině jsou plné skloňování a časování. Proti morfologické bohatosti jazyka je vhodné lemmatizačně ošetřit text. Vytvoří se tzv. lemmata, což jsou abstraktní lexikální jednotky, která zastupují množinu slov, která se k lemmatu vztahují. V konkrétních případech jde často o situace, kdy se rozhodne, že za lemma bude považován 1. pád jednotného čísla podstatného jména nebo kořen slova (např. pod lemma let spadají slova lety, letadla, letící, ale pozor na slovo století, to už má odlišný význam!).
3) otázky synonymie a homonymie výrazů přirozeného jazyka
Pokud jsou v textu vztahy mezi slovy založené na úplném nebo částečném překrytí významu, pak lze tento problém vyřešit indexací pomocí tezaurů. Ty bývají terminologicky zaměřené na danou odbornou oblast. V tezauru se rozlišují dva termíny: deskriptor a nedeskriptor. Deskriptor je zástupce ekvivalentní třídy a existuje pro něj jeden až libovolné množství nedeskriptorů. Mezi deskriptory se pak vymezují vztahy nadřazenosti, podřazenosti, ekvivalence a asociace.
4) číslice a znaky v textu
Při indexaci je také otázkou, jak se vypořádat v textu s číslicemi a symboly jako jsou interpunkce, spojovníky a jiné. Může se rozhodnout, že na ně během indexace nebude brán ohled – v takovém případě o tom ale musí ten, kdo zadává vyhledávací dotaz, vědět. Rozhodnutí každopádně vychází z povahy textu, např. historici potřebují indexovat číslice (letopočty), právníci požadují indexovat číslice v paragrafech zákonů a v biologii má význam indexovat číslice například v názvech vitamínů. V textech z oblasti počítačové vědy se indexují např. i tečky a podtržítka, která mají důležitou úlohu v názvech programů apod. (např. command.com)
Odkazy
Reference
- ↑ TDKIV. Dostupné také z: http://aleph.nkp.cz/F/?func=direct&doc_number=000001507&local_base=KTD
- ↑ KIVI (Knihovnictví a Informační Věda Informuje) [online]. [cit. 2015-10-11]. Dostupné z: http://www.phil.muni.cz/kivi/clanky.php?cl=44
- ↑ STROSSA, Petr. Vybrané kapitoly z počítačového zpracování přirozeného jazyka. Opava: Slezská univerzita, 1999. ISBN 8072480413.
Externí odkazy
Související články
Klíčová slova
Automatická indexace, indexace, indexování, heslování
Text je dostupný pod licencí Creative Commons Uveďte autora 3.0 Česko při dodržení případných autorských práv a dalších podmínek
© 2013 ISSN: 2336-5897
