Automatická indexace

počátky indexace

Proces indexace realizovaný pomocí automatických postupů ve všech jeho fázích, tj. při výběru relevantních výrazů z textu v přirozeném jazyce a přiřazování termínů řízeného slovníku. O automatickém indexování se začalo hovořit někdy v 50. letech 20. století. Za jejím rozvojem stojí především obrovský růst využití výpočetní techniky.

Počátky Automatické indexace

Jako počátky automatické indexace bereme ukázku nové metody na Mezinárodní konferenci vědeckých informací,(International Conference on Scientific Information), která se konala ve Washingtonu v listopadu roku 1958. Názorně předvedená ukázka nové metody se stala senzací celé konference.

Výhody automatické indexace

Hlavní výhodou automatické indexace je objem, který se dá oproti intelektuální indexaci zvládnout za použití podstatně menších prostředků, jež se zvyšují s počtem indexovaných dokumentů. Druhou nezanedbatelnou výhodou je eliminace subjektivních faktorů indexátora, jelikož veškeré úkony jsou prováděny bez lidského zásahu do výsledků.

Typy automatické indexace

V automatické indexaci existují dva typy postupů tvorby indexu: slovní indexace (automatická extrakce) a pojmová indexace (automatické přiřazování).

Slovní indexace

Též označována jako Automatická extrakce. Je proces pracují s plným textem dokumentu z nějž extrahuje indexační termíny(pracuje tak za použití přirozeného jazyka). Tato metoda je snazší a pracuje s ní velká část současných indexačních systémů.

Pojmová indexace

Také označované jako Automatické přiřazování. Je metoda založena na poměřování termínů z znalostní báze a nebo řízeného slovníku s termíny z plného textu dokumentu.

Problémy

I přes velmi pokročilou techniku a propracované postupy se stále nepodařilo dosáhnout výsledků jakých dosahují lidští indexátoři. Je to způsobeno problémy s kterými si vylepšené algoritmy stále neporadí stejně dobře jako lidský mozek. Konkrétní příklady pro uvedení: homonyma, synonyma, sousloví, proměnlivost významu slova v čase, jiný význam slov, citové zabarvení, nadřazenost a podřazenost termínů,termín vystihující obsah, složité vazby mezi termíny, který není v textu zmíněn, nebo termín, který slovník vůbec neobsahuje.

1) významnost jednotlivých slov pro charakterizaci obsahu celého textu

Snad každý text obsahuje slova, která pro indexaci nemají význam. Bývají to slova pro text důležitá z gramatického hlediska, nikoli lexikálního – tedy předložky, spojky, členy, zájmena, modální slovesa. V těchto případech se aplikují tzv. negativní slovníky (též slovníky zakázaných slov, stop-slovníky). Využijí se i tehdy, pokud text obsahuje nadměrné množství slov, třebaže s tématem úzce souvisejí (např. pro oblast zdravotnictví by to mohlo být slovo zdraví).

2) tvarosloví přirozeného jazyka

Z hlediska tvarosloví (morfologie) jazyka bývají problémem při indexaci především slovanské jazyky, které oproti např. angličtině jsou plné skloňování a časování. Proti morfologické bohatosti jazyka je vhodné lemmatizačně ošetřit text. Vytvoří se tzv. lemmata, což jsou abstraktní lexikální jednotky, která zastupují množinu slov, která se k lemmatu vztahují. V konkrétních případech jde často o situace, kdy se rozhodne, že za lemma bude považován 1. pád jednotného čísla podstatného jména nebo kořen slova (např. pod lemma let spadají slova lety, letadla, letící, ale pozor na slovo století, to už má odlišný význam!).

3) otázky synonymie a homonymie výrazů přirozeného jazyka

Pokud jsou v textu vztahy mezi slovy založené na úplném nebo částečném překrytí významu, pak lze tento problém vyřešit indexací pomocí tezaurů. Ty bývají terminologicky zaměřené na danou odbornou oblast. V tezauru se rozlišují dva termíny: deskriptor a nedeskriptor. Deskriptor je zástupce ekvivalentní třídy a existuje pro něj jeden až libovolné množství nedeskriptorů. Mezi deskriptory se pak vymezují vztahy nadřazenosti, podřazenosti, ekvivalence a asociace.

4) číslice a znaky v textu

Při indexaci je také otázkou, jak se vypořádat v textu s číslicemi a symboly jako jsou interpunkce, spojovníky a jiné. Může se rozhodnout, že na ně během indexace nebude brán ohled – v takovém případě o tom ale musí ten, kdo zadává vyhledávací dotaz, vědět. Rozhodnutí každopádně vychází z povahy textu, např. historici potřebují indexovat číslice (letopočty), právníci požadují indexovat číslice v paragrafech zákonů a v biologii má význam indexovat číslice například v názvech vitamínů. V textech z oblasti počítačové vědy se indexují např. i tečky a podtržítka, která mají důležitou úlohu v názvech programů apod. (např. command.com)

Odkazy

Externí odkazy

• Automatická indexace na české wikipedii

Související články

• Výhody a úskalí základních typů indexace

Klíčová slova

Automatická indexace, indexace, indexování, heslování