Vyhodnocování relevance, role a druhy zpětné vazby v rešeršních službách
Obsah
Vyhodnocování relevance, role a druhy zpětné vazby v rešeršních službách
V rámci rešeršních služeb a rešeršních strategií i při každém jiném vyhledávání, získáváme různé výsledky na naše dotazy. Při vyhodnocování relevance výsledků, posuzujeme relevanci tj. významnost, důležitost vyhledaných dokumentů.
Relevancí podle TDKIV rozumíme:
• Relevance, relevantní informace (TDKIV) = Informace formálně nebo věcně shodné s dotazem zadaným uživatelem v přirozeném či selekčním jazyku
S relevancí se pojí také pojem pertinence. Pertinence, nebo-li pertinentní informace jsou (dle TDKIV) takové informace, které vyhovují subjektivním požadavkům uživatele na obsah informace nebo dokumentu.
Relevanci můžeme rozdělit na:
– Formální - shoda formulace rešeršního dotazu se selekčními údaji dokumentu
– Věcná - shoda obsahu informačního dotazu s obsahem vyhledaného dokumentu
Formální relevance
Formální relevance je také někdy označována jako systémová (binární, algoritmická) relevance.
• Informační systémy posuzují relevanci v závislosti na modelu vyhledávání, který používají (booleovský x vektorový x pravděpodobnostní …)
• Řazení podle relevance – Typické pro webové vyhledávače a discovery systémy – Také v některých „tradičních“ informačních systémech
Věcná relevance/pertinence
Věcná relevance, neb-li uživatelská relevance je rozlišení tématické, kognitivní (pertinence), motivační a situační relevance
• Mnohorozměrná, dynamická, součást informačního chování člověka
Kritéria uživatelské relevance
• Různé výzkumy, až několik desítek kritérií
• Klíčová kritéria potvrzená výzkumem (Xu&Chen, 2006)
– Tématičnost (topicality) – do jaké míry obsah dokumentu odpovídá tématu
– Spolehlivost (reliability) – do jaké míry je obsah dokumentu vnímán jako pravdivý, přesný a spolehlivý
– Pochopitelnost (understandability)– do jaké míry je obsah uživateli srozumitelný
– Novost (novelty) – do jaké míry přináší uživateli nové informace
– Rozsah (scope) – do jaké šíře a hloubky je téma zpracováno
Hodnocení výsledků rešerše – úplnost a přesnost
Při hodnocení vyhledaných výsledků se kromě kritérií viz výše musíme ptát na to, zda výsledky jsou úplné a nakolik jsou přesné. Pokud hledáme co nejpřesnější výsledky a zúžíme hledaný dotaz, je možné, že díky mnoha kritériím přijdeme i o jiné odpovídající výsledky. A naopak, pokud chceme obsáhnout dané téma co nejšířeji, je možné, že budeme muset prohledat velké množství výsledků, přičemž přesné a relevantní budou jen některé z nich. Úplnost a přesnost lze vypočítat dle následujících koeficientů.
• Úplnost (recall), koeficient úplnosti – poměr počtu nalezených relevantních záznamů k počtu všech relevantních dokumentů v databázi (vyjádřeno v procentech) [TDKIV)].
• Přesnost (precision), koeficient přesnosti – poměr počtu nalezených relevantních záznamů k celkovému počtu záznamů v rešerši