Vyhodnocování relevance, role a druhy zpětné vazby v rešeršních službách

Vyhodnocování relevance, role a druhy zpětné vazby v rešeršních službách

V rámci rešeršních služeb a rešeršních strategií i při každém jiném vyhledávání, získáváme různé výsledky na naše dotazy. Při vyhodnocování relevance výsledků, posuzujeme relevanci tj. významnost, důležitost vyhledaných dokumentů.

Relevancí podle TDKIV rozumíme:

Relevance, relevantní informace (TDKIV) = Informace formálně nebo věcně shodné s dotazem zadaným uživatelem v přirozeném či selekčním jazyku

S relevancí se pojí také pojem pertinence. Pertinence, nebo-li pertinentní informace jsou (dle TDKIV) takové informace, které vyhovují subjektivním požadavkům uživatele na obsah informace nebo dokumentu.

Relevanci můžeme rozdělit na:

Formální - shoda formulace rešeršního dotazu se selekčními údaji dokumentu

Věcná - shoda obsahu informačního dotazu s obsahem vyhledaného dokumentu

Formální relevance

Formální relevance je také někdy označována jako systémová (binární, algoritmická) relevance.

• Informační systémy posuzují relevanci v závislosti na modelu vyhledávání, který používají (booleovský x vektorový x pravděpodobnostní …)

• Řazení podle relevance – Typické pro webové vyhledávače a discovery systémy – Také v některých „tradičních“ informačních systémech

Věcná relevance/pertinence

Věcná relevance, neb-li uživatelská relevance je rozlišení tématické, kognitivní (pertinence), motivační a situační relevance

• Mnohorozměrná, dynamická, součást informačního chování člověka

Kritéria uživatelské relevance

• Různé výzkumy, až několik desítek kritérií

• Klíčová kritéria potvrzená výzkumem (Xu&Chen, 2006)

Tématičnost (topicality) – do jaké míry obsah dokumentu odpovídá tématu

Spolehlivost (reliability) – do jaké míry je obsah dokumentu vnímán jako pravdivý, přesný a spolehlivý

Pochopitelnost (understandability)– do jaké míry je obsah uživateli srozumitelný

Novost (novelty) – do jaké míry přináší uživateli nové informace

Rozsah (scope) – do jaké šíře a hloubky je téma zpracováno

Hodnocení výsledků rešerše – úplnost a přesnost

Při hodnocení vyhledaných výsledků se kromě kritérií viz výše musíme ptát na to, zda výsledky jsou úplné a nakolik jsou přesné. Pokud hledáme co nejpřesnější výsledky a zúžíme hledaný dotaz, je možné, že díky mnoha kritériím přijdeme i o jiné odpovídající výsledky. A naopak, pokud chceme obsáhnout dané téma co nejšířeji, je možné, že budeme muset prohledat velké množství výsledků, přičemž přesné a relevantní budou jen některé z nich. Úplnost a přesnost lze vypočítat dle následujících koeficientů.

Úplnost (recall), koeficient úplnosti – poměr počtu nalezených relevantních záznamů k počtu všech relevantních dokumentů v databázi (vyjádřeno v procentech) [TDKIV)].

Přesnost (precision), koeficient přesnosti – poměr počtu nalezených relevantních záznamů k celkovému počtu záznamů v rešerši