Vyhodnocování relevance

Vyhodnocování relevance hraje klíčovou roli v informačním cyklu, respektive v části týkající se vyhledávání informací. V České republice je zavedena terminologie, která se od některých světových přístupů mírně liší. V tomto článku uvedeme nejprve terminologii a pojetí tak, jak je chápáno právě v České republice a dále uvedeme i další významné přístupy fungující v zahraničí.

Relevantní informace je taková informace, která je věcně nebo formálně shodná s požadavkem uživatele resp. zadaným dotazem v přirozeném či selekčním jazyku. V praxi, která je upřednostňována v České republice jí dělíme na formální a věcnou. Je dobré zmínit, že množiny relevantních dokumentů nejsou totožné. To zjednodušeně znamená, že ne všechny formálně relevantní dokumenty jsou i věcně relevantní či pertinentní a naopak.

Formální relevance

Jedná se o takovou relevanci, která porovnává shodu formulace rešeršního dotazu se selekčními údaji dokumentu. Tuto relevanci posuzuje daný systém, proto je možné ji označovat také jako systémovou. Informační systémy posuzují relevanci v závislosti na modelu vyhledávání, který je v daném systému používán (vektorový, booleovský, pravděpodobnostní...). Na tomto základě pak vzniká řazení podle relevance (Discovery systémy, webové vyhledavače). S tím je spojena i relevanční zpětná vazba, která vzniká tím, že daný systém z našeho chování usuzuje, co je pro nás relevantní či nikoliv. Moderní systémy mají schopnost "učit se" například podle toho, jaké dokumenty si uživatel zobrazuje tj. v jakém jazyce, formátu apod.

Věcná relevance

V tomto případě se porovnává shoda obsahu informačního dotazu s obsahem vyhledaného dokumentu. Věcnou relevanci posoudí nejlépe uživatel. V souvislosti s věcnou relevancí se také hovoří o "aboutness" tedy bytí o něčem, co je v dokumentu obsaženo.

Pertinence

Pertinencí se označuje subjektivní shoda uživatele s dokumentem. V konečné fázi je nejdůležitější osoba uživatele, neboť právě uživatel sám zhodnotí, zda-li si nabídnutý dokument vybere. Jedná se o čistě subjektivní rozhodnutí a dané dokumenty musejí být shodné se konkrétními požadavky na dokument. Vychází tedy z konkrétních zkušeností, požadavků, znalostí a přístupu uživatele. (Př. Vyhledám dokument, který je věcně relevantní, ale není pertinentní, protože je v anglickém jazyce a já anglicky nemluvím.)

Kritéria pertinence:

• Tématičnost- do jaké míry obsah dokumentu odpovídá tématu
• Spolehlivost- do jaké míry je obsah dokumentu vnímán jako pravdivý, přesný a spolehlivý
• Pochopitelnost- do jaké míry je obsah uživateli srozumitelný
• Novost- do jaké míry přináší dokument uživateli nové informace
• Rozsah- do jaké šíře a hloubky je téma zpracováno

Hodnocení výsledků rešerše

Na základě vyhodnocení výsledků rešerše je možné posoudit efektivitu zadaného rezervního dotazu, ale také celkově daného systému. Hodnotí se:

Úplnost =koeficient úplnosti- poměr počtu nalezených záznamů: počet všech relevantních dokumentů v databázi. Toto se vyjadřuje v %. Pokud chceme obsáhnout dané téma co nejšířeji, je možné, že budeme muset prohledat velké množství výsledků, přičemž přesné a relevantní budou jen některé z nich.

Přesnost= koeficient přesnosti- poměr počtu nalezených relevantních záznamů: celkový počet záznamů v rešerši. Pokud hledáme co nejpřesnější výsledky a zúžíme hledaný dotaz, je možné, že díky mnoha kritériím přijdeme i o jiné odpovídající výsledky

Relevance v zahraničí

Tefko Saracevic

Relevanci chápe jako vztah mezi informací/informačním objektem a kontextem (informační potřeba, konkrétní dotaz, úkol..). Ve své teorii rozlišuje tyto druhy relevance:

• Systémová/ algoritmická relevance= vztah mezi dotazem a informací/informačním objektem. Možné chápat jako formální relevanci.
• Tematická/věcná relevance = vztah mezi tématem vyjádřeným v dotazu a tématem pokrytým informací/ informačním objektem.
• Kognitivní relevance/ pertinence = vztah mezi stavem znalostí uživatele a informací/ informačním objektem
• Situační relevance= Informace, která je relevantní pouze v dané situaci, ale při změně podmínek již relevantní nebude.
• Afektivní/ motivační relevance= Vztah mezi záměry a cíli, emocemi a motivací uživatele a vyhledaným či existujícím informačním objektem. Je hodnocena na základě spokojenosti uživatele.

Birger Hjørland

Hjorland se zabývá zejména kritikou ostatních teorií a uvádí vlastní definici pro pojem relevance "Něco (N) je relevantní k úkolu (U), jestliže zvyšuje pravděpodobnost dosažení cíle (C), implikovaného U".

Dále polemizuje nad pojmy:

• Objektivita X subjektivita- Objektivní relevanci(relevanci vyhodnocovanou systémem) nepovažuje za objektivní neboť systém je naprogramován člověkem, který do něj opět vkládá jistou míru subjektivity.

Huang & Soergel

Snažili se dát definici relevance rámec, tím že vytvořili syntézu předchozích pojetí. Jejich práce poskytuje přehled a hovoří o relevanci jako o:

• "Relevance- as- is" - Smysluplný vztah mezi informačním objektem a informační potřebou (součástí informační potřeby je téma, uživatel, problém a situace)

• "Relevance- as- determined"- Výsledek posouzení relevance- as- is posuzujícím (člověk nebo systém), který je založen na reprezentacích informačního objektu a informační potřeby.