Vyhodnocování relevance

Vyhodnocování relevance hraje klíčovou roli v informačním cyklu, respektive v části týkající se vyhledávání informací. V České republice je zavedena terminologie, která se od některých světových přístupů mírně liší. V tomto článku uvedeme nejprve terminologii a pojetí tak, jak je chápáno právě v České republice a dále uvedeme i další významné přístupy fungující v zahraničí.

Relevantní informace je taková informace, která je věcně nebo formálně shodná s požadavkem uživatele resp. zadaným dotazem v přirozeném či selekčním jazyku. [1] V praxi, která je upřednostňována v České republice jí dělíme na formální a věcnou. Je dobré zmínit, že množiny relevantních dokumentů nejsou totožné. To zjednodušeně znamená, že ne všechny formálně relevantní dokumenty jsou i věcně relevantní či pertinentní a naopak.

Formální relevance

Jedná se o takovou relevanci, která porovnává shodu formulace rešeršního dotazu se selekčními údaji dokumentu. Tuto relevanci posuzuje daný systém, proto je možné ji označovat také jako systémovou. Informační systémy posuzují relevanci v závislosti na modelu vyhledávání, který je v daném systému používán (vektorový, booleovský, pravděpodobnostní...). Na tomto základě pak vzniká řazení podle relevance (Discovery systémy, webové vyhledavače). S tím je spojena i relevanční zpětná vazba, která vzniká tím, že daný systém z našeho chování usuzuje, co je pro nás relevantní či nikoliv. Moderní systémy mají schopnost "učit se" například podle toho, jaké dokumenty si uživatel zobrazuje tj. v jakém jazyce, formátu apod.

Věcná relevance

V tomto případě se porovnává shoda obsahu informačního dotazu s obsahem vyhledaného dokumentu. Věcnou relevanci posoudí nejlépe uživatel. V souvislosti s věcnou relevancí se také hovoří o "aboutness" tedy bytí o něčem, co je v dokumentu obsaženo.

Pertinence

Pertinencí se označuje subjektivní shoda uživatele s dokumentem.[2] V konečné fázi je nejdůležitější osoba uživatele, neboť právě uživatel sám zhodnotí, zda-li si nabídnutý dokument vybere. Jedná se o čistě subjektivní rozhodnutí a dané dokumenty musejí být shodné se konkrétními požadavky na dokument. Vychází tedy z konkrétních zkušeností, požadavků, znalostí a přístupu uživatele. (Př. Vyhledám dokument, který je věcně relevantní, ale není pertinentní, protože je v anglickém jazyce a já anglicky nemluvím.)

Kritéria pertinence:

  • Tématičnost- do jaké míry obsah dokumentu odpovídá tématu
  • Spolehlivost- do jaké míry je obsah dokumentu vnímán jako pravdivý, přesný a spolehlivý
  • Pochopitelnost- do jaké míry je obsah uživateli srozumitelný
  • Novost- do jaké míry přináší dokument uživateli nové informace
  • Rozsah- do jaké šíře a hloubky je téma zpracováno

Hodnocení výsledků rešerše

Na základě vyhodnocení výsledků rešerše je možné posoudit efektivitu zadaného rezervního dotazu, ale také celkově daného systému. Hodnotí se:

Úplnost =koeficient úplnosti- poměr počtu nalezených záznamů: počet všech relevantních dokumentů v databázi. Toto se vyjadřuje v %.[3] Pokud chceme obsáhnout dané téma co nejšířeji, je možné, že budeme muset prohledat velké množství výsledků, přičemž přesné a relevantní budou jen některé z nich.

Přesnost= koeficient přesnosti- poměr počtu nalezených relevantních záznamů: celkový počet záznamů v rešerši. Pokud hledáme co nejpřesnější výsledky a zúžíme hledaný dotaz, je možné, že díky mnoha kritériím přijdeme i o jiné odpovídající výsledky

Relevance v zahraničí

Tefko Saracevic

Relevanci chápe jako vztah mezi informací/informačním objektem a kontextem (informační potřeba, konkrétní dotaz, úkol..). Ve své teorii rozlišuje tyto druhy relevance:

  • Systémová/ algoritmická relevance= vztah mezi dotazem a informací/informačním objektem. Možné chápat jako formální relevanci.
  • Tematická/věcná relevance = vztah mezi tématem vyjádřeným v dotazu a tématem pokrytým informací/ informačním objektem.
  • Kognitivní relevance/ pertinence = vztah mezi stavem znalostí uživatele a informací/ informačním objektem
  • Situační relevance= Informace, která je relevantní pouze v dané situaci, ale při změně podmínek již relevantní nebude.
  • Afektivní/ motivační relevance= Vztah mezi záměry a cíli, emocemi a motivací uživatele a vyhledaným či existujícím informačním objektem. Je hodnocena na základě spokojenosti uživatele.

Birger Hjørland

Hjorland se zabývá zejména kritikou ostatních teorií a uvádí vlastní definici pro pojem relevance "Něco (N) je relevantní k úkolu (U), jestliže zvyšuje pravděpodobnost dosažení cíle (C), implikovaného U".

Dále polemizuje nad pojmy:

  • Objektivita X subjektivita- Objektivní relevanci(relevanci vyhodnocovanou systémem) nepovažuje za objektivní neboť systém je naprogramován člověkem, který do něj opět vkládá jistou míru subjektivity.

Huang & Soergel

Snažili se dát definici relevance rámec, tím že vytvořili syntézu předchozích pojetí. Jejich práce poskytuje přehled a hovoří o relevanci jako o:

  • "Relevance- as- is" - Smysluplný vztah mezi informačním objektem a informační potřebou (součástí informační potřeby je téma, uživatel, problém a situace)
  • "Relevance- as- determined"- Výsledek posouzení relevance- as- is posuzujícím (člověk nebo systém), který je založen na reprezentacích informačního objektu a informační potřeby.

Reference

  1. Švejda, Jan. Relevanční zpětná vazba. In: KtD: Česká terminologická databáze knihovnictví a informační vědy [online]. Praha: Národní knihovna ČR, 2003- [cit. 2020. 10- 16]. Dostupné z: https://aleph.nkp.cz/F/?func=find-c&local_base=KTD&ccl_term=wtr%3Drelevance+
  2. Kemp, D.A., (1974) Relevance, pertinence and information system development. https://www.sciencedirect.com/science/article/abs/pii/0020027174900023
  3. Balíková, M. Hloubka indexace. In: KTD: Česká terminologická databáze knihovnictví a informační vědy (TDKIV) [online]. Praha: Národní knihovna ČR, 2003- [cit. 2020-10-16]. Dostupné z: https://aleph.nkp.cz/F/?func=find-c&local_base=KTD&ccl_term=wtr%3Dúplnost