Vyhodnocování relevance

Vyhodnocování relevance hraje klíčovou roli v informačním cyklu, respektive v části týkající se vyhledávání informací. V České republice je zavedena terminologie, která se od některých světových přístupů mírně liší. V tomto článku uvedeme nejprve terminologii a pojetí tak, jak je chápáno právě v České republice a dále uvedeme i další významné přístupy fungující v zahraničí.

Relevantní informace je taková informace, která je věcně nebo formálně shodná s požadavkem uživatele, resp. zadaným dotazem v přirozeném či selekčním jazyku. V praxi, která je upřednostňována v České republice jí dělíme na formální a věcnou. Je dobré zmínit, že množiny relevantních dokumentů nejsou totožné. To zjednodušeně znamená, že ne všechny formálně relevantní dokumenty jsou i věcně relevantní či pertinentní a naopak.

Formální relevance

Jedná se o takovou relevanci, která porovnává shodu formulace rešeršního dotazu se selekčními údaji dokumentu. Tuto relevanci posuzuje daný systém, proto je možné ji označovat také jako systémovou. Informační systémy posuzují relevanci v závislosti na modelu vyhledávání, který je v daném systému používán (vektorový, booleovský, pravděpodobnostní...). Na tomto základě pak vzniká řazení podle relevance (Discovery systémy, webové vyhledavače). S tím je spojena i relevanční zpětná vazba, která vzniká tím, že daný systém z našeho chování usuzuje, co je pro nás relevantní či nikoliv. Moderní systémy mají schopnost "učit se" například podle toho, jaké dokumenty si uživatel zobrazuje, tj. v jakém jazyce, formátu apod.

Věcná relevance

V tomto případě se porovnává shoda obsahu informačního dotazu s obsahem vyhledaného dokumentu. Věcnou relevanci posoudí nejlépe uživatel. V souvislosti s věcnou relevancí se také hovoří o "aboutness" tedy bytí o něčem, co je v dokumentu obsaženo.

Pertinence

Pertinencí se označuje subjektivní shoda uživatele s dokumentem. V konečné fázi je nejdůležitější osoba uživatele, neboť právě uživatel sám zhodnotí, zdali si nabídnutý dokument vybere. Jedná se o čistě subjektivní rozhodnutí a dané dokumenty musejí být shodné se konkrétními požadavky na dokument. Vychází tedy z konkrétních zkušeností, požadavků, znalostí a přístupu uživatele. (Př. Vyhledám dokument, který je věcně relevantní, ale není pertinentní, protože je v anglickém jazyce a já anglicky nemluvím.)

Kritéria pertinence:

• Tématičnost- do jaké míry obsah dokumentu odpovídá tématu
• Spolehlivost- do jaké míry je obsah dokumentu vnímán jako pravdivý, přesný a spolehlivý
• Pochopitelnost- do jaké míry je obsah uživateli srozumitelný
• Novost- do jaké míry přináší dokument uživateli nové informace
• Rozsah- do jaké šíře a hloubky je téma zpracováno

Hodnocení výsledků rešerše

Na základě vyhodnocení výsledků rešerše je možné posoudit efektivitu zadaného rešeršního dotazu, ale také celkově daného systému. Hodnotí se:

Úplnost =koeficient úplnosti- poměr počtu nalezených záznamů: počet všech relevantních dokumentů v databázi. Toto se vyjadřuje v %. Pokud chceme obsáhnout dané téma co nejšířeji, je možné, že budeme muset prohledat velké množství výsledků, přičemž přesné a relevantní budou jen některé z nich.

Přesnost= koeficient přesnosti- poměr počtu nalezených relevantních záznamů: celkový počet záznamů v rešerši. Pokud hledáme co nejpřesnější výsledky a zúžíme hledaný dotaz, je možné, že díky mnoha kritériím přijdeme i o jiné odpovídající výsledky

Tabulka úplnosti a přesnosti

		Relevantní
		ANO	NE
Vyhledané	ANO	A = Relevantní vyhledané	B= Nerelevantní vyhledané
	NE	C= Relevantní nevyhledané	D = Nerelevantní nevyhledané

Výpočet: Úplnost = A/A+C

Přesnost = A/A+B

Relevance v zahraničí

Tefko Saracevic

Relevanci chápe jako vztah mezi informací/informačním objektem a kontextem (informační potřeba, konkrétní dotaz, úkol..). Ve své teorii rozlišuje tyto druhy relevance:

• Systémová/ algoritmická relevance= vztah mezi dotazem a informací/informačním objektem. Možné chápat jako formální relevanci.
• Tematická/věcná relevance = vztah mezi tématem vyjádřeným v dotazu a tématem pokrytým informací/ informačním objektem.
• Kognitivní relevance/ pertinence = vztah mezi stavem znalostí uživatele a informací/ informačním objektem
• Situační relevance= Informace, která je relevantní pouze v dané situaci, ale při změně podmínek již relevantní nebude.
• Afektivní/ motivační relevance= Vztah mezi záměry a cíli, emocemi a motivací uživatele a vyhledaným či existujícím informačním objektem. Je hodnocena na základě spokojenosti uživatele.

Birger Hjørland

Hjorland se zabývá zejména kritikou ostatních teorií a uvádí vlastní definici pro pojem relevance "Něco (N) je relevantní k úkolu (U), jestliže zvyšuje pravděpodobnost dosažení cíle (C), implikovaného U".

Dále polemizuje nad pojmy:

• Objektivita X subjektivita- Objektivní relevanci (relevanci vyhodnocovanou systémem) nepovažuje za objektivní neboť systém je naprogramován člověkem, který do něj opět vkládá jistou míru subjektivity.

Huang & Soergel

Snažili se dát definici relevance rámec, tím že vytvořili syntézu předchozích pojetí. Jejich práce poskytuje přehled a hovoří o relevanci jako o:

• "Relevance- as- is" - Smysluplný vztah mezi informačním objektem a informační potřebou (součástí informační potřeby je téma, uživatel, problém a situace)

• "Relevance- as- determined"- Výsledek posouzení relevance- as- is posuzujícím (člověk nebo systém), který je založen na reprezentacích informačního objektu a informační potřeby.

Doporučená literatura

HUANG, Xiaoli a Dagobert SOERGEL. Relevance: An improved framework for explicating the notion. Journal of the American Society for Information Science and Technology [online]. 2013, 64(1), 18-35 [cit. 2020-03-16]. DOI: 10.1002/asi.22811. ISSN 15322882. Dostupné z: http://doi.wiley.com/10.1002/asi.22811

SARACEVIC, Tefko. Relevance: a review of and a framework for the thinking on the notion in information science. Journal of the American Society for Information Science and Technology. 1975, 26(6), 321-43.

SARACEVIC, T. Relevance: A review of the literature and a framework for thinking on the notion in information science. Part II. Journal of the American Society for Information Science and Technology [online]. 2007, 58(13), 1915-1933 [cit. 2016-02-25]. ISSN 15322882. Dostupné z: https://tefkos.comminfo.rutgers.edu/Advances_Librar_2006.pdf

SARACEVIC, T. Relevance: A Review of the literature and a framework for thinking on the notion in information science. Part III. JOURNAL OF THE AMERICAN SOCIETY FOR INFORMATION SCIENCE AND TECHNOLOGY [online]. 2007, 58(13), 2126-2144 [cit. 2016-02-25]. ISSN 15322882. Dostupné z: https://onlinelibrary.wiley.com/doi/pdf/10.1002/asi.20681?casa_token=v959soIvDbQAAAAA:w7A8DIB43DuquehJ2eBM2VkZtsyt7hf_9ILwYeUOGPtdfkXGwonviQU8Jzmdb3gP5XoKBddG2PXNgss

XU, Yunjie a Zhiwei CHEN. Relevance Judgment: What Do Information Users Consider Beyond Topicality? Journal of the American Society for Information Science [online]. 2006, 57(7), 961-973 [cit. 2016-02-23]. ISSN 15322882. Dostupné z: https://onlinelibrary.wiley.com/doi/pdf/10.1002/asi.20361?casa_token=h16CO7MSuEMAAAAA:Sfl53ocRzcud_dV51erncTJw5afEsF9G6zxr_cgWyyLuGU9tn8RiUgNxF3sTPg8qfgaoBDFN615xbB8

Související články

Vyhodnocování relevance, role a druhy zpětné vazby v rešeršních službách

Pojem relevance, její vyhodnocování, druhy relevance

Klíčová slova

Relevance, pertinence, vyhledávání, úplnost, přesnost