Vyhodnocování relevance: Porovnání verzí

Řádek 40: Řádek 40:
 
|ANO
 
|ANO
 
|A = Relevantní vyhledané
 
|A = Relevantní vyhledané
−
|B= Nerelevantnívyhledané
+
|B= Nerelevantní vyhledané
 
|-
 
|-
 
|NE
 
|NE
 
|C= Relevantní nevyhledané
 
|C= Relevantní nevyhledané
−
|D = Nerelevantnínevyhledané
+
|D = Nerelevantní nevyhledané
 
|}
 
|}
 
Výpočet: Úplnost = A/A+C
 
Výpočet: Úplnost = A/A+C
Řádek 93: Řádek 93:
 
<br />
 
<br />
  
−
==== Související články ====
+
====Související články====
 
[[Vyhodnocování relevance, role a druhy zpětné vazby v rešeršních službách]]
 
[[Vyhodnocování relevance, role a druhy zpětné vazby v rešeršních službách]]
  
 
[[Pojem relevance, její vyhodnocování, druhy relevance]]
 
[[Pojem relevance, její vyhodnocování, druhy relevance]]
  
−
==== [[Zpětná vazba v rešeršních službách]] ====
+
====[[Zpětná vazba v rešeršních službách]]====
 
<br />
 
<br />
  
−
==== Klíčová slova ====
+
====Klíčová slova====
 
Relevance, pertinence, vyhledávání, úplnost, přesnost
 
Relevance, pertinence, vyhledávání, úplnost, přesnost

Verze z 24. 10. 2020, 09:31

Vyhodnocování relevance hraje klíčovou roli v informačním cyklu, respektive v části týkající se vyhledávání informací. V České republice je zavedena terminologie, která se od některých světových přístupů mírně liší. V tomto článku uvedeme nejprve terminologii a pojetí tak, jak je chápáno právě v České republice a dále uvedeme i další významné přístupy fungující v zahraničí.

Relevantní informace je taková informace, která je věcně nebo formálně shodná s požadavkem uživatele, resp. zadaným dotazem v přirozeném či selekčním jazyku. [1] V praxi, která je upřednostňována v České republice jí dělíme na formální a věcnou. Je dobré zmínit, že množiny relevantních dokumentů nejsou totožné. To zjednodušeně znamená, že ne všechny formálně relevantní dokumenty jsou i věcně relevantní či pertinentní a naopak.

Formální relevance

Jedná se o takovou relevanci, která porovnává shodu formulace rešeršního dotazu se selekčními údaji dokumentu. Tuto relevanci posuzuje daný systém, proto je možné ji označovat také jako systémovou. Informační systémy posuzují relevanci v závislosti na modelu vyhledávání, který je v daném systému používán (vektorový, booleovský, pravděpodobnostní...). Na tomto základě pak vzniká řazení podle relevance (Discovery systémy, webové vyhledavače). S tím je spojena i relevanční zpětná vazba, která vzniká tím, že daný systém z našeho chování usuzuje, co je pro nás relevantní či nikoliv. Moderní systémy mají schopnost "učit se" například podle toho, jaké dokumenty si uživatel zobrazuje, tj. v jakém jazyce, formátu apod.

Věcná relevance

V tomto případě se porovnává shoda obsahu informačního dotazu s obsahem vyhledaného dokumentu. Věcnou relevanci posoudí nejlépe uživatel. V souvislosti s věcnou relevancí se také hovoří o "aboutness" tedy bytí o něčem, co je v dokumentu obsaženo.

Pertinence

Pertinencí se označuje subjektivní shoda uživatele s dokumentem.[2] V konečné fázi je nejdůležitější osoba uživatele, neboť právě uživatel sám zhodnotí, zdali si nabídnutý dokument vybere. Jedná se o čistě subjektivní rozhodnutí a dané dokumenty musejí být shodné se konkrétními požadavky na dokument. Vychází tedy z konkrétních zkušeností, požadavků, znalostí a přístupu uživatele. (Př. Vyhledám dokument, který je věcně relevantní, ale není pertinentní, protože je v anglickém jazyce a já anglicky nemluvím.)

Kritéria pertinence:

  • Tématičnost- do jaké míry obsah dokumentu odpovídá tématu
  • Spolehlivost- do jaké míry je obsah dokumentu vnímán jako pravdivý, přesný a spolehlivý
  • Pochopitelnost- do jaké míry je obsah uživateli srozumitelný
  • Novost- do jaké míry přináší dokument uživateli nové informace
  • Rozsah- do jaké šíře a hloubky je téma zpracováno

Hodnocení výsledků rešerše

Na základě vyhodnocení výsledků rešerše je možné posoudit efektivitu zadaného rešeršního dotazu, ale také celkově daného systému. Hodnotí se:

Úplnost =koeficient úplnosti- poměr počtu nalezených záznamů: počet všech relevantních dokumentů v databázi. Toto se vyjadřuje v %.[3] Pokud chceme obsáhnout dané téma co nejšířeji, je možné, že budeme muset prohledat velké množství výsledků, přičemž přesné a relevantní budou jen některé z nich.

Přesnost= koeficient přesnosti- poměr počtu nalezených relevantních záznamů: celkový počet záznamů v rešerši. Pokud hledáme co nejpřesnější výsledky a zúžíme hledaný dotaz, je možné, že díky mnoha kritériím přijdeme i o jiné odpovídající výsledky

Tabulka úplnosti a přesnosti
Relevantní
ANO NE
Vyhledané ANO A = Relevantní vyhledané B= Nerelevantní vyhledané
NE C= Relevantní nevyhledané D = Nerelevantní nevyhledané

Výpočet: Úplnost = A/A+C

Přesnost = A/A+B

Relevance v zahraničí

Tefko Saracevic

Relevanci chápe jako vztah mezi informací/informačním objektem a kontextem (informační potřeba, konkrétní dotaz, úkol..). Ve své teorii rozlišuje tyto druhy relevance:

  • Systémová/ algoritmická relevance= vztah mezi dotazem a informací/informačním objektem. Možné chápat jako formální relevanci.
  • Tematická/věcná relevance = vztah mezi tématem vyjádřeným v dotazu a tématem pokrytým informací/ informačním objektem.
  • Kognitivní relevance/ pertinence = vztah mezi stavem znalostí uživatele a informací/ informačním objektem
  • Situační relevance= Informace, která je relevantní pouze v dané situaci, ale při změně podmínek již relevantní nebude.
  • Afektivní/ motivační relevance= Vztah mezi záměry a cíli, emocemi a motivací uživatele a vyhledaným či existujícím informačním objektem. Je hodnocena na základě spokojenosti uživatele.

Birger Hjørland

Hjorland se zabývá zejména kritikou ostatních teorií a uvádí vlastní definici pro pojem relevance "Něco (N) je relevantní k úkolu (U), jestliže zvyšuje pravděpodobnost dosažení cíle (C), implikovaného U".

Dále polemizuje nad pojmy:

  • Objektivita X subjektivita- Objektivní relevanci (relevanci vyhodnocovanou systémem) nepovažuje za objektivní neboť systém je naprogramován člověkem, který do něj opět vkládá jistou míru subjektivity.

Huang & Soergel

Snažili se dát definici relevance rámec, tím že vytvořili syntézu předchozích pojetí. Jejich práce poskytuje přehled a hovoří o relevanci jako o:

  • "Relevance- as- is" - Smysluplný vztah mezi informačním objektem a informační potřebou (součástí informační potřeby je téma, uživatel, problém a situace)
  • "Relevance- as- determined"- Výsledek posouzení relevance- as- is posuzujícím (člověk nebo systém), který je založen na reprezentacích informačního objektu a informační potřeby.

Reference

  1. ↑ Švejda, Jan. Relevanční zpětná vazba. In: KtD: Česká terminologická databáze knihovnictví a informační vědy [online]. Praha: Národní knihovna ČR, 2003- [cit. 2020. 10- 16]. Dostupné z: https://aleph.nkp.cz/F/?func=find-c&local_base=KTD&ccl_term=wtr%3Drelevance+
  2. ↑ Kemp, D.A., (1974) Relevance, pertinence and information system development. https://www.sciencedirect.com/science/article/abs/pii/0020027174900023
  3. ↑ Balíková, M. Hloubka indexace. In: KTD: Česká terminologická databáze knihovnictví a informační vědy (TDKIV) [online]. Praha: Národní knihovna ČR, 2003- [cit. 2020-10-16]. Dostupné z: https://aleph.nkp.cz/F/?func=find-c&local_base=KTD&ccl_term=wtr%3Dúplnost

Doporučená literatura

HUANG, Xiaoli a Dagobert SOERGEL. Relevance: An improved framework for explicating the notion. Journal of the American Society for Information Science and Technology [online]. 2013, 64(1), 18-35 [cit. 2020-03-16]. DOI: 10.1002/asi.22811. ISSN 15322882. Dostupné z: http://doi.wiley.com/10.1002/asi.22811

SARACEVIC, Tefko. Relevance: a review of and a framework for the thinking on the notion in information science. Journal of the American Society for Information Science and Technology. 1975, 26(6), 321-43.

SARACEVIC, T. Relevance: A review of the literature and a framework for thinking on the notion in information science. Part II. Journal of the American Society for Information Science and Technology [online]. 2007, 58(13), 1915-1933 [cit. 2016-02-25]. ISSN 15322882. Dostupné z: https://tefkos.comminfo.rutgers.edu/Advances_Librar_2006.pdf

SARACEVIC, T. Relevance: A Review of the literature and a framework for thinking on the notion in information science. Part III. JOURNAL OF THE AMERICAN SOCIETY FOR INFORMATION SCIENCE AND TECHNOLOGY [online]. 2007, 58(13), 2126-2144 [cit. 2016-02-25]. ISSN 15322882. Dostupné z: https://onlinelibrary.wiley.com/doi/pdf/10.1002/asi.20681?casa_token=v959soIvDbQAAAAA:w7A8DIB43DuquehJ2eBM2VkZtsyt7hf_9ILwYeUOGPtdfkXGwonviQU8Jzmdb3gP5XoKBddG2PXNgss

XU, Yunjie a Zhiwei CHEN. Relevance Judgment: What Do Information Users Consider Beyond Topicality? Journal of the American Society for Information Science [online]. 2006, 57(7), 961-973 [cit. 2016-02-23]. ISSN 15322882. Dostupné z: https://onlinelibrary.wiley.com/doi/pdf/10.1002/asi.20361?casa_token=h16CO7MSuEMAAAAA:Sfl53ocRzcud_dV51erncTJw5afEsF9G6zxr_cgWyyLuGU9tn8RiUgNxF3sTPg8qfgaoBDFN615xbB8


Související články

Vyhodnocování relevance, role a druhy zpětné vazby v rešeršních službách

Pojem relevance, její vyhodnocování, druhy relevance

Zpětná vazba v rešeršních službách


Klíčová slova

Relevance, pertinence, vyhledávání, úplnost, přesnost

Citováno z „https://wikisofia.cz/w/index.php?title=Vyhodnocování_relevance&oldid=62417“