Vyhodnocování relevance: Porovnání verzí

(Založena nová stránka s textem „Vyhodnocování relevance Relevantní informace je taková informace, která je věcně nebo formálně shodná s požadavkem uživatele.“)
 
Řádek 1: Řádek 1:
Vyhodnocování relevance
+
 
Relevantní informace je taková informace, která je věcně nebo formálně shodná s požadavkem uživatele.
+
 
 +
Vyhodnocování [[Pojem relevance, její vyhodnocování, druhy relevance|relevance]] hraje klíčovou roli v [[Informační cyklus|informačním cyklu,]] respektive v části týkající se vyhledávání informací. V České republice je zavedena terminologie, která se od některých světových přístupů mírně liší. V tomto článku uvedeme nejprve terminologii a pojetí tak, jak je chápáno právě v České republice a dále uvedeme i další významné přístupy fungující v zahraničí.
 +
 
 +
Relevantní informace je taková informace, která je věcně nebo formálně shodná s požadavkem uživatele resp. zadaným dotazem v přirozeném či selekčním jazyku. <ref>https://aleph.nkp.cz/F/?func=find-c&local_base=KTD&ccl_term=wtr%3Drelevance+</ref> V praxi, která je upřednostňována v České republice jí dělíme na formální a věcnou. Je dobré zmínit, že množiny relevantních dokumentů nejsou totožné. To zjednodušeně znamená, že ne všechny formálně relevantní dokumenty jsou i věcně relevantní či pertinentní a naopak.
 +
 
 +
=== Formální relevance ===
 +
Jedná se o takovou relevanci, která porovnává shodu formulace rešeršního dotazu se selekčními údaji dokumentu. Tuto relevanci posuzuje daný systém, proto je možné ji označovat také jako systémovou. Informační systémy posuzují relevanci v závislosti na modelu vyhledávání, který je v daném systému používán (vektorový, booleovský, pravděpodobnostní...). Na tomto základě pak vzniká řazení podle relevance (Discovery systémy, webové vyhledavače). S tím je spojena i relevanční zpětná vazba, která vzniká tím, že daný systém z našeho chování usuzuje, co je pro nás relevantní či nikoliv. Moderní systémy mají schopnost "učit se" například podle toho, jaké dokumenty si uživatel zobrazuje tj. v jakém jazyce, formátu apod.
 +
 
 +
=== Věcná relevance ===
 +
V tomto případě se porovnává shoda obsahu informačního dotazu s obsahem vyhledaného dokumentu. Věcnou relevanci posoudí nejlépe uživatel. V souvislosti s věcnou relevancí se také hovoří o "aboutness" tedy bytí o něčem, co je v dokumentu obsaženo.
 +
 
 +
=== Pertinence ===
 +
Pertinencí se označuje subjektivní shoda uživatele s dokumentem.<ref>https://www.sciencedirect.com/science/article/abs/pii/0020027174900023</ref> V konečné fázi je nejdůležitější osoba uživatele, neboť právě uživatel sám zhodnotí, zda-li si nabídnutý dokument vybere. Jedná se o čistě subjektivní rozhodnutí a dané dokumenty musejí být shodné se konkrétními požadavky na dokument. Vychází tedy z konkrétních zkušeností, požadavků, znalostí a přístupu uživatele. (Př. Vyhledám dokument, který je věcně relevantní, ale není pertinentní, protože je v anglickém jazyce a já anglicky nemluvím.)
 +
 
 +
==== Kritéria pertinence: ====
 +
 
 +
* <u>Tématičnost</u>- do jaké míry obsah dokumentu odpovídá tématu
 +
* <u>Spolehlivost</u>- do jaké míry je obsah dokumentu vnímán jako pravdivý, přesný a spolehlivý
 +
* <u>Pochopitelnost</u>- do jaké míry je obsah uživateli srozumitelný
 +
* <u>Novost</u>- do jaké míry přináší dokument uživateli nové informace
 +
* <u>Rozsah</u>- do jaké šíře a hloubky je téma zpracováno
 +
 
 +
=== Hodnocení výsledků rešerše ===
 +
Na základě vyhodnocení výsledků rešerše je možné posoudit efektivitu zadaného rezervního dotazu, ale také celkově daného systému. Hodnotí se:
 +
 
 +
'''Úplnost''' =koeficient úplnosti- poměr počtu nalezených záznamů: počet všech relevantních dokumentů v databázi. Toto se vyjadřuje v %.<ref>https://aleph.nkp.cz/F/?func=find-c&local_base=KTD&ccl_term=wtr%3Dúplnost</ref> Pokud chceme obsáhnout dané téma co nejšířeji, je možné, že budeme muset prohledat velké množství výsledků, přičemž přesné a relevantní budou jen některé z nich.
 +
 
 +
'''Přesnost'''= koeficient přesnosti- poměr počtu nalezených relevantních záznamů: celkový počet záznamů v rešerši. Pokud hledáme co nejpřesnější výsledky a zúžíme hledaný dotaz, je možné, že díky mnoha kritériím přijdeme i o jiné odpovídající výsledky
 +
 
 +
=== Relevance v zahraničí ===
 +
[[Tefko Saracevic|'''Tefko Saracevic''']]
 +
 
 +
Relevanci chápe jako vztah mezi informací/informačním objektem a kontextem (informační potřeba, konkrétní dotaz, úkol..). Ve své teorii rozlišuje tyto druhy relevance:
 +
 
 +
* <u>Systémová/ algoritmická relevance</u>= vztah mezi dotazem a informací/informačním objektem. Možné chápat jako formální relevanci.
 +
* <u>Tematická/věcná relevance</u> = vztah mezi tématem vyjádřeným v dotazu a tématem pokrytým informací/ informačním objektem.
 +
* <u>Kognitivní relevance/ pertinence</u> = vztah mezi stavem znalostí uživatele a informací/ informačním objektem
 +
* <u>Situační relevance</u>= Informace, která je relevantní pouze v dané situaci, ale při změně podmínek již relevantní nebude.
 +
* <u>Afektivní/ motivační relevance</u>= Vztah mezi záměry a cíli, emocemi a motivací uživatele a vyhledaným či existujícím informačním objektem. Je hodnocena na základě spokojenosti uživatele.
 +
 
 +
[[Birger Hjørland|'''Birger Hjørland''']]
 +
 
 +
Hjorland se zabývá zejména kritikou ostatních teorií a uvádí vlastní definici pro pojem relevance "Něco (N) je relevantní k úkolu (U), jestliže zvyšuje pravděpodobnost dosažení cíle (C), implikovaného U".
 +
 
 +
Dále polemizuje nad pojmy:
 +
 
 +
* <u>Objektivita X subjektivita</u>- Objektivní relevanci(relevanci vyhodnocovanou systémem) nepovažuje za objektivní neboť systém je naprogramován člověkem, který do něj opět vkládá jistou míru subjektivity.
 +
 
 +
[[Huang & Soergel|'''Huang & Soergel''']]
 +
 
 +
Snažili se dát definici relevance rámec, tím že vytvořili syntézu předchozích pojetí. Jejich práce poskytuje přehled a hovoří o relevanci jako o:
 +
 
 +
* <u>"Relevance- as- is"</u> - Smysluplný vztah mezi informačním objektem a informační potřebou (součástí informační potřeby je téma, uživatel, problém a situace)
 +
 
 +
* <u>"Relevance- as- determined"</u>- Výsledek posouzení relevance- as- is posuzujícím (člověk nebo systém), který je založen na reprezentacích informačního objektu a informační potřeby.
 +
 
 +
=== Reference ===
 +
<references responsive="0" />

Verze z 16. 10. 2020, 21:58


Vyhodnocování relevance hraje klíčovou roli v informačním cyklu, respektive v části týkající se vyhledávání informací. V České republice je zavedena terminologie, která se od některých světových přístupů mírně liší. V tomto článku uvedeme nejprve terminologii a pojetí tak, jak je chápáno právě v České republice a dále uvedeme i další významné přístupy fungující v zahraničí.

Relevantní informace je taková informace, která je věcně nebo formálně shodná s požadavkem uživatele resp. zadaným dotazem v přirozeném či selekčním jazyku. [1] V praxi, která je upřednostňována v České republice jí dělíme na formální a věcnou. Je dobré zmínit, že množiny relevantních dokumentů nejsou totožné. To zjednodušeně znamená, že ne všechny formálně relevantní dokumenty jsou i věcně relevantní či pertinentní a naopak.

Formální relevance

Jedná se o takovou relevanci, která porovnává shodu formulace rešeršního dotazu se selekčními údaji dokumentu. Tuto relevanci posuzuje daný systém, proto je možné ji označovat také jako systémovou. Informační systémy posuzují relevanci v závislosti na modelu vyhledávání, který je v daném systému používán (vektorový, booleovský, pravděpodobnostní...). Na tomto základě pak vzniká řazení podle relevance (Discovery systémy, webové vyhledavače). S tím je spojena i relevanční zpětná vazba, která vzniká tím, že daný systém z našeho chování usuzuje, co je pro nás relevantní či nikoliv. Moderní systémy mají schopnost "učit se" například podle toho, jaké dokumenty si uživatel zobrazuje tj. v jakém jazyce, formátu apod.

Věcná relevance

V tomto případě se porovnává shoda obsahu informačního dotazu s obsahem vyhledaného dokumentu. Věcnou relevanci posoudí nejlépe uživatel. V souvislosti s věcnou relevancí se také hovoří o "aboutness" tedy bytí o něčem, co je v dokumentu obsaženo.

Pertinence

Pertinencí se označuje subjektivní shoda uživatele s dokumentem.[2] V konečné fázi je nejdůležitější osoba uživatele, neboť právě uživatel sám zhodnotí, zda-li si nabídnutý dokument vybere. Jedná se o čistě subjektivní rozhodnutí a dané dokumenty musejí být shodné se konkrétními požadavky na dokument. Vychází tedy z konkrétních zkušeností, požadavků, znalostí a přístupu uživatele. (Př. Vyhledám dokument, který je věcně relevantní, ale není pertinentní, protože je v anglickém jazyce a já anglicky nemluvím.)

Kritéria pertinence:

  • Tématičnost- do jaké míry obsah dokumentu odpovídá tématu
  • Spolehlivost- do jaké míry je obsah dokumentu vnímán jako pravdivý, přesný a spolehlivý
  • Pochopitelnost- do jaké míry je obsah uživateli srozumitelný
  • Novost- do jaké míry přináší dokument uživateli nové informace
  • Rozsah- do jaké šíře a hloubky je téma zpracováno

Hodnocení výsledků rešerše

Na základě vyhodnocení výsledků rešerše je možné posoudit efektivitu zadaného rezervního dotazu, ale také celkově daného systému. Hodnotí se:

Úplnost =koeficient úplnosti- poměr počtu nalezených záznamů: počet všech relevantních dokumentů v databázi. Toto se vyjadřuje v %.[3] Pokud chceme obsáhnout dané téma co nejšířeji, je možné, že budeme muset prohledat velké množství výsledků, přičemž přesné a relevantní budou jen některé z nich.

Přesnost= koeficient přesnosti- poměr počtu nalezených relevantních záznamů: celkový počet záznamů v rešerši. Pokud hledáme co nejpřesnější výsledky a zúžíme hledaný dotaz, je možné, že díky mnoha kritériím přijdeme i o jiné odpovídající výsledky

Relevance v zahraničí

Tefko Saracevic

Relevanci chápe jako vztah mezi informací/informačním objektem a kontextem (informační potřeba, konkrétní dotaz, úkol..). Ve své teorii rozlišuje tyto druhy relevance:

  • Systémová/ algoritmická relevance= vztah mezi dotazem a informací/informačním objektem. Možné chápat jako formální relevanci.
  • Tematická/věcná relevance = vztah mezi tématem vyjádřeným v dotazu a tématem pokrytým informací/ informačním objektem.
  • Kognitivní relevance/ pertinence = vztah mezi stavem znalostí uživatele a informací/ informačním objektem
  • Situační relevance= Informace, která je relevantní pouze v dané situaci, ale při změně podmínek již relevantní nebude.
  • Afektivní/ motivační relevance= Vztah mezi záměry a cíli, emocemi a motivací uživatele a vyhledaným či existujícím informačním objektem. Je hodnocena na základě spokojenosti uživatele.

Birger Hjørland

Hjorland se zabývá zejména kritikou ostatních teorií a uvádí vlastní definici pro pojem relevance "Něco (N) je relevantní k úkolu (U), jestliže zvyšuje pravděpodobnost dosažení cíle (C), implikovaného U".

Dále polemizuje nad pojmy:

  • Objektivita X subjektivita- Objektivní relevanci(relevanci vyhodnocovanou systémem) nepovažuje za objektivní neboť systém je naprogramován člověkem, který do něj opět vkládá jistou míru subjektivity.

Huang & Soergel

Snažili se dát definici relevance rámec, tím že vytvořili syntézu předchozích pojetí. Jejich práce poskytuje přehled a hovoří o relevanci jako o:

  • "Relevance- as- is" - Smysluplný vztah mezi informačním objektem a informační potřebou (součástí informační potřeby je téma, uživatel, problém a situace)
  • "Relevance- as- determined"- Výsledek posouzení relevance- as- is posuzujícím (člověk nebo systém), který je založen na reprezentacích informačního objektu a informační potřeby.

Reference

  1. https://aleph.nkp.cz/F/?func=find-c&local_base=KTD&ccl_term=wtr%3Drelevance+
  2. https://www.sciencedirect.com/science/article/abs/pii/0020027174900023
  3. https://aleph.nkp.cz/F/?func=find-c&local_base=KTD&ccl_term=wtr%3Dúplnost