Pojem relevance, její vyhodnocování, druhy relevance: Porovnání verzí
(Není zobrazeno 31 mezilehlých verzí od stejného uživatele.) | |||
Řádek 1: | Řádek 1: | ||
− | + | '''Pojem relevance''' se objevuje v několika oborech - např. v oblasti [[Právo|práva]], ekonomie, [[Lingvistika|lingvistiky]], filozofie, [[Psychologie|psychologie]], a také v [[informační věda|informační vědě]], ve které hraje klíčovou roli ve [[Modely chování při vyhledávání informací|vyhledávání informací]]. | |
− | '''Pojem relevance''' se objevuje v několika oborech - např. v oblasti | ||
− | Teorie relevance v oblasti | + | Teorie relevance v oblasti lingvistiky se pojí se jmény ''[[Dan Sperber|Sperbera]] a [[Deirdre Wilson|Wilsonové]]''. Podle nich je princip relevance základním prvkem [[komunikace]]. Každý výrok, který mluvčí vysloví, vytváří u adresáta očekávání, že je relevantní, tzn. má vztah k dané situaci. Úspěšná komunikace je taková, kdy každý z účastníků je schopen přispět do ní svou relevantní [[Informace|informací]]. <ref>HIRSCHOVÁ, Milada, 2013. Pragmatika v češtině. Vyd. 2., V Karolinu 1., dopl. V Praze: Karolinum. ISBN 978-80-246-2233-0.</ref> |
− | |||
==Relevance v informační vědě== | ==Relevance v informační vědě== | ||
− | V oblasti informační vědy je pojem relevance chápán jako vztah mezi dotazem uživatele a jedním dokumentem z velké množiny dokumentů. V užším slova smyslu | + | [[Soubor:Rel.JPG|thumb|right|Model relevance podle S.Mizzara (Mizzaro, 1997)]] |
+ | V oblasti informační vědy je pojem relevance chápán jako vztah mezi dotazem uživatele a jedním [[Dokument|dokumentem]] z velké množiny dokumentů. V užším slova smyslu ji můžeme pojmenovat jako číselné seřazení výsledků vyhledávání podle toho, jak odpovídá [[Informační potřeba|informační potřebě]] uživatele, vyjádřené dotazem. | ||
''"Těžko bychom našli pojem, který je předmětem tolika debat nebo který by měl takový dopad na obory informačního průzkumu a vyhledávání informací, jako relevance. Relevance hraje jednu z nejdůležitějších, základních a ústředních rolí ve všech aspektech informačního průzkumu a vyhledávání informací, včetně teorie, implementace a vyhodnocování." ''<ref>JANSEN, Bernard J. a Soo Young RIEH. The seventeen theoretical constructs of information searching and information retrieval. Journal of the American Society for Information Science and Technology [online]. [cit. 2018-05-05]. DOI: 10.1002/asi.21358. </ref> | ''"Těžko bychom našli pojem, který je předmětem tolika debat nebo který by měl takový dopad na obory informačního průzkumu a vyhledávání informací, jako relevance. Relevance hraje jednu z nejdůležitějších, základních a ústředních rolí ve všech aspektech informačního průzkumu a vyhledávání informací, včetně teorie, implementace a vyhodnocování." ''<ref>JANSEN, Bernard J. a Soo Young RIEH. The seventeen theoretical constructs of information searching and information retrieval. Journal of the American Society for Information Science and Technology [online]. [cit. 2018-05-05]. DOI: 10.1002/asi.21358. </ref> | ||
− | Pojmem relevance se zabývalo již mnoho vědců - např. Nolin (2009), Saracevic (1975, 2007), Bawden (1990), Buckland (1983), Borlund (2003) a Mizzaro (1997)<ref name="bawden">BAWDEN, David a Lyn ROBINSON, 2017. Úvod do informační vědy. Doubravník: Flow. ISBN 978-80-88123-10-1.</ref> | + | Pojmem relevance se zabývalo již mnoho vědců - např. [[Jan Nolin|Nolin]] (2009), [[Tefko Saracevic|Saracevic]] (1975, 2007), [[David Bawden|Bawden]] (1990), [[Michael Buckland|Buckland]] (1983), [[Pia Borlund|Borlund]] (2003) a [[Stefano Mizzaro|Mizzaro]] (1997)<ref name="bawden">BAWDEN, David a Lyn ROBINSON, 2017. Úvod do informační vědy. Doubravník: Flow. ISBN 978-80-88123-10-1.</ref> |
− | Steffano Mizzaro sepsal na toto téma několik studií. Podle něho je relevance definována jako “vztah mezi dvěma entitami ze dvou skupin“. | + | Steffano Mizzaro sepsal na toto téma několik studií. Podle něho je relevance definována jako “vztah mezi dvěma entitami ze dvou skupin“. |
− | '''Do první skupiny jsou zařazeny:''' | + | '''Do první skupiny jsou zařazeny:''' |
*dokument | *dokument | ||
Řádek 27: | Řádek 26: | ||
*dotaz <ref name="boldis">BOLDIŠ, Petr, 2008. Pořádání informací a znalostí na internetu: analýza a trendy [online]. Verze 1.0. Praha [cit. 2018-04-19]. Dostupné z: http://uisk.ff.cuni.cz/wp-content/uploads/sites/62/2016/01/Po%C5%99%C3%A1d%C3%A1n%C3%AD-informac%C3%AD-a-znalost%C3%AD-na-internetu-anal%C3%BDza-a-trendy_Boldi%C5%A1.pdf</ref> | *dotaz <ref name="boldis">BOLDIŠ, Petr, 2008. Pořádání informací a znalostí na internetu: analýza a trendy [online]. Verze 1.0. Praha [cit. 2018-04-19]. Dostupné z: http://uisk.ff.cuni.cz/wp-content/uploads/sites/62/2016/01/Po%C5%99%C3%A1d%C3%A1n%C3%AD-informac%C3%AD-a-znalost%C3%AD-na-internetu-anal%C3%BDza-a-trendy_Boldi%C5%A1.pdf</ref> | ||
− | Na obr. na modelu S. Mizzara<ref>MIZZARO, Stefano, 1997. Relevance: The Whole History. Journal of The American Society For Information Science [online]. 1997, 48(9), 810-815.</ref> jsou zástupci první skupiny nalevo a druhé skupiny napravo. Relevancí pak rozumíme vztah mezi dvěma prvky z každé skupiny, např. mezi dokumentem a požadavkem, nebo mezi informací a informační potřebou.<ref> KASÍK, Josef, 2007. Problémy vyhledávání informací v Internetu ? relevance, důvěryhodnost a aktuálnost vyhledaných informací [online]. Praha [cit. 2018-04-19]. Dostupné z: https://vskp.vse.cz/id/1331263. Bakalářská práce. Vysoká škola | + | Na obr. na modelu S. Mizzara<ref>MIZZARO, Stefano, 1997. Relevance: The Whole History. Journal of The American Society For Information Science [online]. 1997, 48(9), 810-815.</ref> jsou zástupci první skupiny nalevo a druhé skupiny napravo. Relevancí pak rozumíme vztah mezi dvěma prvky z každé skupiny, např. mezi dokumentem a požadavkem, nebo mezi informací a informační potřebou.<ref> KASÍK, Josef, 2007. Problémy vyhledávání informací v Internetu ? relevance, důvěryhodnost a aktuálnost vyhledaných informací [online]. Praha [cit. 2018-04-19]. Dostupné z: https://vskp.vse.cz/id/1331263. Bakalářská práce. Vysoká škola ekonomická v Praze, Fakulta informatiky a statistiky. Vedoucí práce Mach, Jan. </ref> |
− | |||
− | + | ===Vyhledávání informací=== | |
+ | '''Vyhledávání informací může probíhat dvěma způsoby:''' | ||
− | *podle obsahu dokumentu | + | *<u>podle jmenného popisu dokumentu</u>: př. jméno autora, rok vydání atd. Sytém vyhledá tuto informaci bez problému. |
+ | *<u>podle obsahu dokumentu</u>: nelze jednoznačně a beze zbytku vyjádřit obsah dokumentu. Ke zkreslení může dojít nejen při popisu dokumentu, ale i při formulaci dotazu (hlavně z důvodu zjednodušení). Tím pak dochází k tomu, že některé relevantní dokumenty nejsou vybrány a naopak, jsou vybrány dokumenty irelevantní. K určení míry úspěšnosti vyhledávání podle obsahu systémem měříme pomocí koeficientu přesnosti a úplnosti.<ref name="boldis" /> | ||
− | [[Soubor:rel222.jpg|thumb|center|Počty dokumentů pro hodnocení_úspěšnosti vyhledávání (Sklenák, 2001)]] | + | <br />[[Soubor:rel222.jpg|thumb|center|Počty dokumentů pro hodnocení_úspěšnosti vyhledávání (Sklenák, 2001)]] |
+ | |||
A = počet vybraných dokumentů relevantních k informačnímu požadavku | A = počet vybraných dokumentů relevantních k informačnímu požadavku | ||
Řádek 44: | Řádek 45: | ||
D = počet irelevantních a nevybraných dokumentů | D = počet irelevantních a nevybraných dokumentů | ||
− | |||
− | + | '''V rámci vyhledávání informací je pak možné vypočítat:''' | |
+ | |||
+ | *<u>koeficient přesnosti</u>: vyjadřuje, jaká je šance, že nalezený dokument je relevantní. | ||
<math>p=\frac{A}{A+C}</math><ref name="sklenak">SKLENÁK, Vilém, 2001. Data, informace, znalosti a Internet. Praha: C.H. Beck. C.H. Beck pro praxi. ISBN 80-717-9409-0</ref> | <math>p=\frac{A}{A+C}</math><ref name="sklenak">SKLENÁK, Vilém, 2001. Data, informace, znalosti a Internet. Praha: C.H. Beck. C.H. Beck pro praxi. ISBN 80-717-9409-0</ref> | ||
− | + | *<u>koeficient úplnosti:</u> vyjadřuje, jaká je možnost, že bude vybrán relevantní dokument | |
− | * | ||
− | |||
− | |||
<math>r=\frac{A}{A+B}</math><ref name="sklenak" /> | <math>r=\frac{A}{A+B}</math><ref name="sklenak" /> | ||
Řádek 60: | Řádek 59: | ||
[[Soubor:Relevance - průniky (autor- Adéla Jarolímková Rešeršní strategie pro vědu a výzkum).png|náhled|vlevo|Relevance - průniky (autor: Adéla Jarolímková Rešeršní strategie pro vědu a výzkum)]] | [[Soubor:Relevance - průniky (autor- Adéla Jarolímková Rešeršní strategie pro vědu a výzkum).png|náhled|vlevo|Relevance - průniky (autor: Adéla Jarolímková Rešeršní strategie pro vědu a výzkum)]] | ||
− | Relevantní informace je informace, která je formálně nebo věcně shodné s dotazem zadaným uživatelem v přirozeném či selekčním jazyku. | + | Relevantní informace je informace, která je formálně nebo věcně shodné s dotazem zadaným uživatelem v přirozeném či [[Selekční jazyk|selekčním jazyku]]. |
− | *'''Formální relevance''' je shoda formulace rešeršního dotazu se selekčními údaji dokumentu. V rámci ní informační systémy posuzují relevanci v závislosti na modelu vyhledávání, který používají (booleovský x vekterový x pravděpodobností) | + | *'''Formální relevance''' je shoda formulace [[Rešerše|rešeršního]] dotazu se selekčními údaji dokumentu. V rámci ní [[Informační systém|informační systémy]] posuzují relevanci v závislosti na modelu vyhledávání, který používají ([[Booleovské operátory|booleovský]] x vekterový x pravděpodobností). |
*'''Věcná (obsahová)''' relevance je shoda obsahu informačního dotazu s obsahem vyhledaného dokumentu. Ke zjišťování relevance se používají koeficienty (míry) úplnosti a přesnosti. <ref>JONÁK, Zdeněk. Relevantní informace. In: KTD: Česká terminologická databáze knihovnictví a informační vědy (TDKIV) [online]. Praha : Národní knihovna ČR, 2003- [cit. 2021-08-19]. Dostupné z: https://aleph.nkp.cz/F/?func=direct&doc_number=000000488&local_base=KTD.</ref> | *'''Věcná (obsahová)''' relevance je shoda obsahu informačního dotazu s obsahem vyhledaného dokumentu. Ke zjišťování relevance se používají koeficienty (míry) úplnosti a přesnosti. <ref>JONÁK, Zdeněk. Relevantní informace. In: KTD: Česká terminologická databáze knihovnictví a informační vědy (TDKIV) [online]. Praha : Národní knihovna ČR, 2003- [cit. 2021-08-19]. Dostupné z: https://aleph.nkp.cz/F/?func=direct&doc_number=000000488&local_base=KTD.</ref> | ||
===Druhy relevance podle Saracevice=== | ===Druhy relevance podle Saracevice=== | ||
− | Podle Saraceviceho je relevance vztah mezi informací či informačním objektem a kontextem (informační potřeba, dotaz, úkol, záměr, téma …). | + | Podle Saraceviceho je relevance vztah mezi informací či informačním objektem a kontextem (informační potřeba, dotaz, úkol, záměr, téma …). Také se dá říct, že je to míra příbuznosti. |
− | *'''Systémová/algoritmická relevance:''' vztah mezi dotazem a informací/informačním objektem | + | *'''Systémová/algoritmická relevance:''' vztah mezi dotazem a informací/informačním objektem. |
− | *'''Tématická/věcná relevance:''' vztah mezi tématem vyjádřeným v dotazu a tématem pokrytým informací/informačním objektem | + | *'''Tématická/věcná relevance:''' vztah mezi tématem vyjádřeným v dotazu a tématem pokrytým informací/informačním objektem. |
− | *'''Kognitivní relevance/pertinence:''' vztah mezi stavem znalostí uživatele a informací/informačním objektem | + | *'''Kognitivní relevance/pertinence:''' vztah mezi stavem znalostí uživatele a informací/informačním objektem. |
*'''Situační relevance/přínosnost:''' vztah mezi situací, úkolem či problémem a vyhledaným či existujícím informačním objektem. Hodnotí se podle přínosnosti pro rozhodování, řešení problému, snižování míry nejistoty apod. | *'''Situační relevance/přínosnost:''' vztah mezi situací, úkolem či problémem a vyhledaným či existujícím informačním objektem. Hodnotí se podle přínosnosti pro rozhodování, řešení problému, snižování míry nejistoty apod. | ||
− | *'''Afektivní/motivační relevance:''' vztah mezi záměry, cíli, emocemi a motivací uživatele a vyhledaným či existujícím informačním objektem. Hodnotí se podle míry spokojenosti uživatele | + | *'''Afektivní/motivační relevance:''' vztah mezi záměry, cíli, emocemi a motivací uživatele a vyhledaným či existujícím informačním objektem. Hodnotí se podle míry spokojenosti uživatele a dosažení úspěchu. <ref name="dl">JAROLÍMKOVÁ, Adéla. Rešeršní strategie pro vědu a výzkum - Relevance. Moodle UK pro výuku 1 [online]. [cit. 2021-08-19]. Dostupné z: https://dl1.cuni.cz/course/view.php?id=5716</ref> |
===Druhy relevance podle Huang & Soergel=== | ===Druhy relevance podle Huang & Soergel=== | ||
Řádek 79: | Řádek 78: | ||
'''Ti ji dělí na tyto dva typy:''' | '''Ti ji dělí na tyto dva typy:''' | ||
− | *<u>Relevance-as-is („jak stojí a leží“)</u>: smysluplný vztah mezi informačním objektem a informační potřebou (součásti informační potřeby: | + | *<u>Relevance-as-is („jak stojí a leží“)</u>: smysluplný vztah mezi informačním objektem a informační potřebou (součásti informační potřeby: téma, uživatel, problém, situace). |
− | *<u>Relevance-as-determined</u>: výsledek posouzení relevance-as-is posuzujícím (člověk nebo systém), který je založený na reprezentacích informačního objektu a informační potřeby <ref name="dl">JAROLÍMKOVÁ, Adéla. Rešeršní strategie pro vědu a výzkum - Relevance. Moodle UK pro výuku 1 [online]. [cit. 2021-08-19]. Dostupné z: https://dl1.cuni.cz/course/view.php?id=5716</ref> | + | *<u>Relevance-as-determined</u>: výsledek posouzení relevance-as-is posuzujícím (člověk nebo systém), který je založený na reprezentacích informačního objektu a informační potřeby. <ref name="dl">JAROLÍMKOVÁ, Adéla. Rešeršní strategie pro vědu a výzkum - Relevance. Moodle UK pro výuku 1 [online]. [cit. 2021-08-19]. Dostupné z: https://dl1.cuni.cz/course/view.php?id=5716</ref> |
===Kritéria pertinence=== | ===Kritéria pertinence=== | ||
Řádek 87: | Řádek 86: | ||
'''Mezi takový příklad patří:''' | '''Mezi takový příklad patří:''' | ||
− | *<u>Tématičnost (topicality)</u>:do jaké míry obsah dokumentu odpovídá tématu | + | *<u>Tématičnost (topicality)</u>:do jaké míry obsah dokumentu odpovídá tématu. |
− | *<u>Spolehlivost (reliability)</u>: do jaké míry je obsah dokumentu vnímán jako pravdivý, přesný a spolehlivý | + | *<u>Spolehlivost (reliability)</u>: do jaké míry je obsah dokumentu vnímán jako pravdivý, přesný a spolehlivý. |
− | *<u>Pochopitelnost (understandability)</u>: do jaké míry je obsah uživateli srozumitelný | + | *<u>Pochopitelnost (understandability)</u>: do jaké míry je obsah uživateli srozumitelný. |
− | *<u>Novost (novelty)</u>: do jaké míry přináší uživateli nové informace | + | *<u>Novost (novelty)</u>: do jaké míry přináší uživateli nové informace. |
− | *<u>Rozsah (scope)</u>: do jaké šíře a hloubky je téma zpracováno <ref name="dl">JAROLÍMKOVÁ, Adéla. Rešeršní strategie pro vědu a výzkum - Relevance. Moodle UK pro výuku 1 [online]. [cit. 2021-08-19]. Dostupné z: https://dl1.cuni.cz/course/view.php?id=5716</ref> | + | *<u>Rozsah (scope)</u>: do jaké šíře a hloubky je téma zpracováno. <ref name="dl">JAROLÍMKOVÁ, Adéla. Rešeršní strategie pro vědu a výzkum - Relevance. Moodle UK pro výuku 1 [online]. [cit. 2021-08-19]. Dostupné z: https://dl1.cuni.cz/course/view.php?id=5716</ref> |
==[[Vyhodnocování relevance, role a druhy zpětné vazby v rešeršních službách|Vyhodnocování relevance]]== | ==[[Vyhodnocování relevance, role a druhy zpětné vazby v rešeršních službách|Vyhodnocování relevance]]== | ||
− | Při vyhledávání informací systémem měříme efektivnost vyhledávání pomocí přesnosti a úplnosti. | + | Při vyhledávání informací systémem měříme efektivnost vyhledávání pomocí přesnosti a úplnosti. |
− | *'''přesnost (precision)''' | + | *'''přesnost (precision):''' vyjadřuje, jak velká část nalezených dokumentů je relevantní. <br /> |
− | |||
− | |||
<math>p=\frac{|REL \cap NAL|}{|NAL|}</math> | <math>p=\frac{|REL \cap NAL|}{|NAL|}</math> | ||
− | *'''úplnost (recall''') | + | *'''úplnost (recall'''): vyjadřuje, jak velká část relevantních dokumentů (ze všech možných) se našla. <br /> |
− | |||
− | |||
<math> | <math> | ||
Řádek 110: | Řádek 105: | ||
− | REL | + | *'''REL:''' množina všech relevantních dokumentů |
− | NAL | + | *'''NAL:''' množina všech nalezených dokumentů <ref name="sklenak" /> |
Ideální by byla co nejvyšší úplnost i přesnost, tedy že by r = 1 a p = 1, což je však nereálné. Přesnost a úplnost jsou si nepřímo úměrné, tedy protichůdné. Chceme-li získat co nejvíce výsledků k danému tématu, bude pro nás důležitá úplnost. Naopak, máme-li jeden konkrétní specifický dotaz, je pro nás důležitá přesnost.<ref>PAPÍK, Richard, Rešeršní strategie a informační systémy pro vědu a výzkum [online]. Praha, 2011, (Verze 1.0) [cit. 2018-04-19]. Dostupné z: http://sites.ff.cuni.cz/uisk/wp-content/uploads/sites/62/2016/01/Re%C5%A1er%C5%A1n%C3%AD-strategie-a-informa%C4%8Dn%C3%AD-syst%C3%A9my-pro-v%C4%9Bdu-a-v%C3%BDzkum_Pap%C3%ADk.pdf</ref> | Ideální by byla co nejvyšší úplnost i přesnost, tedy že by r = 1 a p = 1, což je však nereálné. Přesnost a úplnost jsou si nepřímo úměrné, tedy protichůdné. Chceme-li získat co nejvíce výsledků k danému tématu, bude pro nás důležitá úplnost. Naopak, máme-li jeden konkrétní specifický dotaz, je pro nás důležitá přesnost.<ref>PAPÍK, Richard, Rešeršní strategie a informační systémy pro vědu a výzkum [online]. Praha, 2011, (Verze 1.0) [cit. 2018-04-19]. Dostupné z: http://sites.ff.cuni.cz/uisk/wp-content/uploads/sites/62/2016/01/Re%C5%A1er%C5%A1n%C3%AD-strategie-a-informa%C4%8Dn%C3%AD-syst%C3%A9my-pro-v%C4%9Bdu-a-v%C3%BDzkum_Pap%C3%ADk.pdf</ref> | ||
− | Grafy | + | ===Grafy=== |
<gallery> | <gallery> | ||
Soubor:Obrazek3.jpg|Relevance vyhledávání (Papík, 2011) | Soubor:Obrazek3.jpg|Relevance vyhledávání (Papík, 2011) | ||
Řádek 129: | Řádek 124: | ||
*<u>frekvence výskytu hledaného slova</u>: čím častěji se hledané slovo vyskytuje v daném dokumentu, tím má dokument větší šanci získat lepší hodnocení. | *<u>frekvence výskytu hledaného slova</u>: čím častěji se hledané slovo vyskytuje v daném dokumentu, tím má dokument větší šanci získat lepší hodnocení. | ||
− | *<u>pozice slova v dokumentu</u>: u tohoto kritéria se hodnotí pozice slova v dokumentu. Skóre se zvětšuje čím blíže se slovo vyskytuje začátku dokumentu. Zvlášť jsou hodnocena slova v názvu. | + | *<u>pozice slova v dokumentu</u>: u tohoto kritéria se hodnotí pozice slova v dokumentu. Skóre se zvětšuje, čím blíže se slovo vyskytuje začátku dokumentu. Zvlášť jsou hodnocena slova v názvu. |
− | *<u>existence metatagu</u>: některé vyhledávací stroje zjišťují existenci metatagu a zlepšují hodnocení dokumentu, pokud se v něm hledané slovo vyskytuje | + | *<u>existence metatagu</u>: některé vyhledávací stroje zjišťují existenci metatagu a zlepšují hodnocení dokumentu, pokud se v něm hledané slovo vyskytuje. <ref>HOUDEK, Aleš. Způsoby hodnocení relevance vyhledaných dokumentů ve vyhledávacích strojích. Ikaros [online]. 2000, ročník 4, číslo 1 [cit. 2021-08-21]. urn:nbn:cz:ik-11071. ISSN 1212-5075. Dostupné z: http://ikaros.cz/node/11071</ref> S tím, že meta tagy jsou speciální elementy, které se v [[Charakterizujte formáty souborů HTML a XML. Popište, k čemu se používají. Uveďte několik základních značek HTML a popište jejich význam.|HTML]] dokumentu zapisují do hlavičky stránky a které nesou informace doplňující obsah stránky. Ty nejsou při zobrazení stránky nikde vidět, ale pomáhají prohlížečům, [[Modely, principy a nástroje vyhledávání na webu a jeho trendy|vyhledávačům]] a dalším programům v lepší interpretaci stránky. <ref>ŠTRÁFELDA, Jan. Co jsou to meta tagy. Jan Štráfelda: průvodce online projektem [online]. [cit. 2021-08-23]. Dostupné z: https://www.strafelda.cz/meta-tagy</ref> |
'''Kritéria nezávislá na dokumentu:''' | '''Kritéria nezávislá na dokumentu:''' | ||
*<u>populárnost daného dokumentu</u>: při tomto hodnocení se bere v potaz pouhý součet všech odkazů na daný dokument. Jde v podstatě o popularitu daného dokumentu. Určuje však pouze jeho popularitu, ale nikoliv kvalitu. | *<u>populárnost daného dokumentu</u>: při tomto hodnocení se bere v potaz pouhý součet všech odkazů na daný dokument. Jde v podstatě o popularitu daného dokumentu. Určuje však pouze jeho popularitu, ale nikoliv kvalitu. | ||
− | *<u>citační analýza</u>: autoři vyhledávacích strojů [[Google]] vyšli z myšlenky [[Citační analýza|citační analýzy]] a [[Impact factor|impact faktoru]]. Toto kritérium funguje tak, | + | *<u>citační analýza</u>: autoři vyhledávacích strojů [[Google]] vyšli z myšlenky [[Citační analýza|citační analýzy]] a [[Impact factor|impact faktoru]]. Toto kritérium funguje tak, že "hodnota" dokumentu je sumou hodnot dokumentů, které na daný dokument odkazují / počtem odkazů vedoucích z dokumentu. Toto hodnocení je normalizováno, takže jeho maximální hodnota může být menší než jedna. Tento systém velmi věrně kopíruje citační analýzu a je velmi málo náchylný na manipulaci. Tato strategie vede k velmi dobrým výsledkům vyhledávání. <ref>HOUDEK, Aleš. Způsoby hodnocení relevance vyhledaných dokumentů ve vyhledávacích strojích. Ikaros [online]. 2000, ročník 4, číslo 1 [cit. 2021-08-21]. urn:nbn:cz:ik-11071. ISSN 1212-5075. Dostupné z: http://ikaros.cz/node/11071</ref> |
==Odkazy== | ==Odkazy== | ||
Řádek 161: | Řádek 156: | ||
*[[Vyhodnocování relevance, role a druhy zpětné vazby v rešeršních službách]] | *[[Vyhodnocování relevance, role a druhy zpětné vazby v rešeršních službách]] | ||
*[[Vyhodnocování relevance]] | *[[Vyhodnocování relevance]] | ||
+ | *[[Vyhledávače, vyhledávací nástroje]] | ||
+ | *[[Typologie rešerší, rešeršních služeb a rešeršních strategií a taktik, analytické vyhledávání versus intuitivní vyhledávání, etapy rešeršních postupů]] | ||
===Klíčová slova=== | ===Klíčová slova=== |
Aktuální verze z 23. 8. 2021, 08:27
Pojem relevance se objevuje v několika oborech - např. v oblasti práva, ekonomie, lingvistiky, filozofie, psychologie, a také v informační vědě, ve které hraje klíčovou roli ve vyhledávání informací.
Teorie relevance v oblasti lingvistiky se pojí se jmény Sperbera a Wilsonové. Podle nich je princip relevance základním prvkem komunikace. Každý výrok, který mluvčí vysloví, vytváří u adresáta očekávání, že je relevantní, tzn. má vztah k dané situaci. Úspěšná komunikace je taková, kdy každý z účastníků je schopen přispět do ní svou relevantní informací. [1]
Relevance v informační vědě
V oblasti informační vědy je pojem relevance chápán jako vztah mezi dotazem uživatele a jedním dokumentem z velké množiny dokumentů. V užším slova smyslu ji můžeme pojmenovat jako číselné seřazení výsledků vyhledávání podle toho, jak odpovídá informační potřebě uživatele, vyjádřené dotazem.
"Těžko bychom našli pojem, který je předmětem tolika debat nebo který by měl takový dopad na obory informačního průzkumu a vyhledávání informací, jako relevance. Relevance hraje jednu z nejdůležitějších, základních a ústředních rolí ve všech aspektech informačního průzkumu a vyhledávání informací, včetně teorie, implementace a vyhodnocování." [2]
Pojmem relevance se zabývalo již mnoho vědců - např. Nolin (2009), Saracevic (1975, 2007), Bawden (1990), Buckland (1983), Borlund (2003) a Mizzaro (1997)[3]
Steffano Mizzaro sepsal na toto téma několik studií. Podle něho je relevance definována jako “vztah mezi dvěma entitami ze dvou skupin“.
Do první skupiny jsou zařazeny:
- dokument
- zástupce
- informace
Do druhé řadíme:
- problém
- informační potřebu
- požadavek
- dotaz [4]
Na obr. na modelu S. Mizzara[5] jsou zástupci první skupiny nalevo a druhé skupiny napravo. Relevancí pak rozumíme vztah mezi dvěma prvky z každé skupiny, např. mezi dokumentem a požadavkem, nebo mezi informací a informační potřebou.[6]
Vyhledávání informací
Vyhledávání informací může probíhat dvěma způsoby:
- podle jmenného popisu dokumentu: př. jméno autora, rok vydání atd. Sytém vyhledá tuto informaci bez problému.
- podle obsahu dokumentu: nelze jednoznačně a beze zbytku vyjádřit obsah dokumentu. Ke zkreslení může dojít nejen při popisu dokumentu, ale i při formulaci dotazu (hlavně z důvodu zjednodušení). Tím pak dochází k tomu, že některé relevantní dokumenty nejsou vybrány a naopak, jsou vybrány dokumenty irelevantní. K určení míry úspěšnosti vyhledávání podle obsahu systémem měříme pomocí koeficientu přesnosti a úplnosti.[4]
A = počet vybraných dokumentů relevantních k informačnímu požadavku
B = počet relevantních dokumentů k informačnímu požadavku, ale systém je při vyhledání nevybral
C = počet dokumentů irelevantních i informačnímu požadavku, ale systém je při vyhledávání vybral
D = počet irelevantních a nevybraných dokumentů
V rámci vyhledávání informací je pak možné vypočítat:
- koeficient přesnosti: vyjadřuje, jaká je šance, že nalezený dokument je relevantní.
- koeficient úplnosti: vyjadřuje, jaká je možnost, že bude vybrán relevantní dokument
Druhy relevance
Relevantní informace je informace, která je formálně nebo věcně shodné s dotazem zadaným uživatelem v přirozeném či selekčním jazyku.
- Formální relevance je shoda formulace rešeršního dotazu se selekčními údaji dokumentu. V rámci ní informační systémy posuzují relevanci v závislosti na modelu vyhledávání, který používají (booleovský x vekterový x pravděpodobností).
- Věcná (obsahová) relevance je shoda obsahu informačního dotazu s obsahem vyhledaného dokumentu. Ke zjišťování relevance se používají koeficienty (míry) úplnosti a přesnosti. [8]
Druhy relevance podle Saracevice
Podle Saraceviceho je relevance vztah mezi informací či informačním objektem a kontextem (informační potřeba, dotaz, úkol, záměr, téma …). Také se dá říct, že je to míra příbuznosti.
- Systémová/algoritmická relevance: vztah mezi dotazem a informací/informačním objektem.
- Tématická/věcná relevance: vztah mezi tématem vyjádřeným v dotazu a tématem pokrytým informací/informačním objektem.
- Kognitivní relevance/pertinence: vztah mezi stavem znalostí uživatele a informací/informačním objektem.
- Situační relevance/přínosnost: vztah mezi situací, úkolem či problémem a vyhledaným či existujícím informačním objektem. Hodnotí se podle přínosnosti pro rozhodování, řešení problému, snižování míry nejistoty apod.
- Afektivní/motivační relevance: vztah mezi záměry, cíli, emocemi a motivací uživatele a vyhledaným či existujícím informačním objektem. Hodnotí se podle míry spokojenosti uživatele a dosažení úspěchu. [9]
Druhy relevance podle Huang & Soergel
Dalším typem relevance je relevance podle pánů Xiaoli Huang a Dagobert Soergel.
Ti ji dělí na tyto dva typy:
- Relevance-as-is („jak stojí a leží“): smysluplný vztah mezi informačním objektem a informační potřebou (součásti informační potřeby: téma, uživatel, problém, situace).
- Relevance-as-determined: výsledek posouzení relevance-as-is posuzujícím (člověk nebo systém), který je založený na reprezentacích informačního objektu a informační potřeby. [9]
Kritéria pertinence
Pertinentní informace je pak informace, které vyhovují subjektivním požadavkům uživatele na obsah informace nebo dokumentu. [10] Pertinence, neboli uživatelská relevance má dle různých výzkumů až několik desítek kritérií.
Mezi takový příklad patří:
- Tématičnost (topicality):do jaké míry obsah dokumentu odpovídá tématu.
- Spolehlivost (reliability): do jaké míry je obsah dokumentu vnímán jako pravdivý, přesný a spolehlivý.
- Pochopitelnost (understandability): do jaké míry je obsah uživateli srozumitelný.
- Novost (novelty): do jaké míry přináší uživateli nové informace.
- Rozsah (scope): do jaké šíře a hloubky je téma zpracováno. [9]
Vyhodnocování relevance
Při vyhledávání informací systémem měříme efektivnost vyhledávání pomocí přesnosti a úplnosti.
- přesnost (precision): vyjadřuje, jak velká část nalezených dokumentů je relevantní.
- úplnost (recall): vyjadřuje, jak velká část relevantních dokumentů (ze všech možných) se našla.
- REL: množina všech relevantních dokumentů
- NAL: množina všech nalezených dokumentů [7]
Ideální by byla co nejvyšší úplnost i přesnost, tedy že by r = 1 a p = 1, což je však nereálné. Přesnost a úplnost jsou si nepřímo úměrné, tedy protichůdné. Chceme-li získat co nejvíce výsledků k danému tématu, bude pro nás důležitá úplnost. Naopak, máme-li jeden konkrétní specifický dotaz, je pro nás důležitá přesnost.[11]
Grafy
Další způsoby hodnocení relevance
Existuje několik kritérií, podle kterých vyhledávací stroje hodnotí relevanci vyhledaných dokumentů. Tato kritéria se dají rozdělit na dvě oblasti. Jednou jsou kritéria závislá pouze na vlastnostech daného dokumentu a druhou jsou kritéria nezávislá na hodnoceném dokumentu.
Kritéria založená na vlastnostech dokumentu:
- frekvence výskytu hledaného slova: čím častěji se hledané slovo vyskytuje v daném dokumentu, tím má dokument větší šanci získat lepší hodnocení.
- pozice slova v dokumentu: u tohoto kritéria se hodnotí pozice slova v dokumentu. Skóre se zvětšuje, čím blíže se slovo vyskytuje začátku dokumentu. Zvlášť jsou hodnocena slova v názvu.
- existence metatagu: některé vyhledávací stroje zjišťují existenci metatagu a zlepšují hodnocení dokumentu, pokud se v něm hledané slovo vyskytuje. [12] S tím, že meta tagy jsou speciální elementy, které se v HTML dokumentu zapisují do hlavičky stránky a které nesou informace doplňující obsah stránky. Ty nejsou při zobrazení stránky nikde vidět, ale pomáhají prohlížečům, vyhledávačům a dalším programům v lepší interpretaci stránky. [13]
Kritéria nezávislá na dokumentu:
- populárnost daného dokumentu: při tomto hodnocení se bere v potaz pouhý součet všech odkazů na daný dokument. Jde v podstatě o popularitu daného dokumentu. Určuje však pouze jeho popularitu, ale nikoliv kvalitu.
- citační analýza: autoři vyhledávacích strojů Google vyšli z myšlenky citační analýzy a impact faktoru. Toto kritérium funguje tak, že "hodnota" dokumentu je sumou hodnot dokumentů, které na daný dokument odkazují / počtem odkazů vedoucích z dokumentu. Toto hodnocení je normalizováno, takže jeho maximální hodnota může být menší než jedna. Tento systém velmi věrně kopíruje citační analýzu a je velmi málo náchylný na manipulaci. Tato strategie vede k velmi dobrým výsledkům vyhledávání. [14]
Odkazy
Reference
- ↑ HIRSCHOVÁ, Milada, 2013. Pragmatika v češtině. Vyd. 2., V Karolinu 1., dopl. V Praze: Karolinum. ISBN 978-80-246-2233-0.
- ↑ JANSEN, Bernard J. a Soo Young RIEH. The seventeen theoretical constructs of information searching and information retrieval. Journal of the American Society for Information Science and Technology [online]. [cit. 2018-05-05]. DOI: 10.1002/asi.21358.
- ↑ BAWDEN, David a Lyn ROBINSON, 2017. Úvod do informační vědy. Doubravník: Flow. ISBN 978-80-88123-10-1.
- ↑ 4,0 4,1 BOLDIŠ, Petr, 2008. Pořádání informací a znalostí na internetu: analýza a trendy [online]. Verze 1.0. Praha [cit. 2018-04-19]. Dostupné z: http://uisk.ff.cuni.cz/wp-content/uploads/sites/62/2016/01/Po%C5%99%C3%A1d%C3%A1n%C3%AD-informac%C3%AD-a-znalost%C3%AD-na-internetu-anal%C3%BDza-a-trendy_Boldi%C5%A1.pdf
- ↑ MIZZARO, Stefano, 1997. Relevance: The Whole History. Journal of The American Society For Information Science [online]. 1997, 48(9), 810-815.
- ↑ KASÍK, Josef, 2007. Problémy vyhledávání informací v Internetu ? relevance, důvěryhodnost a aktuálnost vyhledaných informací [online]. Praha [cit. 2018-04-19]. Dostupné z: https://vskp.vse.cz/id/1331263. Bakalářská práce. Vysoká škola ekonomická v Praze, Fakulta informatiky a statistiky. Vedoucí práce Mach, Jan.
- ↑ 7,0 7,1 7,2 SKLENÁK, Vilém, 2001. Data, informace, znalosti a Internet. Praha: C.H. Beck. C.H. Beck pro praxi. ISBN 80-717-9409-0
- ↑ JONÁK, Zdeněk. Relevantní informace. In: KTD: Česká terminologická databáze knihovnictví a informační vědy (TDKIV) [online]. Praha : Národní knihovna ČR, 2003- [cit. 2021-08-19]. Dostupné z: https://aleph.nkp.cz/F/?func=direct&doc_number=000000488&local_base=KTD.
- ↑ 9,0 9,1 9,2 JAROLÍMKOVÁ, Adéla. Rešeršní strategie pro vědu a výzkum - Relevance. Moodle UK pro výuku 1 [online]. [cit. 2021-08-19]. Dostupné z: https://dl1.cuni.cz/course/view.php?id=5716
- ↑ JONÁK, Zdeněk. Pertinentní informace. In: KTD: Česká terminologická databáze knihovnictví a informační vědy (TDKIV) [online]. Praha : Národní knihovna ČR, 2003- [cit. 2021-08-19]. Dostupné z: https://aleph.nkp.cz/F/?func=direct&doc_number=000000483&local_base=KTD.
- ↑ PAPÍK, Richard, Rešeršní strategie a informační systémy pro vědu a výzkum [online]. Praha, 2011, (Verze 1.0) [cit. 2018-04-19]. Dostupné z: http://sites.ff.cuni.cz/uisk/wp-content/uploads/sites/62/2016/01/Re%C5%A1er%C5%A1n%C3%AD-strategie-a-informa%C4%8Dn%C3%AD-syst%C3%A9my-pro-v%C4%9Bdu-a-v%C3%BDzkum_Pap%C3%ADk.pdf
- ↑ HOUDEK, Aleš. Způsoby hodnocení relevance vyhledaných dokumentů ve vyhledávacích strojích. Ikaros [online]. 2000, ročník 4, číslo 1 [cit. 2021-08-21]. urn:nbn:cz:ik-11071. ISSN 1212-5075. Dostupné z: http://ikaros.cz/node/11071
- ↑ ŠTRÁFELDA, Jan. Co jsou to meta tagy. Jan Štráfelda: průvodce online projektem [online]. [cit. 2021-08-23]. Dostupné z: https://www.strafelda.cz/meta-tagy
- ↑ HOUDEK, Aleš. Způsoby hodnocení relevance vyhledaných dokumentů ve vyhledávacích strojích. Ikaros [online]. 2000, ročník 4, číslo 1 [cit. 2021-08-21]. urn:nbn:cz:ik-11071. ISSN 1212-5075. Dostupné z: http://ikaros.cz/node/11071
Doporučená literatura
- NEBESKÁ, Iva, 1991. Relevance jako hlavní princip komunikace. Slovo a slovesnost. Praha, 52(1), 74-76.
- PŮLPÁN, Zdeněk. Jak ohodnotit relevantní informaci z dotazníkového šetření. Vydání: první. Pardubice: Univerzita Pardubice, Dopravní fakulta Jana Pernera, 2018. 322 stran. ISBN 978-80-7560-128-5.
- XU, Yunjie a Zhiwei CHEN. Relevance Judgment: What Do Information Users Consider Beyond Topicality? Journal of the American Society for Information Science [online]. 2006, 57(7), 961-973 [cit. 2016-02-23]. ISSN 15322882. Dostupné z: https://onlinelibrary.wiley.com/doi/pdf/10.1002/asi.20361?casa_token=h16CO7MSuEMAAAAA:Sfl53ocRzcud_dV51erncTJw5afEsF9G6zxr_cgWyyLuGU9tn8RiUgNxF3sTPg8qfgaoBDFN615xbB8
- SARACEVIC, T. Relevance: A Review of the literature and a framework for thinking on the notion in information science. Part III. JOURNAL OF THE AMERICAN SOCIETY FOR INFORMATION SCIENCE AND TECHNOLOGY [online]. 2007, 58(13), 2126-2144 [cit. 2016-02-25]. ISSN 15322882. Dostupné z: https://onlinelibrary.wiley.com/doi/pdf/10.1002/asi.20681?casa_token=v959soIvDbQAAAAA:w7A8DIB43DuquehJ2eBM2VkZtsyt7hf_9ILwYeUOGPtdfkXGwonviQU8Jzmdb3gP5XoKBddG2PXNgss
- SARACEVIC, T. Relevance: A review of the literature and a framework for thinking on the notion in information science. Part II. Journal of the American Society for Information Science and Technology [online]. 2007, 58(13), 1915-1933 [cit. 2016-02-25]. ISSN 15322882. Dostupné z: https://tefkos.comminfo.rutgers.edu/Advances_Librar_2006.pdf
- SARACEVIC, Tefko. Relevance: a review of and a framework for the thinking on the notion in information science. Journal of the American Society for Information Science and Technology. 1975, 26(6), 321-43.
- HUANG, Xiaoli a Dagobert SOERGEL. Relevance: An improved framework for explicating the notion. Journal of the American Society for Information Science and Technology [online]. 2013, 64(1), 18-35 [cit. 2020-03-16]. DOI: 10.1002/asi.22811. ISSN 15322882. Dostupné z: http://doi.wiley.com/10.1002/asi.22811
- HJØRLAND, Birger. The Foundation of the Concept of Relevance. Journal of the American Society for Information Science [online]. 2010, 61(2), 217-237 [cit. 2016-02-23]. ISSN 15322882. Dostupné z: https://onlinelibrary.wiley.com/doi/pdf/10.1002/asi.21261?casa_token=4EO7nNENxkcAAAAA:w_arfK7DB-CGqtPjIA0EVxzpo6qtLhwg1SElFanyZ_oq2LNi4heKZ76U3s1sVggcoadwTqng0hLkDyg
- COSIJN, Erica a Peter INGWERSEN. Dimensions of relevance. Information Processing & Management [online]. 2000, 36(4), 533-550 [cit. 2018-11-15]. DOI: 10.1016/S0306-4573(99)00072-2. ISSN 03064573. Dostupné z: http://linkinghub.elsevier.com/retrieve/pii/S0306457399000722
Související články
- Rešerše
- Rešeršní strategie
- Zpětná vazba v rešeršních službách
- Vyhodnocování relevance, role a druhy zpětné vazby v rešeršních službách
- Vyhodnocování relevance
- Vyhledávače, vyhledávací nástroje
- Typologie rešerší, rešeršních služeb a rešeršních strategií a taktik, analytické vyhledávání versus intuitivní vyhledávání, etapy rešeršních postupů
Klíčová slova
rešerše, relevance, vyhodnocování relevance, kritéria relevance