Principy hodnocení vědy, přístupy a nástroje, situace v ČR: Porovnání verzí
(Založena nová stránka s textem „Hodnocení vědy je považováno za důležité, protože s různými modely a formami hodnocení se vědec setkává po celou svou odbornou kariéru. Zá…“) Značka: editace z Vizuálního editoru |
m (Sara.Bezvodova přesunul stránku A4 Principy hodnocení vědy, přístupy a nástroje, situace v ČR na Principy hodnocení vědy, přístupy a nástroje, situace v ČR) |
||
(Není zobrazeno 5 mezilehlých verzí od jednoho dalšího uživatele.) | |||
Řádek 1: | Řádek 1: | ||
− | |||
− | Bibliometrické hodnocení | + | Hodnocení vědy poskytuje obraz o stavu vědecké činnosti a výsledcích. Umožňuje mapovat činnost jednotlivých vědních oblastí, institucí i jednotlivců. Současně jsou výsledky, zjištěné hodnocením vědy, jedním z nástrojů pro rozdělování financí. Hodnocení vědy lze v zásadě rozdělit na hodnocení bibliometrické a hodnocení skrze peer-review. |
+ | |||
+ | <br /> | ||
+ | |||
+ | ====[[Bibliometrie|Bibliometrické hodnocení]]==== | ||
+ | Jedná se o kvantitativní analýzu dokumentů, které vznikají v rámci [[Vědecká komunikace|vědecké komunikace]]. Vychází z předpokladu, že zkoumané dokumenty jsou odrazem stavu vědeckého poznání. V zásadě zkoumá citační vazby, publikační činnost vědců, mezinárodní citační vazby, mapuje vědu a tematický rozptyl literatury. Je vhodným podkladem pro peer-review hodnocení a bývá je využívána pro validaci výsledků této metody. Výhodou aplikace bibliometrie je relativně nízká cena, rychlost hodnocení a možnost zobecnění.<ref>ČADIL,V. (2015): Bibliometrie jako nástroj hodnocení programů výzkumu a vývoje v České republice. Dostupné z: https://www.evaltep.cz/inpage/bibliometrie/</ref> Tato metoda hodnocení má i své limity jako například: | ||
− | |||
Citační zvyklosti jiné v každém oboru- výrazně se liší přírodní vědy jako je medicína, biochemie apod. | Citační zvyklosti jiné v každém oboru- výrazně se liší přírodní vědy jako je medicína, biochemie apod. | ||
Řádek 18: | Řádek 21: | ||
− | [[ | + | Pro toto hodnocení se využívá řada metod, jejichž používaní se může lišit podle instituce, která hodnocení provádí. Jedná se například [[Impact factor|Impact faktor]], který je typický pro [[Web of Science]] nebo [[H-index]]. |
− | |||
− | + | ====[[Peer- review|Hodnocení peer-review]]==== | |
+ | Hodnocení peer- review nebo-li recenzní řízení je metoda, kdy je vědecká práce hodnocena skupinou odborníků v dané oblasti. V tomto procesu se kriticky hodnotí práce ještě před vydáním a posuzuje se zda-li odpovídá požadované kvalitě. Cílem je zajištění odpovídajícího standardu vědecké literatury. Hodnocení Peer-review se dělí na: | ||
− | otevřené - autoři jsou informováni o jménech posuzovatelů a také recenzenti | + | <u>'''otevřené'''</u> - autoři jsou informováni o jménech posuzovatelů a také recenzenti |
znají totožnost autora (popř. autorů) článku | znají totožnost autora (popř. autorů) článku | ||
− | anonymní recenzní řízení - recenzenti neznají autory textu a naopak | + | <u>'''anonymní recenzní řízení'''</u> - recenzenti neznají autory textu a naopak |
- každá redakce odborného časopisu publikuje podmínky recenzního řízení | - každá redakce odborného časopisu publikuje podmínky recenzního řízení | ||
− | (zpravidla online), kde deklaruje typ řízení, formální požadavky a průběh řízení | + | (zpravidla online), kde deklaruje typ řízení, formální požadavky a průběh řízení<ref>What is peer review? (2020) Elsevier. Dostupné z:https://www.elsevier.com/reviewers/what-is-peer-review</ref> |
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | + | Příklad recenzního řízení | |
− | + | 1, Zaslání [[Pre-print|pre-printu]] do nakladatelství | |
− | + | 2, <u>Před- recenzní kontrola:</u> Posuzuje se, jestli článek splňuje základní požadavky na vědecký článek | |
− | + | 3, <u>První fáze recenzního řízení: P</u>říspěvek je hodnocen redakcí časopisu. Zkoumá se, zda téma a charakter článku odpovídá zaměření vědeckého časopisu | |
+ | 4, D<u>ruhá fáze recenzního řízení:</u> Předání rukopisu zpravidla dvěma nezávislým recenzentům. Recenzenti ve svém odborném posudku buď rukopis doporučí, nedoporučí, a/nebo mohou navrhnout přepracování článku. | ||
− | + | 5, Z<u>ávěrečná fáze:</u> V případě, kdy se recenzenti neshodnou nebo autor na základě připomínek rukopis přepracuje, ale není zřejmé, jestli vyhověl, může být přizván další recenzent. Nicméně téměř vždy má poslední slovo šéfredaktor daného časopisu. | |
+ | ===Financování vědy=== | ||
Zmiňovaná hodnocení jsou následně podkladem pro financování vědy, které se dělí na: | Zmiňovaná hodnocení jsou následně podkladem pro financování vědy, které se dělí na: | ||
− | Institucionální- podpora fungování celé instituce a odvozuje se od vykázaných výsledků VaV. | + | <u>'''Institucionální-'''</u> podpora fungování celé instituce a odvozuje se od vykázaných výsledků VaV. |
− | Účelové- podpora konkrétních projektů v rámci vypsané projektové soutěže. Financování probíhá prostřednictvím grantů. | + | <u>'''Účelové-'''</u> podpora konkrétních projektů v rámci vypsané projektové soutěže. Financování probíhá prostřednictvím grantů. |
+ | ====Financování vědy v ČR==== | ||
+ | Probíhá od roku 2004 a je klíčovým ukazatelem pro mezinárodní srovnání (GERD- Gross Domestic Expenditures on Research and Development). Dokumenty, podle kterých se financování vědy řídí jsou: | ||
− | + | *Usnesení vlády ze dne 23. června 2004 č. 644 k hodnocení výzkumu a vývoje a jeho výsledků | |
− | + | *Reforma systému výzkumu, vývoje a inovací v ČR schválená usnesením vlády ze dne 26. března 2008 č. 287 | |
− | * | + | *Metodika hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací ([[Metodika 17+]]) |
− | + | ====Hodnocení vědeckých výstupů==== | |
+ | Hodnocení vědeckých výstupů provádí Rada vlády pro výzkum, vývoj a inovace (RVVI). Jedná se o odborný poradní orgán Vlády České republiky pro oblast výzkumu, vývoje a inovací. Byla zřízena v roce 2002. | ||
− | + | Principy hodnocení | |
− | + | *hodnocení je pravidelné a probíhá opakovaně (vstupní hodnocení návrhu, průběžné a závěrečné hodnocení) | |
− | * | + | *hodnotí se výsledky výzkumných organizací, které mohou být příjemci institucionální podpory výzkumu a vývoje - hodnocení výsledků je jedním z kritérií pro přerozdělování institucionální podpory |
− | + | *kritéria hodnocení by měla být předem známa a závazná, jasně formulovaná, kvantifikovatelná, měřitelná, zhodnotitelná a měla by se vztahovat k danému cíli. | |
+ | *provádí se na základě údajů předaných příjemci veřejné podpory do Rejstříku informací o výsledcích státem podporovaného výzkumu a vývoje (RIV) Tato data jsou navázána na ostatní části Informačního systému VaVaI. Odevzdání výsledků do RIVu je povinné ze zákona pro výsledky, které vznikly z veřejných prostředků. | ||
− | + | *do hodnocení jsou zahrnuty všechny výsledky výzkumných organizací uplatněné | |
− | + | za posledních pět let. | |
− | + | *konkrétní způsob hodnocení je určen Metodikou hodnocení (Metodika 17+), která zohledňuje například rozdílnost výzkumných organizací a bere zřetel na specifika jednotlivých oborů. | |
− | |||
− | + | Posuzování kvality se pak řídí pomocí pěti základních modulů: | |
− | + | #Kvalita vybraných výsledků | |
+ | #Výkonnost výzkumu | ||
+ | #Společenská relevance výzkumu | ||
+ | #Životaschopnost/Viabilita | ||
+ | #Strategie a koncepce<ref>Metodika hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací. (2017).Praha: Úřad vlády České republiky. Dostupné z https://www.vyzkum.cz/FrontClanek.aspx?idsekce=799796</ref><br /> | ||
− | + | ===='''[[Informační systém výzkumu, experimentálního vývoje a inovací|Informační systém VaVaI]]'''==== | |
− | |||
− | + | V tomto systému jsou uchovávány veškeré informace o výsledcích dosažených řešením projektů nebo výzkumných záměrů, financovaných ze státního rozpočtu České republiky. Hlavním cílem systému je informovat uchazeče o vyhlášených veřejných soutěžích, zveřejňovat informace o projektech a aktivitách podporovaných z veřejných prostředků, kontrolovat využití účelově a institucionální podpory z veřejných prostředků, připravovat návrh státního rozpočtu výzkumu a vývoje, hodnotit výsledky a poskytovat analýzy stavu výzkumu a vývoje v České republice. | |
− | + | Tento informační systém se skládá z několika částí: | |
− | + | *(CEP) Centrální evidence projektů výzkumu, experimentálního vývoje a inovací- projekty financované z účelových prostředků. | |
+ | *(CEZ) Centrální evidence výzkumných záměrů- záměry financované z institucionálních prostředků. | ||
+ | *(RIV) Rejstřík informací o výsledcích - výsledky projektů a výzkumných záměrů podporovaných z veřejných prostředků. | ||
+ | *(VES) Evidence veřejných soutěží ve výzkumu, experimentálním vývoji a inovacích- veřejné soutěže. | ||
+ | *(CEA) Centrální evidence aktivit výzkumu, experimentálního vývoje a inovací- příjemci, poskytovatelé a výše podpory.<ref>Informační systém výzkumu, experimentálního vývoje a inovací.(2016) Praha:Úřad vlády České republiky Dostupné z: https://www.rvvi.cz </ref> | ||
− | + | ====Reference==== | |
− | + | <references /> | |
− | |||
− | |||
− | |||
+ | ====Doporučená literatura==== | ||
+ | *VAVŘÍKOVÁ, L. (2009) Podpora informačních služeb scientometrickými postupy a nástroji. Knihovnický zpravodaj Vysočina [online]. roč. 9, č. 2. Dostupný z: <nowiki>http://kzv.kkvysociny.cz/Default.aspx?id=1125</nowiki>. ISSN 1213-8231. | ||
+ | *SOUČEK, J. MATĚJKA, M. 2006. Informační systém výzkumu a vývoje: ročenka za období 2000-2005 [online]. Praha, Úřad vlády ČR, [108 s.]. Dostupné z WWW: <<nowiki>http://www.vyzkum.cz/storage/att/02DEC2B9388816B1F8DE2F9A17DA7374/Ro%c4%8denka%202000-2005.pdf</nowiki>>. <nowiki>ISBN 80-86734-69-2</nowiki>. | ||
+ | *Rada pro výzkum, vývoj a inovace. Hodnocení VaVaI. In Výzkum a vývoj v České republice [online]. Praha: Dostupné z: <nowiki>http://www.vyzkum.cz</nowiki>. | ||
+ | ====Klíčová slova==== | ||
+ | Bibliometrie, peer- review, financování vědy, hodnocení vědeckých výstupů, citační indikátory, RIV, Metodika17+, RVVI, VAVAI | ||
<br /> | <br /> |
Aktuální verze z 26. 11. 2020, 17:08
Hodnocení vědy poskytuje obraz o stavu vědecké činnosti a výsledcích. Umožňuje mapovat činnost jednotlivých vědních oblastí, institucí i jednotlivců. Současně jsou výsledky, zjištěné hodnocením vědy, jedním z nástrojů pro rozdělování financí. Hodnocení vědy lze v zásadě rozdělit na hodnocení bibliometrické a hodnocení skrze peer-review.
Obsah
Bibliometrické hodnocení
Jedná se o kvantitativní analýzu dokumentů, které vznikají v rámci vědecké komunikace. Vychází z předpokladu, že zkoumané dokumenty jsou odrazem stavu vědeckého poznání. V zásadě zkoumá citační vazby, publikační činnost vědců, mezinárodní citační vazby, mapuje vědu a tematický rozptyl literatury. Je vhodným podkladem pro peer-review hodnocení a bývá je využívána pro validaci výsledků této metody. Výhodou aplikace bibliometrie je relativně nízká cena, rychlost hodnocení a možnost zobecnění.[1] Tato metoda hodnocení má i své limity jako například:
Citační zvyklosti jiné v každém oboru- výrazně se liší přírodní vědy jako je medicína, biochemie apod.
Autoři působící napříč obory- obtížně se identifikuje publikace, autor, instituce.
Přehledové články se citují více než ostatní.
Citovanost neznamená kvality citovaného autora. Je možné citovat i negativně.
Nezasloužená citovanost- citování někoho, kdo k dílu přispěl jen málo.
Řada neformálních pramenů se necituje.
Pro toto hodnocení se využívá řada metod, jejichž používaní se může lišit podle instituce, která hodnocení provádí. Jedná se například Impact faktor, který je typický pro Web of Science nebo H-index.
Hodnocení peer-review
Hodnocení peer- review nebo-li recenzní řízení je metoda, kdy je vědecká práce hodnocena skupinou odborníků v dané oblasti. V tomto procesu se kriticky hodnotí práce ještě před vydáním a posuzuje se zda-li odpovídá požadované kvalitě. Cílem je zajištění odpovídajícího standardu vědecké literatury. Hodnocení Peer-review se dělí na:
otevřené - autoři jsou informováni o jménech posuzovatelů a také recenzenti
znají totožnost autora (popř. autorů) článku
anonymní recenzní řízení - recenzenti neznají autory textu a naopak
- každá redakce odborného časopisu publikuje podmínky recenzního řízení
(zpravidla online), kde deklaruje typ řízení, formální požadavky a průběh řízení[2]
Příklad recenzního řízení
1, Zaslání pre-printu do nakladatelství
2, Před- recenzní kontrola: Posuzuje se, jestli článek splňuje základní požadavky na vědecký článek
3, První fáze recenzního řízení: Příspěvek je hodnocen redakcí časopisu. Zkoumá se, zda téma a charakter článku odpovídá zaměření vědeckého časopisu
4, Druhá fáze recenzního řízení: Předání rukopisu zpravidla dvěma nezávislým recenzentům. Recenzenti ve svém odborném posudku buď rukopis doporučí, nedoporučí, a/nebo mohou navrhnout přepracování článku.
5, Závěrečná fáze: V případě, kdy se recenzenti neshodnou nebo autor na základě připomínek rukopis přepracuje, ale není zřejmé, jestli vyhověl, může být přizván další recenzent. Nicméně téměř vždy má poslední slovo šéfredaktor daného časopisu.
Financování vědy
Zmiňovaná hodnocení jsou následně podkladem pro financování vědy, které se dělí na:
Institucionální- podpora fungování celé instituce a odvozuje se od vykázaných výsledků VaV.
Účelové- podpora konkrétních projektů v rámci vypsané projektové soutěže. Financování probíhá prostřednictvím grantů.
Financování vědy v ČR
Probíhá od roku 2004 a je klíčovým ukazatelem pro mezinárodní srovnání (GERD- Gross Domestic Expenditures on Research and Development). Dokumenty, podle kterých se financování vědy řídí jsou:
- Usnesení vlády ze dne 23. června 2004 č. 644 k hodnocení výzkumu a vývoje a jeho výsledků
- Reforma systému výzkumu, vývoje a inovací v ČR schválená usnesením vlády ze dne 26. března 2008 č. 287
- Metodika hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací (Metodika 17+)
Hodnocení vědeckých výstupů
Hodnocení vědeckých výstupů provádí Rada vlády pro výzkum, vývoj a inovace (RVVI). Jedná se o odborný poradní orgán Vlády České republiky pro oblast výzkumu, vývoje a inovací. Byla zřízena v roce 2002.
Principy hodnocení
- hodnocení je pravidelné a probíhá opakovaně (vstupní hodnocení návrhu, průběžné a závěrečné hodnocení)
- hodnotí se výsledky výzkumných organizací, které mohou být příjemci institucionální podpory výzkumu a vývoje - hodnocení výsledků je jedním z kritérií pro přerozdělování institucionální podpory
- kritéria hodnocení by měla být předem známa a závazná, jasně formulovaná, kvantifikovatelná, měřitelná, zhodnotitelná a měla by se vztahovat k danému cíli.
- provádí se na základě údajů předaných příjemci veřejné podpory do Rejstříku informací o výsledcích státem podporovaného výzkumu a vývoje (RIV) Tato data jsou navázána na ostatní části Informačního systému VaVaI. Odevzdání výsledků do RIVu je povinné ze zákona pro výsledky, které vznikly z veřejných prostředků.
- do hodnocení jsou zahrnuty všechny výsledky výzkumných organizací uplatněné
za posledních pět let.
- konkrétní způsob hodnocení je určen Metodikou hodnocení (Metodika 17+), která zohledňuje například rozdílnost výzkumných organizací a bere zřetel na specifika jednotlivých oborů.
Posuzování kvality se pak řídí pomocí pěti základních modulů:
- Kvalita vybraných výsledků
- Výkonnost výzkumu
- Společenská relevance výzkumu
- Životaschopnost/Viabilita
- Strategie a koncepce[3]
Informační systém VaVaI
V tomto systému jsou uchovávány veškeré informace o výsledcích dosažených řešením projektů nebo výzkumných záměrů, financovaných ze státního rozpočtu České republiky. Hlavním cílem systému je informovat uchazeče o vyhlášených veřejných soutěžích, zveřejňovat informace o projektech a aktivitách podporovaných z veřejných prostředků, kontrolovat využití účelově a institucionální podpory z veřejných prostředků, připravovat návrh státního rozpočtu výzkumu a vývoje, hodnotit výsledky a poskytovat analýzy stavu výzkumu a vývoje v České republice.
Tento informační systém se skládá z několika částí:
- (CEP) Centrální evidence projektů výzkumu, experimentálního vývoje a inovací- projekty financované z účelových prostředků.
- (CEZ) Centrální evidence výzkumných záměrů- záměry financované z institucionálních prostředků.
- (RIV) Rejstřík informací o výsledcích - výsledky projektů a výzkumných záměrů podporovaných z veřejných prostředků.
- (VES) Evidence veřejných soutěží ve výzkumu, experimentálním vývoji a inovacích- veřejné soutěže.
- (CEA) Centrální evidence aktivit výzkumu, experimentálního vývoje a inovací- příjemci, poskytovatelé a výše podpory.[4]
Reference
- ↑ ČADIL,V. (2015): Bibliometrie jako nástroj hodnocení programů výzkumu a vývoje v České republice. Dostupné z: https://www.evaltep.cz/inpage/bibliometrie/
- ↑ What is peer review? (2020) Elsevier. Dostupné z:https://www.elsevier.com/reviewers/what-is-peer-review
- ↑ Metodika hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací. (2017).Praha: Úřad vlády České republiky. Dostupné z https://www.vyzkum.cz/FrontClanek.aspx?idsekce=799796
- ↑ Informační systém výzkumu, experimentálního vývoje a inovací.(2016) Praha:Úřad vlády České republiky Dostupné z: https://www.rvvi.cz
Doporučená literatura
- VAVŘÍKOVÁ, L. (2009) Podpora informačních služeb scientometrickými postupy a nástroji. Knihovnický zpravodaj Vysočina [online]. roč. 9, č. 2. Dostupný z: http://kzv.kkvysociny.cz/Default.aspx?id=1125. ISSN 1213-8231.
- SOUČEK, J. MATĚJKA, M. 2006. Informační systém výzkumu a vývoje: ročenka za období 2000-2005 [online]. Praha, Úřad vlády ČR, [108 s.]. Dostupné z WWW: <http://www.vyzkum.cz/storage/att/02DEC2B9388816B1F8DE2F9A17DA7374/Ro%c4%8denka%202000-2005.pdf>. ISBN 80-86734-69-2.
- Rada pro výzkum, vývoj a inovace. Hodnocení VaVaI. In Výzkum a vývoj v České republice [online]. Praha: Dostupné z: http://www.vyzkum.cz.
Klíčová slova
Bibliometrie, peer- review, financování vědy, hodnocení vědeckých výstupů, citační indikátory, RIV, Metodika17+, RVVI, VAVAI