Principy hodnocení vědy, přístupy a nástroje, situace v ČR: Porovnání verzí

(Založena nová stránka s textem „Hodnocení vědy je považováno za důležité, protože s různými modely a formami hodnocení se vědec setkává po celou svou odbornou kariéru. Zá…“)
 
Řádek 1: Řádek 1:
Hodnocení vědy je považováno za důležité, protože s různými modely a formami hodnocení se  vědec setkává po celou svou odbornou kariéru. Zároveň hodnocení vědy podporuje sdílení vědeckých poznatků a tím pádem celkově vědeckou komunikaci. Hodnocení vědy lze v rozdělit na hodnocení bibliometrické a hodnocení skrze peer-review.
 
  
Bibliometrické hodnocení
 
  
Jedná se o kvantitativní analýzu dokumentů, které vznikají v rámci vědecké komunikace. Vychází z předpokladu, že zkoumané dokumenty jsou odrazem stavu vědeckého poznání. V zásadě zkoumá citační vazby, publikační činnost vědců, mezinárodní citační vazby, mapuje vědu a  tematický rozptyl literatury. Bibliometrické hodnocení je tedy založeno na správném citování. S tím jsou ovšem spojeny i limity jako například:
+
Hodnocení vědy poskytuje obraz o stavu vědecké činnosti a výsledcích. Umožňuje mapovat činnost  jednotlivých vědních oblastí, institucí i jednotlivců. Současně jsou  výsledky, zjištěné hodnocením vědy, jedním z nástrojů pro rozdělování financí. Hodnocení vědy lze v zásadě rozdělit na hodnocení bibliometrické a hodnocení skrze peer-review.
 +
 
 +
<br />
 +
 
 +
==== [[Bibliometrie|Bibliometrické hodnocení]] ====
 +
Jedná se o kvantitativní analýzu dokumentů, které vznikají v rámci [[Vědecká komunikace|vědecké komunikace]]. Vychází z předpokladu, že zkoumané dokumenty jsou odrazem stavu vědeckého poznání. V zásadě zkoumá citační vazby, publikační činnost vědců, mezinárodní citační vazby, mapuje vědu a  tematický rozptyl literatury. Bibliometrické hodnocení je tedy založeno na správném citování. S tím jsou ovšem spojeny i limity jako například:
 +
 
  
 
Citační zvyklosti jiné v každém oboru- výrazně se liší přírodní vědy jako je medicína, biochemie apod.  
 
Citační zvyklosti jiné v každém oboru- výrazně se liší přírodní vědy jako je medicína, biochemie apod.  
Řádek 16: Řádek 20:
  
 
Řada neformálních pramenů se necituje.
 
Řada neformálních pramenů se necituje.
 +
 +
 +
Pro toto hodnocení se využívá řada metod, jejichž používaní se může lišit podle instituce, která hodnocení provádí. Jedná se například [[Impact factor|Impact faktor]], který je typický pro [[Web of Science]] nebo  [[H-index]].
  
  
 
[[Peer-review|Hodnocení peer-review]]
 
[[Peer-review|Hodnocení peer-review]]
  
 +
Hodnocení peer- review nebo-li recenzní řízení je metoda, kdy je vědecká práce hodnocena skupinou odborníků v dané oblasti. V tomto procesu se kriticky hodnotí práce ještě před vydáním a posuzuje se zda-li odpovídá požadované kvalitě. Cílem je zajištění odpovídajícího standardu vědecké literatury. Hodnocení Peer-review se dělí na:
  
Neboli recenzní řízení, kdy je vědecká práce hodnocena skupinou odborníků v dané oblasti. V tomto procesu se kriticky hodnotí práce ještě před vydáním a posuzuje se zda- li odpovídá požadované kvalitě. Cílem je zajištění odpovídajícího standardu vědecké literatury. Hodnocení Peer-review se dělí na
+
<u>'''otevřené'''</u> - autoři jsou informováni o jménech posuzovatelů a také recenzenti
 
 
otevřené - autoři jsou informováni o jménech posuzovatelů a také recenzenti
 
  
 
znají totožnost autora (popř. autorů) článku
 
znají totožnost autora (popř. autorů) článku
  
anonymní recenzní řízení - recenzenti neznají autory textu a naopak
+
<u>'''anonymní recenzní řízení'''</u> - recenzenti neznají autory textu a naopak
  
 
- každá redakce odborného časopisu publikuje podmínky recenzního řízení
 
- každá redakce odborného časopisu publikuje podmínky recenzního řízení
Řádek 33: Řádek 39:
 
(zpravidla online), kde deklaruje typ řízení, formální požadavky a průběh řízení
 
(zpravidla online), kde deklaruje typ řízení, formální požadavky a průběh řízení
  
 +
Příklad recenzního řízení
  
příklad recenzního řízení DK Wiley Online Library
+
1, Zaslání [[Pre-print|pre-printu]] do nakladatelství
 
 
1, Zaslání [[Pre-print|pre-printu]] do nakladatelství  
 
 
 
2, Před- recenzní kontrola- posuzuje se, jestli článek splňuje základní požadavky na vědecký článek
 
 
 
3, První fáze recenzního řízení - příspěvek je hodnocen redakcí časopisu. Zkoumá se, zda téma a charakter článku odpovídá zaměření vědeckého časopisu
 
  
4, druhá fáze recenzního řízení - předání rukopisu zpravidla dvěma nezávislým recenzentům. Recenzenti ve svém odborném posudku buď rukopis doporučí, nedoporučí, a/nebo mohou navrhnout přepracování článku.
+
2, <u>Před- recenzní kontrola:</u> Posuzuje se, jestli článek splňuje základní požadavky na vědecký článek
  
5, závěrečná fáze - v případě, kdy se recenzenti neshodnou, či autor na základě
+
3, <u>První fáze recenzního řízení: P</u>říspěvek je hodnocen redakcí časopisu. Zkoumá se, zda téma a charakter článku odpovídá zaměření vědeckého časopisu
  
připomínek rukopis přepracuje, ale není zřejmé, jestli vyhověl, může být přizván
+
4, D<u>ruhá fáze recenzního řízení:</u> Předání rukopisu zpravidla dvěma nezávislým recenzentům. Recenzenti ve svém odborném posudku buď rukopis doporučí, nedoporučí, a/nebo mohou navrhnout přepracování článku.
  
další recenzent, nakonec ale téměř vždy má poslední slovo šéfredaktor.
+
5, Z<u>ávěrečná fáze:</u> V případě, kdy se recenzenti neshodnou nebo autor na základě připomínek rukopis přepracuje, ale není zřejmé, jestli vyhověl, může být přizván další recenzent. Nicméně téměř vždy má poslední slovo šéfredaktor daného časopisu.  
 
 
 
 
Financování vědy
 
  
 +
=== Financování vědy ===
 
Zmiňovaná hodnocení jsou následně podkladem pro financování vědy, které se dělí na:
 
Zmiňovaná hodnocení jsou následně podkladem pro financování vědy, které se dělí na:
  
  
Institucionální- podpora fungování celé instituce a odvozuje se od vykázaných výsledků VaV.
+
<u>'''Institucionální-'''</u> podpora fungování celé instituce a odvozuje se od vykázaných výsledků VaV.
  
  
Účelové- podpora konkrétních projektů v rámci vypsané projektové soutěže. Financování probíhá prostřednictvím grantů.  
+
<u>'''Účelové-'''</u> podpora konkrétních projektů v rámci vypsané projektové soutěže. Financování probíhá prostřednictvím grantů.  
 
 
 
 
Financování vědy v ČR
 
  
 +
==== Financování vědy v ČR ====
 
Probíhá od roku 2004 a je klíčovým ukazatelem pro mezinárodní srovnání (GERD- Gross Domestic Expenditures on Research and Development). Dokumenty, podle kterých se financování vědy řídí jsou:
 
Probíhá od roku 2004 a je klíčovým ukazatelem pro mezinárodní srovnání (GERD- Gross Domestic Expenditures on Research and Development). Dokumenty, podle kterých se financování vědy řídí jsou:
  
* Usnesení vlády ze dne 23. června 2004 č. 644 k hodnocení výzkumu a vývoje a
+
*Usnesení vlády ze dne 23. června 2004 č. 644 k hodnocení výzkumu a vývoje a jeho výsledků
 
 
jeho výsledků
 
 
 
* Reforma systému výzkumu, vývoje a inovací v ČR schválená usnesením vlády ze
 
  
dne 26. března 2008 č. 287
+
*Reforma systému výzkumu, vývoje a inovací v ČR schválená usnesením vlády ze dne 26. března 2008 č. 287
  
* Metodika hodnocení výzkumných organizací a hodnocení programů účelové
+
*Metodika hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací ([[Metodika 17+]])
 
 
podpory výzkumu, vývoje a inovací ([[Metodika 17+]])
 
 
 
 
 
Hodnocení vědeckých výstupů
 
  
 +
==== Hodnocení vědeckých výstupů ====
 
Hodnocení vědeckých výstupů provádí Rada vlády pro výzkum, vývoj a inovace (RVVI). Jedná se o odborný poradní orgán Vlády České republiky pro oblast výzkumu, vývoje a inovací. Byla zřízena v roce 2002.  
 
Hodnocení vědeckých výstupů provádí Rada vlády pro výzkum, vývoj a inovace (RVVI). Jedná se o odborný poradní orgán Vlády České republiky pro oblast výzkumu, vývoje a inovací. Byla zřízena v roce 2002.  
  
 
Principy hodnocení
 
Principy hodnocení
  
* hodnocení je pravidelné a probíhá opakovaně (vstupní hodnocení návrhu, průběžné a závěrečné hodnocení)
+
*hodnocení je pravidelné a probíhá opakovaně (vstupní hodnocení návrhu, průběžné a závěrečné hodnocení)
  
* hodnotí se výsledky výzkumných organizací, které mohou být příjemci institucionální podpory výzkumu a vývoje - hodnocení výsledků je jedním z kritérií pro přerozdělování institucionální podpory
+
*hodnotí se výsledky výzkumných organizací, které mohou být příjemci institucionální podpory výzkumu a vývoje - hodnocení výsledků je jedním z kritérií pro přerozdělování institucionální podpory
  
* kritéria hodnocení by měla být předem známa a závazná, jasně formulovaná, kvantifikovatelná, měřitelná, zhodnotitelná a měla by se vztahovat k danému cíli.
+
*kritéria hodnocení by měla být předem známa a závazná, jasně formulovaná, kvantifikovatelná, měřitelná, zhodnotitelná a měla by se vztahovat k danému cíli.
  
* provádí se na základě údajů předaných příjemci veřejné podpory do Rejstříku informací o výsledcích státem podporovaného výzkumu a vývoje (RIV) Tato data jsou navázána na ostatní části Informačního systému VaVaI. Odevzdání výsledků do RIVu je povinné ze zákona pro výsledky, které vznikly z veřejných prostředků.
+
*provádí se na základě údajů předaných příjemci veřejné podpory do Rejstříku informací o výsledcích státem podporovaného výzkumu a vývoje (RIV) Tato data jsou navázána na ostatní části Informačního systému VaVaI. Odevzdání výsledků do RIVu je povinné ze zákona pro výsledky, které vznikly z veřejných prostředků.
  
* do hodnocení jsou zahrnuty všechny výsledky výzkumných organizací uplatněné
+
*do hodnocení jsou zahrnuty všechny výsledky výzkumných organizací uplatněné
  
 
za posledních pět let.
 
za posledních pět let.
  
* konkrétní způsob hodnocení je určen Metodikou hodnocení (Metodika 17+), která zohledňuje například odlišnosti v oborech.  
+
*konkrétní způsob hodnocení je určen Metodikou hodnocení (Metodika 17+), která zohledňuje například rozdílnost výzkumných organizací a bere zřetel na specifika jednotlivých oborů.  
 +
 
  
 
Posuzování kvality se pak řídí pomocí pěti základních modulů:
 
Posuzování kvality se pak řídí pomocí pěti základních modulů:
  
# Kvalita vybraných výsledků
+
#Kvalita vybraných výsledků
# Výkonnost výzkumu
+
#Výkonnost výzkumu
# Společenská relevance výzkumu
+
#Společenská relevance výzkumu
# Životaschopnost/Viabilita
+
#Životaschopnost/Viabilita
# Strategie a koncepce
+
#Strategie a koncepce<ref>Metodika hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací. (2017).Praha: Úřad vlády České republiky. Dostupné z https://www.vyzkum.cz/FrontClanek.aspx?idsekce=799796</ref><br />
  
 +
===== '''Informační systém VaVaI''' =====
  
  
<br />
+
V tomto systému jsou uchovávány veškeré informace o výsledcích dosažených řešením projektů nebo výzkumných záměrů, financovaných ze státního rozpočtu České republiky. Hlavním cílem systému je informovat uchazeče o vyhlášených veřejných soutěžích, zveřejňovat informace o projektech a aktivitách podporovaných z veřejných prostředků, kontrolovat využití účelově a institucionální podpory  z veřejných prostředků, připravovat návrh státního rozpočtu výzkumu a vývoje, hodnotit výsledky a poskytovat analýzy stavu výzkumu a vývoje v České republice.
 +
 
 +
Tento informační systém se skládá z několika částí:
 +
 
 +
* (CEP) Centrální evidence projektů výzkumu, experimentálního vývoje a inovací-  projekty financované z účelových prostředků.
 +
* (CEZ) Centrální evidence výzkumných záměrů-  záměry financované z institucionálních prostředků.
 +
* (RIV) Rejstřík informací o výsledcích - výsledky projektů a výzkumných záměrů podporovaných z veřejných prostředků.
 +
* (VES) Evidence veřejných soutěží ve výzkumu, experimentálním vývoji a inovacích- veřejné soutěže.
 +
* (CEA) Centrální evidence aktivit výzkumu, experimentálního vývoje a inovací- příjemci, poskytovatelé a výše podpory.<br />

Verze z 21. 10. 2020, 11:17


Hodnocení vědy poskytuje obraz o stavu vědecké činnosti a výsledcích. Umožňuje mapovat činnost jednotlivých vědních oblastí, institucí i jednotlivců. Současně jsou výsledky, zjištěné hodnocením vědy, jedním z nástrojů pro rozdělování financí. Hodnocení vědy lze v zásadě rozdělit na hodnocení bibliometrické a hodnocení skrze peer-review.


Bibliometrické hodnocení

Jedná se o kvantitativní analýzu dokumentů, které vznikají v rámci vědecké komunikace. Vychází z předpokladu, že zkoumané dokumenty jsou odrazem stavu vědeckého poznání. V zásadě zkoumá citační vazby, publikační činnost vědců, mezinárodní citační vazby, mapuje vědu a tematický rozptyl literatury. Bibliometrické hodnocení je tedy založeno na správném citování. S tím jsou ovšem spojeny i limity jako například:


Citační zvyklosti jiné v každém oboru- výrazně se liší přírodní vědy jako je medicína, biochemie apod.

Autoři působící napříč obory- obtížně se identifikuje publikace, autor, instituce.

Přehledové články se citují více než ostatní.

Citovanost neznamená kvality citovaného autora. Je možné citovat i negativně.

Nezasloužená citovanost- citování někoho, kdo k dílu přispěl jen málo.

Řada neformálních pramenů se necituje.


Pro toto hodnocení se využívá řada metod, jejichž používaní se může lišit podle instituce, která hodnocení provádí. Jedná se například Impact faktor, který je typický pro Web of Science nebo H-index.


Hodnocení peer-review

Hodnocení peer- review nebo-li recenzní řízení je metoda, kdy je vědecká práce hodnocena skupinou odborníků v dané oblasti. V tomto procesu se kriticky hodnotí práce ještě před vydáním a posuzuje se zda-li odpovídá požadované kvalitě. Cílem je zajištění odpovídajícího standardu vědecké literatury. Hodnocení Peer-review se dělí na:

otevřené - autoři jsou informováni o jménech posuzovatelů a také recenzenti

znají totožnost autora (popř. autorů) článku

anonymní recenzní řízení - recenzenti neznají autory textu a naopak

- každá redakce odborného časopisu publikuje podmínky recenzního řízení

(zpravidla online), kde deklaruje typ řízení, formální požadavky a průběh řízení

Příklad recenzního řízení

1, Zaslání pre-printu do nakladatelství

2, Před- recenzní kontrola: Posuzuje se, jestli článek splňuje základní požadavky na vědecký článek

3, První fáze recenzního řízení: Příspěvek je hodnocen redakcí časopisu. Zkoumá se, zda téma a charakter článku odpovídá zaměření vědeckého časopisu

4, Druhá fáze recenzního řízení: Předání rukopisu zpravidla dvěma nezávislým recenzentům. Recenzenti ve svém odborném posudku buď rukopis doporučí, nedoporučí, a/nebo mohou navrhnout přepracování článku.

5, Závěrečná fáze: V případě, kdy se recenzenti neshodnou nebo autor na základě připomínek rukopis přepracuje, ale není zřejmé, jestli vyhověl, může být přizván další recenzent. Nicméně téměř vždy má poslední slovo šéfredaktor daného časopisu.

Financování vědy

Zmiňovaná hodnocení jsou následně podkladem pro financování vědy, které se dělí na:


Institucionální- podpora fungování celé instituce a odvozuje se od vykázaných výsledků VaV.


Účelové- podpora konkrétních projektů v rámci vypsané projektové soutěže. Financování probíhá prostřednictvím grantů.

Financování vědy v ČR

Probíhá od roku 2004 a je klíčovým ukazatelem pro mezinárodní srovnání (GERD- Gross Domestic Expenditures on Research and Development). Dokumenty, podle kterých se financování vědy řídí jsou:

  • Usnesení vlády ze dne 23. června 2004 č. 644 k hodnocení výzkumu a vývoje a jeho výsledků
  • Reforma systému výzkumu, vývoje a inovací v ČR schválená usnesením vlády ze dne 26. března 2008 č. 287
  • Metodika hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací (Metodika 17+)

Hodnocení vědeckých výstupů

Hodnocení vědeckých výstupů provádí Rada vlády pro výzkum, vývoj a inovace (RVVI). Jedná se o odborný poradní orgán Vlády České republiky pro oblast výzkumu, vývoje a inovací. Byla zřízena v roce 2002.

Principy hodnocení

  • hodnocení je pravidelné a probíhá opakovaně (vstupní hodnocení návrhu, průběžné a závěrečné hodnocení)
  • hodnotí se výsledky výzkumných organizací, které mohou být příjemci institucionální podpory výzkumu a vývoje - hodnocení výsledků je jedním z kritérií pro přerozdělování institucionální podpory
  • kritéria hodnocení by měla být předem známa a závazná, jasně formulovaná, kvantifikovatelná, měřitelná, zhodnotitelná a měla by se vztahovat k danému cíli.
  • provádí se na základě údajů předaných příjemci veřejné podpory do Rejstříku informací o výsledcích státem podporovaného výzkumu a vývoje (RIV) Tato data jsou navázána na ostatní části Informačního systému VaVaI. Odevzdání výsledků do RIVu je povinné ze zákona pro výsledky, které vznikly z veřejných prostředků.
  • do hodnocení jsou zahrnuty všechny výsledky výzkumných organizací uplatněné

za posledních pět let.

  • konkrétní způsob hodnocení je určen Metodikou hodnocení (Metodika 17+), která zohledňuje například rozdílnost výzkumných organizací a bere zřetel na specifika jednotlivých oborů.


Posuzování kvality se pak řídí pomocí pěti základních modulů:

  1. Kvalita vybraných výsledků
  2. Výkonnost výzkumu
  3. Společenská relevance výzkumu
  4. Životaschopnost/Viabilita
  5. Strategie a koncepce[1]
Informační systém VaVaI

V tomto systému jsou uchovávány veškeré informace o výsledcích dosažených řešením projektů nebo výzkumných záměrů, financovaných ze státního rozpočtu České republiky. Hlavním cílem systému je informovat uchazeče o vyhlášených veřejných soutěžích, zveřejňovat informace o projektech a aktivitách podporovaných z veřejných prostředků, kontrolovat využití účelově a institucionální podpory z veřejných prostředků, připravovat návrh státního rozpočtu výzkumu a vývoje, hodnotit výsledky a poskytovat analýzy stavu výzkumu a vývoje v České republice.

Tento informační systém se skládá z několika částí:

  • (CEP) Centrální evidence projektů výzkumu, experimentálního vývoje a inovací- projekty financované z účelových prostředků.
  • (CEZ) Centrální evidence výzkumných záměrů- záměry financované z institucionálních prostředků.
  • (RIV) Rejstřík informací o výsledcích - výsledky projektů a výzkumných záměrů podporovaných z veřejných prostředků.
  • (VES) Evidence veřejných soutěží ve výzkumu, experimentálním vývoji a inovacích- veřejné soutěže.
  • (CEA) Centrální evidence aktivit výzkumu, experimentálního vývoje a inovací- příjemci, poskytovatelé a výše podpory.
  • Metodika hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací. (2017).Praha: Úřad vlády České republiky. Dostupné z https://www.vyzkum.cz/FrontClanek.aspx?idsekce=799796