Replikační krize v psychologii

Termín reprodukční krize začal nabývat na významu zejména v posledních deseti letech, kdy se opakovaně nedařilo reprodukovat výsledky mnoha studií a výzkumů ve velkém množství vědeckých disciplín. Přitom možnost dosažení stejných či obdobných výsledků je právě tím, co činí vědu vědou a co ji vymezuje od disciplín nevědeckých. Tato její esenciální podstata je známa již po téměř sto let. V roce 1959 Popper označil replikaci za kruciální součást možnosti falzifikace hypotéz svým výrokem, že pokud může být některý efekt pouze nalezen, ale nikoli následně zopakován, neměl by být považován za vědecký objev. A podobný názor zastával i Dunlap, a to dokonce ještě 30 let před Popperem, který řekl, že žádný efekt není průkazným, dokud nejsou podmínky jeho dosažení, jakož i průběh samotného experimentu, natolik přesně popsány, aby jej mohl kdokoli jiný následně zopakovat a dosáhnout stejného výsledku.

Počátek reprodukční krize v psychologii?

V psychologii se za počátek reprodukční krize stanovuje experiment respektovaného psychologa Daryla Bema z roku 2011, který prokázal existenci extrasenzorického, tedy mimosmyslového, vnímání. Tato studie byla publikována ve velmi významném a vlivném deníku Journal of Personality and Social Psychology, čímž okamžitě vyvolala vysoké pozdvižení v nejen vědecké sféře. Studie byla, vzhledem ke své kontroverznosti, následně zopakována třemi nezávislými výzkumnými týmy, aniž by byl původní dosažený efekt znovu prokázán. Replikační studie byly nicméně následně všemi vědeckými časopisy odmítány; publikovat ji odmítl i deník Journal of Personality and Social Psychology, který zveřejnil původní studii. Tato kontroverznost byla následně označena za ukázkový příklad toho, jak publikační zkreslení ovlivňuje celou vědu.

Co přesně je replikační krize?

Fidler a Wilcox stanovili, že o replikační krizi jde v případě, pokud je splněna alespoň jedna z následujících podmínek:

• absence replikačních studií v literatuře
• všeobecná neschopnost zopakovat výsledky, které předešlé studie prokázaly
• přítomnost publikačních zkreslení
• vysoká prevalence „pochybných vědeckých praktik“, které zvyšují procento falešně pozitivních výzkumů
• prokazatelná netransparentnost, pokud je o zveřejňování metod, dat a analýz ve vědeckých publikacích.

Podobně se k replikační krizi staví také Zwaan, Etz, Lucas a Donnellan, kteří ji vymezují podobně, ačkoli pro ně jsou postačující pouze dvě z podmínek:

• výsledky musí být zopakovatelné, jinak nelze původní zjištění pokládat za vědecká
• všechny studie musí velmi transparentně uvádět za jakých podmínek, jakým způsobem a díky jaké analýze došly k zveřejněným nálezům.

Replikace vs. reprodukce

V souvislosti s replikační krizí je potřeba vyjasnit dva rozdílné pojmy, které jsou nicméně často zaměňovány; a to nejen v rámci rozdílných oborů, které jim mohou rozumět různě, ale také v rámci oboru jednoho.

Reprodukce (reproducibility)

Pokud jde o psychologii, reprodukce (reproducibility) se může vztahovat jak k zopakování pouze výpočetní části výzkumu, tedy použití původních dat, které jsou nově analyzovány, tak k zopakování celého výzkumu. Obojí použití tohoto termínu by bylo správné. Přesto je potřeba mezi těmito dvěma významy rozlišovat a hovořit o reprodukci pouze v případě prvním, tedy kdy se nově analyzují původní data. V případě druhém se pak hovoří o replikaci (replicability).

Replikace (replicability)

V případě, kdy hovoříme o replikaci, můžeme myslet dva možné významy. První z nich odkazuje na skutečnost, že původní výzkum může být proveden znovu, tedy že mohou být užit stejné metody, procesy a analýza, neboť byl původní výzkum popsán natolik detailně a transparentně, že tuto replikaci umožňuje. Druhý z významů pak odkazuje k výsledkům, tedy že může být původní výzkum zopakován s nalezením původně zjištěného efektu. Tato druhá možnost nicméně nemůže být nikdy garantována. V případě replikace rozlišujeme mezi replikací přímou a replikací koncepční.

Přímá replikace (direct replication)

V případě přímé replikace je původní výzkum replikován velmi úzce; všechny jeho klíčové elementy jsou tedy zachovány (všechny charakteristiky vzorku, procesy, metody měření, analýza aj.). Samozřejmě není potřeba zachovat zcela všechny prvky původní studie; pokud tedy nejsou pro studii a výsledný efekt směrodatné. V případě, kdy byl v původní studii efekt zkoumán na studentech Americké univerzity, nicméně nepředpokládá se zde jakýkoli vliv kultury nebo prostředí, je v přímé replikaci možné jako vzorek užít studenty z Velké Británie či například Japonska.

Koncepční replikace (conceptual replication)

V případě koncepční replikace jde spíše o možnost generalizace původně zjištěného efektu, který jej zasazuje do nového kontextu. Původní metody originální studie tak nemusí být zcela striktně následovány, resp. mohou být v nové studii mírně upravené.

Srovnání přímé a koncepční replikace

Z výše zmíněného tedy vyplývá, že přímí a koncepční replikace nesouží stejnému účelu. Zatímco cílem přímé replikace je ověřit původní efekt, cílem koncepční replikace je spíše zjištění, zda původní efekt, který je považován za pravdivý, je možné převést do pozměněných podmínek, resp. jej v pozměněných podmínkách nelézt a prokázat taktéž. Na místě je nicméně také zmínit, že někteří autoři rozlišují ještě mezi dalšími typy replikace; někteří pak dokonce až mezi 79 různými typy.

Funkce replikačních studií

Schmidt identifkoval 5 funkcí replikačních studií v sociálních vědách:

• kontrolu chyby vzorku, tedy ověření, že původní efekt nebyl nalezen pouze čirou náhodou, např. výběrem specifického či jinak chybného vzorku, na kterém byl zjišťován
• kontrolu interní validity, tedy zda je skutečně měřeno to, na co se zaměřují původní výzkumné hypotézy
• kontrolu podvodu
• testování možnosti generalizace a uplatnění pro jinou populaci aj.
• testování stejné hypotézy prostřednictvím užití jiných metody či jiných procedur a procesů.

Z tohoto je tedy patrné, že jedna replikační studie nemůže naplnit všechny zmíněné funkce. A to i toho důvodu, že první tři funkce odkazují k replikaci přímé, zatímco poslední dvě funkce k replikaci koncepční.

Příčiny replikační krize

Publikační zkreslení (publication bias)

Jak již bylo zmíněno, jedním z důvodů vzniku replikační krize, je takzvané publikační zkreslení, tedy skutečnost, že vědecké časopisy záměrně publikují, resp. v minulosti publikovaly, pouze studie se statisticky významnými zjištěními. A studie, které těchto efektů nedosahovaly, odmítali publikovat. To vedlo k tomu, že poměr statisticky významných a statisticky nevýznamných výsledků dospěl k 90 ku 10 procentům.

Nízká statistická síla

Neméně významným je problém s nízkou statistickou sílou, která určuje průměrnou pravděpodobnost, s kterou studie správně zamítne nulovou hypotézu. V případě psychologie jak bylo zmíněno, je publikováno kolem 90 % studií se statisticky významným výsledkem, ačkoli průměrná statistická síla těchto studií se pohybuje pouze kolem 44 %. Pokud by nedocházelo k žádným zkreslením, měla by tato čísla víceméně odpovídat, nikoli mít mezi sebou téměř 50% rozdíl. Dalším problémem vztahujícímu se k tomuto zkreslení je pak skutečnost, že méně než 10 % publikovaných studií tento údaj vůbec uvádí.

Chyby vzorku

Jak již bylo taktéž zmíněno, je někdy možné dosáhnout výsledku čistě náhodou, tedy např. volbou nevhodného či nějak specifického vzorku.

Pochybné vědecké praktiky

Jelikož mnozí výzkumníci nemohli publikovat statisticky nevýznamné výsledky, nicméně byli k publikaci nuceni, přicházeli často s praktikami, které je možné označit za pochybné. Mezi ně lze zařadit například p Hacking, cherry picking či HARKing.

p Hacking

V případě p hackingu jde o úpravu statistické významnosti, a to například tím, že se po vypočítání hodnoty p výzkumníci rozhodli zařadit více dat (dokud nedošli k výsledky, který potřebovali), zastavili sběr dat v případě, kdy již dosažení efektu dosáhli, ačkoli chtěli původně sbírat data od vzorku většího, zařazovali či nezařazovali data od určité – opět až následně zvolené – hodnoty aj. Taktéž se jedná o zaokrouhlování p hodnoty, tedy např. prezentace p 0.053 jakožto menší než 0.05 aj.

Cherry picking

Cherry picking zahrnuje nezveřejňování různých proměnných, které mohly mít na výsledná zjištění vliv, či zveřejňování pouze signifikantně významných výsledků.

HARKing

HARKing, neboli Hypothesising After Results are Known, označuje prezentaci neočekávaných zjištění jakožto takových, která byla po celou dobu testována, tedy vytvářená výzkumných hypotéz až po sběru dat a jejich analýze.

Projekty věnující se replikaci

Many Labs projekty

Many Labs 1 Project

Many Labs 1 projekt vybral 13 klasických a novodobých psychologických efektů. Některé z nich byly známy pro vysokou schopnost replikace, u jiných byla tato míra neznámá. Primárním cílem bylo zjistit, kolik z efektů bude možné znovu prokázat. Tyto efekty byly znovu zjišťovány celkem 36 výzkumnými týmy, které musely striktně dodržovat stanoven kritéria: následovat určené etické procedury, administrovat protokoly pouze předem určeným způsobem, nasbírat dala od alespoň 80 participantů, vše dokumentovat předem určeným způsobem aj. Celkem se všem týmům podařilo nasbírat data od 6344 participantů. Výsledek ukázal, že pouze u 10 z vybraných 13 studií bylo možné dosáhnout původně prezentovaného efektu.

Many Labs 2 Project

V případě Many Labs 2 projektu bylo zvoleno 28 klasických a novodobých psychologických efektů. Výzkumníci vždy kontaktovali původní výzkumný tým, či alespoň některého z jejich členů, aby získali původní materiály, které byly použity v originální studii, a možná doporučení k replikaci. Podobně jako v případě Many Labs 1 projektu museli následovat striktní předem zvolená pravidla a kritéria. Celkem se do tohoto projektu zapojilo 125 výzkumných týmů, kterým se podařilo nasbírat data od 15305 participantů. V případě tohoto projektu se podařilo dosáhnout obdobného efektu, který uváděla originální studie, ve 14 případech z původních 28.

Open Science Project

Open Science Project vybral k replikaci 100 originálních studií, které byly publikovány ve třech vysoce uznávaných vědeckých publikacích. Z těchto 100 studií uvádělo 97 statisticky signifikantní výsledky. Vzhledem k uváděné statistické síle těchto studií bylo očekáváno dosažení statisticky signifikantních výsledků u 89 z nich. Dosaženo jich bylo nicméně pouze u 35 z nich.

Literatura

• Agnoli, F. (2017). Questionable Research Practices Among Italian Research Psychologists.
• Bem, D. J. (2011). Feeling the Future: Experimental Evidence for Anomalous Retroactive Influences on Cognition and Affect.
• Dunlap, K. (1926). The Experimental Methods of Psychology: In Psychologies of 1925. Clark University Press.
• Fanelli, D. (2010). Do Pressures to Publish Increase Scientists’ Bias? An Empirical Support from US States Data.
• Fidler, F., & Wilcox, J. (2018). Reproducibility of Scientific Results.
• Gómez, O. S. (2010). Replication Types in Experimental Disciplines: In Proceedings of the 2010 ACM-IEEE International Symposium on Empirical Software Engineering and Measurement – ESEM ’10. Bolzano: ACM Press.
• Kerr, N. L. (1998). HARKing: Hypothesizing After the Results Are Known.
• Klein, R. A. (2014). Investigating Variation In Replicability: A “Many Labs” Replication Project.
• Klein, R. A. (2018). Many Labs 2: Investigating Variation in Replicability Across Samples and Settings.
• Makel, M. C. (2012). Replications in Psychology Research: How often Do They Really Occur?.
• Nosek, B. A. (2002). Math = Male, Me = Female, Therefore Math ≠ Me.
• Open, S. C. (2015). Estimating the Reproducibility of Psychological Science.
• Popper, K. R. (1997). Logika vědeckého bádání. Praha: OIKOYMENH.
• Schmidt, S. (2009). Shall We Really Do It Again? The Powerful Concept of Replication Is Neglected in the Social Sciences.
• Szucs, D. (2017). Empirical Assessment of Published Effect Sized and Power in the Recent Cognitive Neuroscience and Psychology Literature.
• Zwaan, R. A., Etz, A., Lucas, R. E., & Donnellan, M. B. (2018). Making replication Mainstream.

Klíčová slova

replikace, reprodukce, replikační krize, statistická síla, publikační zkreslení, podvod, p hacking, cherry picking, HARKing, Many Labs