Replikační krize v psychologii

Termín reprodukční krize začal nabývat na významu zejména v posledních deseti letech, kdy se opakovaně nedařilo reprodukovat výsledky mnoha studií a výzkumů ve velkém množství vědeckých disciplín. Přitom možnost dosažení stejných či obdobných výsledků je právě tím, co činí vědu vědou a co ji vymezuje od disciplín nevědeckých. Tato její esenciální podstata je brána jako definující vědu již po téměř sto let. V roce 1959 Popper označil replikaci za kruciální součást možnosti falzifikace hypotéz svým výrokem, že pokud může být některý efekt pouze nalezen, ale nikoli následně zopakován, neměl by být považován za vědecký objev. A podobný názor zastával i Dunlap, a to dokonce ještě 30 let před Popperem, který řekl, že žádný efekt není průkazným, dokud nejsou podmínky jeho dosažení, jakož i průběh samotného experimentu, natolik přesně popsány, aby jej mohl kdokoli jiný následně zopakovat a dosáhnout stejného výsledku.

Počátek reprodukční krize v psychologii?

V psychologii se za počátek reprodukční krize stanovuje experiment respektovaného psychologa Daryla Bema z roku 2011, který prokázal existenci extrasenzorického, tedy mimosmyslového, vnímání. Tato studie byla publikována ve velmi významném a vlivném deníku Journal of Personality and Social Psychology, čímž okamžitě vyvolala vysoké pozdvižení v nejen vědecké sféře. Studie byla, vzhledem ke své kontroverznosti, následně zopakována třemi nezávislými výzkumnými týmy, aniž by byl původní dosažený efekt znovu prokázán. Replikační studie byly nicméně následně všemi vědeckými časopisy odmítány; publikovat ji odmítl i deník Journal of Personality and Social Psychology, který zveřejnil původní studii. Tato kontroverznost byla následně označena za ukázkový příklad toho, jak publikační zkreslení ovlivňuje celou vědu.

Co přesně je replikační krize?

Fidler a Wilcox stanovili, že o replikační krizi jde v případě, pokud je splněna alespoň jedna z následujících podmínek:

• absence replikačních studií v literatuře
• všeobecná neschopnost zopakovat výsledky, které předešlé studie prokázaly
• přítomnost publikačních zkreslení
• vysoká prevalence „pochybných vědeckých praktik“, které zvyšují procento falešně pozitivních výzkumů, mezi které se řadí například p hacking, cherry picking či HARKing
• prokazatelná netransparentnost, pokud je o zveřejňování metod, dat a analýz ve vědeckých publikacích.

Podobně se k replikační krizi staví také Zwaan, Etz, Lucas a Donnellan, kteří ji vymezují podobně, ačkoli pro ně jsou postačující pouze dvě z podmínek:

• výsledky musí být zopakovatelné, jinak nelze původní zjištění pokládat za vědecká
• všechny studie musí velmi transparentně uvádět za jakých podmínek, jakým způsobem a díky jaké analýze došly k zveřejněným nálezům.

Replikace vs. reprodukce

V souvislosti s replikační krizí je potřeba vyjasnit dva rozdílné pojmy, které jsou nicméně často zaměňovány; a to nejen v rámci rozdílných oborů, které jim mohou rozumět různě, ale také v rámci oboru jednoho, jako se tak například děje i v rámci psychologie.

Reprodukce (reproducibility)

Pokud jde o psychologii, dle některých autorů lze pojem reprodukce (reproducibility) chápat relativně široce. V tomto případě zahrnuje jak použití a novou analýzu původních dat, tak také zopakování celého původního výzkumu. Většina autorů se nicméně přiklání k užšímu chápání tohoto pojmu, a to pouze v prvním uvedeném smyslu, a pro zopakování celého výzkumu se vyhrazuje pojem replikace.

Replikace (replicability)

V případě, kdy hovoříme o replikaci, můžeme myslet dva možné významy. První z nich odkazuje na skutečnost, že původní výzkum může být proveden znovu, tedy že mohou být užit stejné metody, procesy a analýza, neboť byl původní výzkum popsán natolik detailně a transparentně, že tuto replikaci umožňuje. Druhý z významů pak odkazuje k výsledkům, tedy že může být původní výzkum zopakován s nalezením původně zjištěného efektu. Tato druhá možnost nicméně nemůže být nikdy garantována. V případě replikace rozlišujeme mezi replikací přímou a replikací koncepční.

Přímá replikace (direct replication)

V případě přímé replikace je původní výzkum replikován velmi úzce; všechny jeho klíčové elementy jsou tedy zachovány (všechny charakteristiky vzorku, procesy, metody měření, analýza aj.). Samozřejmě není potřeba zachovat zcela všechny prvky původní studie; pokud tedy nejsou pro studii a výsledný efekt směrodatné. V případě, kdy byl v původní studii efekt zkoumán na studentech Americké univerzity, nicméně nepředpokládá se zde jakýkoli vliv kultury nebo prostředí, je v přímé replikaci možné jako vzorek užít studenty z Velké Británie či například Japonska.

Koncepční replikace (conceptual replication)

V případě koncepční replikace jde spíše o možnost generalizace původně zjištěného efektu, který jej zasazuje do nového kontextu. Původní metody originální studie tak nemusí být zcela striktně následovány, resp. mohou být v nové studii mírně upravené.

Srovnání přímé a koncepční replikace

Z výše zmíněného tedy vyplývá, že přímá a koncepční replikace nesouží stejnému účelu. Zatímco cílem přímé replikace je ověřit původní efekt, cílem koncepční replikace je spíše zjištění, zda původní efekt, který je považován za pravdivý, je možné převést do pozměněných podmínek, resp. jej v pozměněných podmínkách nelézt a prokázat taktéž. Na místě je nicméně také zmínit, že někteří autoři rozlišují ještě mezi dalšími typy replikace; někteří pak dokonce až mezi 79 různými typy.

Funkce replikačních studií

Schmidt identifikoval 5 funkcí replikačních studií v sociálních vědách:

• kontrolu chyby vzorku, tedy ověření, že původní efekt nebyl nalezen pouze čirou náhodou, např. výběrem specifického či jinak chybného vzorku, na kterém byl zjišťován
• kontrolu interní validity, tedy zda je skutečně měřeno to, na co se zaměřují původní výzkumné hypotézy, a zda jsou při experimentu dodrženy postupy pro zjištění kauzálního vztahu, tj. že jsou především kontrolovány potenciálně intervenující proměnné
• kontrolu podvodu
• testování možnosti generalizace a uplatnění pro jinou populaci aj.
• testování stejné hypotézy prostřednictvím užití jiných metody či jiných procedur a procesů.

Z tohoto je tedy patrné, že jedna replikační studie nemůže naplnit všechny zmíněné funkce. A to i toho důvodu, že první tři funkce odkazují k replikaci přímé, zatímco poslední dvě funkce k replikaci koncepční.

Příčiny replikační krize

Publikační zkreslení (publication bias)

Jak již bylo zmíněno, jedním z důvodů vzniku replikační krize, je takzvané publikační zkreslení, tedy skutečnost, že vědecké časopisy záměrně publikují, resp. v minulosti publikovaly, pouze studie se statisticky významnými zjištěními. A studie, které těchto efektů nedosahovaly, odmítali publikovat. To vedlo k tomu, že poměr statisticky významných a statisticky nevýznamných výsledků dospěl k 90 ku 10 procentům.

Nízká statistická síla

Neméně významným je problém s nízkou statistickou sílou, která určuje průměrnou pravděpodobnost, s kterou studie správně zamítne nulovou hypotézu. V případě psychologie, jak bylo zmíněno, je publikováno kolem 90 % studií se statisticky významným výsledkem, ačkoli průměrná statistická síla těchto studií se pohybuje pouze kolem 44 %. Pokud by nedocházelo k žádným zkreslením, měla by tato čísla víceméně odpovídat, tedy by se statistická síla měla také pohybovat kolem 90 %. Zde by se ostatně měla statistická síla u správně a dobře navržených a provedených výzkumů pohybovat téměř vždy. Ve skutečnosti je mezi nimi nicméně téměř 50% rozdíl. Nízká statistická síla, v tomto případě 44% (což je daný zjištěný průměr), přitom znamená, že nulová hypotéza bude velmi pravděpodobně zamítnuta, ačkoli se může jednat o zamítnutí falešné. Dalším problémem vztahujícímu se k tomuto zkreslení je pak skutečnost, že méně než 10 % publikovaných studií tento údaj vůbec uvádí.

Chyby vzorku

Jak již bylo taktéž zmíněno, je někdy možné dosáhnout výsledku čistě náhodou, tedy např. volbou nevhodného či nějak specifického vzorku.

Pochybné vědecké praktiky

Jelikož mnozí výzkumníci nemohli publikovat statisticky nevýznamné výsledky, nicméně byli k publikaci nuceni, přicházeli často s praktikami, které je možné označit za pochybné. Mezi ně lze zařadit například p Hacking, cherry picking či HARKing.

p Hacking

V případě p hackingu jde o úpravu statistické významnosti, a to například tím, že se po vypočítání hodnoty p výzkumníci rozhodli zařadit více dat (dokud nedošli k výsledku, který potřebovali), zastavili sběr dat v případě, kdy již dosažení efektu dosáhli, ačkoli chtěli původně sbírat data od vzorku většího, zařazovali či nezařazovali data od určité – opět až následně zvolené – hodnoty aj. Taktéž se jedná o zaokrouhlování p hodnoty, tedy např. prezentace p 0.053 jakožto menší než 0.05 aj.

Cherry picking

Cherry picking zahrnuje nezveřejňování různých proměnných, které mohly mít na výsledná zjištění vliv, či zveřejňování pouze signifikantně významných výsledků z celé škály získaných výsledků a velkého počtu realizovaných analýz.

HARKing

HARKing, neboli Hypothesising After Results are Known, označuje prezentaci neočekávaných zjištění jakožto takových, která byla po celou dobu testována, tedy vytváření výzkumných hypotéz až po sběru dat a jejich analýze.

Projekty věnující se replikaci v rámci psychologie

Many Labs projekty

Many Labs 1 Project

Many Labs 1 projekt vybral 13 klasických a novodobých psychologických efektů. Některé z nich byly známy pro vysokou schopnost replikace, u jiných byla tato míra neznámá. Primárním cílem bylo zjistit, kolik z efektů bude možné znovu prokázat. Tyto efekty byly znovu zjišťovány celkem 36 výzkumnými týmy, kdy každý z týmů ověřoval všechny zvolené efekty. Týmy nadto musely striktně dodržovat stanovená kritéria: následovat určené etické procedury, administrovat protokoly pouze předem určeným způsobem, nasbírat dala od alespoň 80 participantů, vše dokumentovat předem určeným způsobem aj. Celkem se všem týmům podařilo nasbírat data od 6344 participantů. Výsledek ukázal, že pouze u 10 z vybraných 13 studií bylo možné dosáhnout původně prezentovaného efektu. Mezi tyto efekty se řadí například Anchoring, neboli kotvení, či sunk cost effect. Zbylé 3 efekty (imagined contact, flag priming a currency priming)nebyly žádným týměm úspěšně replikovány.

Many Labs 2 Project

V případě Many Labs 2 projektu bylo zvoleno 28 klasických a novodobých psychologických efektů. Výzkumníci vždy kontaktovali původní výzkumný tým, či alespoň některého z jejich členů, aby získali původní materiály, které byly použity v originální studii, a možná doporučení k replikaci. Podobně jako v případě Many Labs 1 projektu museli následovat striktní předem zvolená pravidla a kritéria. Celkem se do tohoto projektu zapojilo 125 výzkumných týmů, které opět replikovaly všechny zvolené původní studie, a kterým se podařilo nasbírat data od celkem 15305 participantů. V případě tohoto projektu se podařilo dosáhnout obdobného efektu, který uváděla originální studie, pouze ve 14 případech z původních 28. Mezi tyto studie patřily například corespondence bias či trolley dilemma.

Open Science Project

Open Science Project vybral k replikaci 100 originálních studií, které byly publikovány ve třech vysoce uznávaných vědeckých publikacích. Z těchto 100 studií uvádělo 97 statisticky signifikantní výsledky. Vzhledem k uváděné statistické síle těchto studií bylo očekáváno dosažení statisticky signifikantních výsledků u 89 z nich. Dosaženo jich bylo nicméně pouze u 35 z nich.

Literatura

• Agnoli, F. (2017). Questionable Research Practices Among Italian Research Psychologists.
• Bem, D. J. (2011). Feeling the Future: Experimental Evidence for Anomalous Retroactive Influences on Cognition and Affect.
• Carter, T. J., Ferguson, M. J., & Hassin, R. R. (2011). A Single Exposure to the American Flag Shifts Support Toward Republicanism Up to 8 Months Later.
• Caruso, E. M., Vohs, K. D., Baxter, B., & Waytz, A. (2013). Mere Exposure to Money Increases Endorsement of Freemarket Systems and Social Inequality.
• Dunlap, K. (1926). The Experimental Methods of Psychology: In Psychologies of 1925. Clark University Press.
• Fanelli, D. (2010). Do Pressures to Publish Increase Scientists’ Bias? An Empirical Support from US States Data.
• Fidler, F., & Wilcox, J. (2018). Reproducibility of Scientific Results.
• Gómez, O. S. (2010). Replication Types in Experimental Disciplines: In Proceedings of the 2010 ACM-IEEE International Symposium on Empirical Software Engineering and Measurement – ESEM ’10. Bolzano: ACM Press.
• Hauser, M. D., Cushman, F. A., Young, L., Jin, R., & Mikhail, J. M. (2007). A dissociation between moral judgments and justifications.
• Husnu, S., & Crisp, R. J. (2010). Elaboration Enhances the Imagined Contact Effect.
• Jacowitz, K. E., & Kahneman, D. Measures of Anchoring in Estimation Tasks.
• Kerr, N. L. (1998). HARKing: Hypothesizing After the Results Are Known.
• Klein, R. A. (2014). Investigating Variation In Replicability: A “Many Labs” Replication Project.
• Klein, R. A. (2018). Many Labs 2: Investigating Variation in Replicability Across Samples and Settings.
• Makel, M. C. (2012). Replications in Psychology Research: How often Do They Really Occur?.
• Miyamoto, Y., & Kitayama, S. (2002). Cultural variation in correspondence bias: The critical role of attitude diagnosticity of socially constrained behavior.
• Nosek, B. A. (2002). Math = Male, Me = Female, Therefore Math ≠ Me.
• Open, S. C. (2015). Estimating the Reproducibility of Psychological Science.
• Oppenheimer, D. M., Meyvis, T., & Davidenko, N. (2009). Instructional Manipulation Checks: Detecting Satisficing to Increase Statistical Power.
• Popper, K. R. (1997). Logika vědeckého bádání. Praha: OIKOYMENH.
• Schmidt, S. (2009). Shall We Really Do It Again? The Powerful Concept of Replication Is Neglected in the Social Sciences.
• Szucs, D. (2017). Empirical Assessment of Published Effect Sized and Power in the Recent Cognitive Neuroscience and Psychology Literature.
• Zwaan, R. A., Etz, A., Lucas, R. E., & Donnellan, M. B. (2018). Making replication Mainstream.

Klíčová slova

replikace, reprodukce, replikační krize, statistická síla, publikační zkreslení, podvod, p hacking, cherry picking, HARKing, Many Labs