Zobrazení zdroje stránky 21. Sekundární analýza dat a metaanalýza

== Úvod ==
Data můžeme analyzovat na třech úrovních: '''Primární analýza dat''', sekundární analýza dat, a meta-analýza. Primární analýza dat představuje původní analýzu dat výzkumné studie <ref name="glass">Glass, G. (1976). Primary, secondary and meta-analysis of research. Educational Researcher, 5, 3-8.</ref>. '''Sekundární analýza dat''' je jakékoliv další využívání dat z původní studie <ref name="reichel">Reichel, J. (2009). Kapitoly metodologie sociálních výzkumů (Vyd. 1.). Praha: Grada.</ref>, např. ve formě opětovného vyhodnocení dat za pomoci lepších statistických metod, nebo využití těchto dat k zodpovězení jiných než původních výzkumných otázek  <ref name="glass" />. '''Meta-analýza''' pracuje s výsledky mnoha původních studií a provádí jejich syntézu <ref name="card">Card, N. A. (2012). Applied meta-analysis for social science research. Guilford Publications. Dostupné z: https://books.google.cz/books?id=GC42CwAAQBAJ&pg=PR6&dq=Applied+Meta-Analysis+for+Social+Science+Research+2012&hl=cs&sa=X&ved=0ahUKEwjTx6f67uzVAhVBfhoKHSgcCTEQ6AEIKTAA#v=onepage&q=Applied%20Meta-Analysis%20for%20Social%20Science%20Research%202012&f=false</ref>.

== Meta analýza ==
Za první meta-analýzu se často považuje práce psychologů J. G. Pratt a J. B. Rhine z roku 1940. <ref name="MA" /> Autorem tohoto termínu je [https://en.wikipedia.org/wiki/Gene_V._Glass Gene V. Glass] (1976). Meta-analýza je ''kvantitativní přehledová studie'' <ref name="rosenthal01">Rosenthal, R., & DiMatteo, M. R. (2001). Meta-analysis: Recent developments in quantitative methods for literature reviews. Annual review of psychology, 52(1), 59-82.</ref>. Podstatou meta-analýzy je analyzovat (a následně syntetizovat) mnohá výzkumná zjištění, která se týkají určité oblasti, určitého problému (velikosti vztahu dvou proměnných, síly efektu terapie, atd.) <ref name="Fer">Ferjenčík, J. (2000). Úvod do metodologie vědeckého výzkumu: Jak zkoumat lidskou duši. Praha: Portál.</ref>.

Většina meta-analýz pracuje s '''velikostí účinku'''<sup>1</sup> (''[https://en.wikipedia.org/wiki/Effect_size effect size]''). Velikost účinku je ukazatel směru a síly vztahu mezi dvěma proměnnými. Mezi příklady takového ukazatele jsou ''korelační koeficient r, Cohenovo d nebo Hedgeovo g''  <ref name="card" />. Velikosti účinku jsou v meta-analýzách upřednostňovány před p-hodnotami proto, že jsou mnohem odolnější vůči zkreslení a pochybným výzkumným praktikám (Ioannidis, 1996). Syntéza výsledků mnoha studií navíc poskytuje meta-analýze vyšší statistickou sílu, jelikož se s každou přibývající studií zvyšuje '''velikost vzorku''' (''sample size'')<ref name="card" />.

Meta-analýza představuje '''systematický''' způsob přehledu literatury, je metodologicky '''transparentní''' (v meta-analýze je reportován jak způsob vyhledávání studií a kritéria pro zahrnutí studií do výběrového vzorku, tak způsob a proces vyhodnocení dat) a formuluje závěry ve formě '''statisticky testovatelných výsledků'''. Tím pádem je nutně objektivnější než běžný přehled literatury (Ioannidis, 1996). Přestože jde doslova o statistickou analýzu statistických analýz <ref name="ellis">Ellis, P. D. (2010). The essential guide to effect sizes: Statistical power, meta-analysis, and the interpretation of research results. Cambridge University Press.</ref>, je její princip i výpočet relativně jednoduchý (viz Rovnice 01).

[[File:rovnice size effect.png|400px]]
Rovnice 01.<ref name="ellis">Ellis, P. D. (2010). The essential guide to effect sizes: Statistical power, meta-analysis, and the interpretation of research results. Cambridge University Press.</ref>

<small><sup>1</sup> ''Existuje přes 50 různých druhů velikostí účinku. Nejčastěji spadají do tří „rodin“: korelace (míra statistické závislosti; např. korelační koeficient, koeficient determinace), rozdíl (míra rozdílu průměrů; např. [https://en.wikiversity.org/wiki/Cohen%27s_d Cohenovo d]; Glassovo Δ, Hedgesovo d) a kategorie (velikosti účinku pro vztahy mezi kategorickými proměnnými; např. [http://www.wikiskripta.eu/index.php/Odds_ratio odds ratio], Cohenovo w).<ref name="ES">Effect size. (n.d.). In Wikipedia. Retrieved April 5, 2016, from https://en.wikipedia.org/wiki/Effect_size</ref>''</small>

=== Princip meta-analýz ===
V ideálním případě by věda představovala akumulovanou zkušenost lidstva <ref name="card" />. To znamená, že výzkumníci stavějí své teorie a hypotézy na dosavadních zjištěních vědců  <ref name="card" />. Jelikož se ale počet primárních studií množí někdy až geometrickou řadou, projití článků nezbytných k výše zmíněném procesu by běžnému člověku zabralo více let, než je obvykle ochotný tématu věnovat. A z toho důvodu existují přehledové studie.

Přehledové studie jsou teoretické práce, které shrnují velké množství literatury ohledně nějakého tématu. Typickými zástupci tohoto druhu jsou takzvané '''narativní přehledové studie''' (často mají takovou podobu např. bakalářské práce), jejichž autoři zhodnocují literaturu kvalitativně, podle vlastního uvážení  <ref name="card" />. Právě přílišná subjektivita narativních přehledových studií je kamenem úrazu. Poptávka po statistickém zhodnocení literatury nakonec dala v 70. letech vzniknout '''meta-analýzám'''. Počet užití meta-analýzy v psychologickém výzkumu roste od sedmdesátých let téměř geometrickou řadou (Rosenthal, 1991<ref name="rosenthal91">Rosenthal, R. (1991). Meta-analytic procedures for social research (rev. ed.). Thousand Oaks, CA, US: Sage Publications, Inc.</ref>, podle Ferjenčík, 2000 <ref name="Fer" />).

=== Provedení meta-analýzy ===
Vytvoření kvalitní meta-analýzy představuje dlouhý a náročný proces, pečlivě plánovaný a transparentně reportovaný. Jak bylo v dané meta-analýze postupováno, by mělo být jasně popsáno v části Metody. Klasická meta-analýza zahrnuje tyto kroky  <ref name="MA">Meta-analysis. (n.d.). In Wikipedia. Retrieved April 5, 2016, from https://en.wikipedia.org/wiki/Meta-analysis</ref><ref name="card" /> <ref name="Fer" />:

# Formulování problému či výzkumné otázky.
# Vyhledávání a identifikování relevantní literatury (např. prohledávání databází na základě určitých klíčových slov a slovních spojení).
# Aplikování kritérií pro zahrnutí studie do meta-analýzy a výběr výzkumů (týkající se často kvalitativních charakteristik studie, např. provedení randomizace nebo dvojitě slepé studie).
# Rozhodnutí o tom, které proměnné budou kódovány, a jejich kódování (obvykle jsou kódovány charakteristiky, ve kterých se studie liší, jako je počet probandů, použití konkrétních dotazníků, nebo zda byl článek publikován či ne). Kódování charakteristik studií umožňuje vzájemné statistické porovnání výzkumů s rozdílnými charakteristikami. Současně dává informaci pro případné vážení velikostí účinku studií při počítání výsledku meta-analýzy. Současně s kódováním proměnných se provádí převádění výsledků studií na jednotnou míru velikosti účinku (např. r nebo d; viz Meta-analýza).
# Zvolení statistického nástroje a postupu pro zpracování dat. Vyhodnocení dat.

=== Typy meta-analýz ===
Kromě základního modelu (viz Provedení meta-analýzy) lze odlišit další čtyři druhy meta-analýz <ref name="Bastian">Bastian, H. (2014). 5 key things to know about meta-analysis. In Scientificamerican.com. Retrieved April 7, 2016, from http://blogs.scientificamerican.com/absolutely-maybe/5-key-things-to-know-about-meta-analysis/</ref>:
# '''Kumulativní meta-analýza''' (''cumulative meta-analysis''), kde se vyhodnocují studie v určitém pořadí (např. v závislosti na kvalitě studie či roku vydání). Vždy po přidání nové studie se výsledky opět vyhodnocují. Kumulativní meta-analýzy jsou často prezentovány pomocí forest plot a lze díky tomu pozorovat změnu ve výsledcích primárních studií v čase.
# '''Meta-analýza jednotlivých dat pacientů''' (''individual patient data meta-analysis'') je založena na klinických testech (clinical trials). Výzkumníci se pokouší dostat k původním datům studií a z nich vytvořit velký data set. Na tomto základě mohou testovat hypotézy s mnohem větší přesností, než s jakou operovaly primární výzkumy.
# '''Srovnávací meta-analýza''' (''network meta-analysis, multiple treatment či mixed treatment'') zkoumá srovnání efektů, které nebyly provedeny v původních studiích. Příkladem může být vzájemné porovnávání dvou terapií, které byly původně testovány pouze proti placebo efektu.
# '''Prospektivní meta-analýza''' (''prospective meta-analysis'') je nazývána Bastianem (2014) <ref name="Bastian" /> Rolls Roycem mezi meta-analýzami, a to díky jeho odolnosti vůči různým zkreslením (např. vůči publikačnímu zkreslení, heterogenitě studií, atd.). Primární studie jsou zde již prováděny s tím, že jejich výsledky budou na závěr meta-analyticky vyhodnoceny, bez ohledu na jejich výsledky. To výzkumníkům dovoluje dopředu sjednotit metodologické a statistické postupy, a zajišťuje vyšší validitu následující meta-analytické studie.

=== Silné stránky meta-analýzy ===
Oproti tradičním přehledovým studiím (někdy nazývaným „narativním“) má tento způsob zhodnocení literatury několik nesporných předností. Je systematický a transparentní z hlediska provádění vyhledávání literatury, jejího kódování i počítání výsledků, a tudíž nutně objektivnější (Ioannidis, 1996). V konečném důsledku dovoluje formulovat závěry o zkoumaném fenoménu ve statisticky testovatelných pojmech, což narativní přehledová studie neumožňuje. ''Kumulace primárních studií také umožňuje meta-analýze nasbírat rozsáhlý výběrový soubor <ref name="card" />, a zvýšit tak statistickou sílu svých závěrů.''

=== Kritika meta-analýz ===
Vynikající publikace zabývající se meta-analýzami ''Introduction to Meta-analysis'' <ref name="Borenstein">Borenstein, M., Hedges, L. V., Higgins, J., & Rothstein, H. R. (2009). Criticisms of Meta‐Analysis. Introduction to meta-analysis, 377-387.</ref> obsahuje shrnutí nejzásadnějších námitek vznesených na téma použití a užitečnosti meta-analýz.

<big>Meta-analýza silně zjednodušuje</big>

'''Kritika''': Meta-analýzy provádějí zprůměrování výsledků a často při tom ignorují fakt, že se velikosti efektů (a další proměnné) mohou lišit studie od studie. Zjednodušení závěrů výzkumů do jediného čísla (výsledný odhad velikosti účinku) musí mít za následek silné zkreslení <ref name="Borenstein" />.

'''Odpověď''': Cílem meta-analýz je ve skutečnosti provádět syntézu velikostí účinku, a ne pouze vytvořit průměr výsledků studií. V moderních meta-analýzách se často provádí '''vážení získaných velikostí účinku''' v závislosti na určitých charakteristikách studie (kvalita studie, kontrolování proměnných, velikost vzorku, atd.). Současně je kontroluje případná '''heterogenita''' zkoumaných studií. Závěry meta-analýz, které reportují pouze průměr velikostí účinku a ignorují heterogenitu, mohou být s úspěchem označeny za problematické <ref name="Borenstein" />.

<big>Problém šuplíku a publikační zkreslení</big>

'''Kritika''': Problém šuplíku, také zásuvkový efekt <ref name="Hartl">Hartl, P., & Hartlová, H. (2000). Psychologický slovník. Praha: Portál.</ref> či zásuvkový problém  <ref name="Fer" />, je zkreslení reprezentující skutečnost, že výzkumy vykazující nulové nebo dokonce záporné výsledky (tedy opak toho, co bylo předpokládáno) bývají méně často reportovány. Hromadí se tak ve výzkumníkově „šuplíku“ a zůstávají nepublikovány. Širší pojetí této problematiky nese název publikační zkreslení. Problém šuplíku způsobuje, že se mezi publikované výzkumy dostane více těch, které našly statisticky významné výsledky. Jelikož meta-analýzy čerpají z databází obsahující publikované studie a k nepublikovaným se nedostanou, vzorek zkoumaných studií je tímto zkreslený. Zkreslený vzorek může dát pouze zkreslené výsledky <ref name="Borenstein" />.

'''Odpověď''': Publikační zkreslení jako celek představuje ohrožení validity meta-analýz. Tomuto tématu se věnovala celá řada odborníků, a z jejich práce vzešla celá řada '''statistických a grafických metod''', které umožňují velikost zkreslení odhadovat a případně jej kontrolovat. Mezi tyto metody patří funnel-plot <ref name="light">Light, R. J., & Pillemer, D. B. (1986). Summing Up: The Science of Reviewing Research Harvard University Press: Cambridge, MA, 1984, xiii+ 191 pp. Educational Researcher, 15(8), 16-17.</ref>, regresní analýzy <ref name="egger">Egger, M., Smith, G. D., Schneider, M., & Minder, C. (1997). Bias in meta-analysis detected by a simple, graphical test. BMJ: British Medical Journal (International Edition), 315(7109), 629-634.</ref>, Failsafe N  <ref name="rosenthal79">Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological bulletin, 86(3), 638-641.</ref> <ref name="rosenthal91" /> nebo metoda Trim and Fill <ref name="Duval">Duval, S., & Tweedie, R. (2000). Trim and fill: a simple funnel‐plot–based method of testing and adjusting for publication bias in meta‐analysis. Biometrics, 56(2), 455-463.</ref>. Současně lze riziko publikačního zkreslení snížit pomocí '''důkladného vyhledávacího procesu''', pátráním po nepublikovaných výzkumech v šedé literatuře, konferenčních programech a registrech studií  <ref name="card" />. Je důležité zmínit, že zatímco publikační zkreslení ohrožuje jakýkoliv druh přehledové literatury, meta-analýza má zdaleka nejlepší prostředky, jak se mu bránit <ref name="Borenstein" />.

<big>Míchání jablek s hruškami</big>

'''Kritika''': Meta-analytici zahrnují do jedné analýzy rozdílné druhy studií. Výsledek meta-analýzy pak nutně ignoruje důležité specifické vlastnosti jednotlivých výzkumů. Jinými slovy, výzkumy zahrnuté do analýzy mají vysokou heterogenitu <ref name="Borenstein" />.

'''Odpověď''': S určitou mírou heterogenity se musí vypořádat každá meta-analýza. K tomu slouží stanovení jasných '''kritérií pro zahrnutí studie''' do meta-analýzy a '''důkladné kódování''' celé řady proměnných charakterizujících studie. To umožňuje kontrolovat případný vliv rozdílů v metodologiích výzkumů na výsledek meta-analýzy. Často se meta-analýzy zabývají '''širšími otázkami''', než konkrétní primární výzkumy (viz Typy meta-analýz). Právě zahrnutí rozmanitých studií umožňuje na tyto otázky odpovědět <ref name="Borenstein" />.

<big>Odpad ve vstupu, odpad ve výstupu (GIGO – Garbage in, garbage out)</big>

'''Kritika''': GIGO je metafora přejatá z informační vědy. Představuje myšlenku, že pokud meta-analýza zahrne velké množství nekvalitních výzkumů, jejich chyby a zkreslení se projeví na výsledku meta-analýzy <ref name="Borenstein" />.

'''Odpověď''': Stejně jako u předchozí problematiky, i zde hraje velikou roli stanovení jasných '''kritérií pro zahrnutí studie''' do meta-analýzy (např. existence kontrolního vzorku, kontrola na ''demands characteristics''<sup>2</sup>, atd.). Následně jsou studie '''kódovány''', a kromě jednotlivých charakteristik zvyšující či snižující validitu studie může být hodnocena i celková kvalita studie. Bohužel, takové hodnocení je nutně subjektivní a nedá se vždy vztáhnout na objektivní kritéria. Pro relativizaci dopadu jednotlivých velikostí účinku na závěry meta-analýzy se provádí '''vážení velikostí účinku''' na základě kódovaných charakteristik (např. že studie s n=2000 bude mít větší vliv na výsledky meta-analýzy než studie s n=20)  <ref name="card" />.

<small><sup>2</sup>''Termín odkazující ke změně chování probandů na základě toho, jakou představu si vytvoří o účelu a cíli výzkumu (např. metody určené k vyvolání emocí u probandů vykazují silnější efekt, pokud probandi vědí, že je cílem vyvolat v nich nějakou emoci). <ref name="westermann">Westermann, R., Spies, K., Stahl, G., & Hesse, F. (1996). Relative effectiveness and validity of mood induction procedures: a meta-analysis. European Journal of social psychology, 26, 557-580.</ref>''</small>

<big>Ignorování důležitých studií</big> 

'''Kritika''': Do meta-analýzy nejsou často zahrnuty důležité a veliké studie, které by docela určitě změnily její závěry. Kritika míří mimo jiné na fakt, že autoři meta-analýz identifikují velké množství relevantních výzkumů, ale do meta-analýzy jich zahrnou pouhý zlomek  <ref name="Borenstein" />.

'''Odpověď''': U všech systematických přehledových studií platí, že musí mít daná jasná kritéria pro rozhodnutí, zda výzkum zahrnout či nezahrnout do vzorku. Provedení důkladného vyhledávání studií a aplikování kritérií pro zahrnutí do meta-analýzy je nutnou součástí transparentního procesu. Kvůli takovému postupu nutně některé studie z výběru z nejrůznějších důvodů vypadnou. To snižuje heterogenitu zkoumaných studií a výsledky meta-analýzy jsou o to validnější  <ref name="Borenstein" />.

<big>A další...</big>

Existuje ještě celá řada dalších kritik meta-analýz. Například to, že jsou někdy meta-analytické závěry v rozporu s velkoformátovými klinickými studiemi, nebo že je část meta-analýz prováděna nekvalitně  <ref name="Borenstein" />.
Meta-analýzy jsou obecně velice složité a samozřejmě i omylné. Prozatím jsou ovšem tím nejvhodnějším nástrojem pro systematický přehled literatury, který máme k dispozici <ref name="Bastian" />.

== Odkazy ==
=== Reference ===
<references/>

=== Použitá literatura ===
* Bastian, H. (2014). 5 key things to know about meta-analysis. In Scientificamerican.com. Retrieved April 7, 2016, from http://blogs.scientificamerican.com/absolutely-maybe/5-key-things-to-know-about-meta-analysis/
* Borenstein, M., Hedges, L. V., Higgins, J., & Rothstein, H. R. (2009). Criticisms of Meta‐Analysis. Introduction to meta-analysis, 377-387.
* Card, N. A. (2012). Applied meta-analysis for social science research. Guilford Publications. Dostupné z: https://books.google.cz/books?id=GC42CwAAQBAJ&pg=PR6&dq=Applied+Meta-Analysis+for+Social+Science+Research+2012&hl=cs&sa=X&ved=0ahUKEwjTx6f67uzVAhVBfhoKHSgcCTEQ6AEIKTAA#v=onepage&q=Applied%20Meta-Analysis%20for%20Social%20Science%20Research%202012&f=false
* Duval, S., & Tweedie, R. (2000). Trim and fill: a simple funnel‐plot–based method of testing and adjusting for publication bias in meta‐analysis. Biometrics, 56(2), 455-463.
* Effect size. (n.d.). In Wikipedia. Retrieved April 5, 2016, from https://en.wikipedia.org/wiki/Effect_size
* Egger, M., Smith, G. D., Schneider, M., & Minder, C. (1997). Bias in meta-analysis detected by a simple, graphical test. BMJ: British Medical Journal (International Edition), 315(7109), 629-634.
* Ellis, P. D. (2010). The essential guide to effect sizes: Statistical power, meta-analysis, and the interpretation of research results. Cambridge University Press.
* Ferjenčík, J. (2000). Úvod do metodologie vědeckého výzkumu: Jak zkoumat lidskou duši. Praha: Portál.
* Glass, G. (1976). Primary, secondary and meta-analysis of research. Educational Researcher, 5, 3-8.
* Hartl, P., & Hartlová, H. (2000). Psychologický slovník. Praha: Portál.
* Light, R. J., & Pillemer, D. B. (1986). Summing Up: The Science of Reviewing Research Harvard University Press: Cambridge, MA, 1984, xiii+ 191 pp. Educational Researcher, 15(8), 16-17.
* Meta-analysis. (n.d.). In Wikipedia. Retrieved April 5, 2016, from https://en.wikipedia.org/wiki/Meta-analysis
* Reichel, J. (2009). Kapitoly metodologie sociálních výzkumů (Vyd. 1.). Praha: Grada.
* Rosenthal, R. (1979). The file drawer problem and tolerance for null results. Psychological bulletin, 86(3), 638-641.
* Rosenthal, R. (1991). Meta-analytic procedures for social research (rev. ed.). Thousand Oaks, CA, US: Sage Publications, Inc.
* Rosenthal, R., & DiMatteo, M. R. (2001). Meta-analysis: Recent developments in quantitative methods for literature reviews. Annual review of psychology, 52(1), 59-82.
* Westermann, R., Spies, K., Stahl, G., & Hesse, F. (1996). Relative effectiveness and validity of mood induction procedures: a meta-analysis. European Journal of social psychology, 26, 557-580.

=== Externí odkazy a doporučená literatura ===

* '''''K interpretaci Cohenova d včetně interaktivní vizualizace, jak funguje''''':
:* http://rpsychologist.com/d3/cohend/

* '''''Kalkulátory velikosti efektu:'''''
:* http://www.polyu.edu.hk/mm/effectsizefaqs/calculator/calculator.html

* '''''Článek o tom, proč p-hodnota nestačí, a měla by být uváděna i velikost efektu:'''''
:* Maher, J. M., Markey, J. C., & Ebert-May, D. (2013). The Other Half of the Story: Effect Size Analysis in Quantitative Research. CBE Life Sciences Education, 12(3), 345–351. http://doi.org/10.1187/cbe.13-04-0082

* '''''K publikačnímu zkreslení:'''''
:* ''Ben Goldacre - Battling bad science:'' Ben Goldacre je epidemiolog a ve videu hovoří o tom, jakým způsobem mohou být důkazy překroucené. Tento fakt demonstruje na tvrzeních z oblasti výživy a dostává se až ke způsobům zkreslení ve farmaceutickém průmyslu.''
:* https://www.ted.com/talks/ben_goldacre_battling_bad_science#t-840399

:* ''Ben Goldacre - What doctors don't know about the drugs they prescribe'': Video upozorňující na to, že je etickou povinností publikovat také studie, které vyšly negativně či neprůkazně. Nepublikování takových zjištění může mít vážné následky.
:* https://www.ted.com/talks/ben_goldacre_what_doctors_don_t_know_about_the_drugs_they_prescribe

=== Související články ===
* [[32. Etické zásady psychologického výzkumu]]

=== Klíčová slova ===
meta-analýza  - velikost účinku - publikační zkreslení - analýza dat