21. Sekundární analýza dat a metaanalýza: Porovnání verzí

(Založena nová stránka s textem „== Úvod == Data můžeme analyzovat na třech úrovních: '''Primární analýza dat''', sekundární analýza dat, a meta-analýza. Primární analýza d…“)
 
Řádek 40: Řádek 40:
  
 
<big>Meta-analýza silně zjednodušuje</big>
 
<big>Meta-analýza silně zjednodušuje</big>
 +
 
'''Kritika''': Meta-analýzy provádějí zprůměrování výsledků a často při tom ignorují fakt, že se velikosti efektů (a další proměnné) mohou lišit studie od studie. Zjednodušení závěrů výzkumů do jediného čísla (výsledný odhad velikosti účinku) musí mít za následek silné zkreslení <ref name="Borenstein" />.
 
'''Kritika''': Meta-analýzy provádějí zprůměrování výsledků a často při tom ignorují fakt, že se velikosti efektů (a další proměnné) mohou lišit studie od studie. Zjednodušení závěrů výzkumů do jediného čísla (výsledný odhad velikosti účinku) musí mít za následek silné zkreslení <ref name="Borenstein" />.
 
'''Odpověď''': Cílem meta-analýz je ve skutečnosti provádět syntézu velikostí účinku, a ne pouze vytvořit průměr výsledků studií. V moderních meta-analýzách se často provádí '''vážení získaných velikostí účinku''' v závislosti na určitých charakteristikách studie (kvalita studie, kontrolování proměnných, velikost vzorku, atd.). Současně je kontroluje případná '''heterogenita''' zkoumaných studií. Závěry meta-analýz, které reportují pouze průměr velikostí účinku a ignorují heterogenitu, mohou být s úspěchem označeny za problematické <ref name="Borenstein" />.
 
'''Odpověď''': Cílem meta-analýz je ve skutečnosti provádět syntézu velikostí účinku, a ne pouze vytvořit průměr výsledků studií. V moderních meta-analýzách se často provádí '''vážení získaných velikostí účinku''' v závislosti na určitých charakteristikách studie (kvalita studie, kontrolování proměnných, velikost vzorku, atd.). Současně je kontroluje případná '''heterogenita''' zkoumaných studií. Závěry meta-analýz, které reportují pouze průměr velikostí účinku a ignorují heterogenitu, mohou být s úspěchem označeny za problematické <ref name="Borenstein" />.
  
 
<big>Problém šuplíku a publikační zkreslení</big>
 
<big>Problém šuplíku a publikační zkreslení</big>
 +
 
'''Kritika''': Problém šuplíku, také zásuvkový efekt <ref name="Hartl">Hartl, P., & Hartlová, H. (2000). Psychologický slovník. Praha: Portál.</ref> či zásuvkový problém  <ref name="Fer" />, je zkreslení reprezentující skutečnost, že výzkumy vykazující nulové nebo dokonce záporné výsledky (tedy opak toho, co bylo předpokládáno) bývají méně často reportovány. Hromadí se tak ve výzkumníkově „šuplíku“ a zůstávají nepublikovány. Širší pojetí této problematiky nese název publikační zkreslení. Problém šuplíku způsobuje, že se mezi publikované výzkumy dostane více těch, které našly statisticky významné výsledky. Jelikož meta-analýzy čerpají z databází obsahující publikované studie a k nepublikovaným se nedostanou, vzorek zkoumaných studií je tímto zkreslený. Zkreslený vzorek může dát pouze zkreslené výsledky <ref name="Borenstein" />.
 
'''Kritika''': Problém šuplíku, také zásuvkový efekt <ref name="Hartl">Hartl, P., & Hartlová, H. (2000). Psychologický slovník. Praha: Portál.</ref> či zásuvkový problém  <ref name="Fer" />, je zkreslení reprezentující skutečnost, že výzkumy vykazující nulové nebo dokonce záporné výsledky (tedy opak toho, co bylo předpokládáno) bývají méně často reportovány. Hromadí se tak ve výzkumníkově „šuplíku“ a zůstávají nepublikovány. Širší pojetí této problematiky nese název publikační zkreslení. Problém šuplíku způsobuje, že se mezi publikované výzkumy dostane více těch, které našly statisticky významné výsledky. Jelikož meta-analýzy čerpají z databází obsahující publikované studie a k nepublikovaným se nedostanou, vzorek zkoumaných studií je tímto zkreslený. Zkreslený vzorek může dát pouze zkreslené výsledky <ref name="Borenstein" />.
 
'''Odpověď''': Publikační zkreslení jako celek představuje ohrožení validity meta-analýz. Tomuto tématu se věnovala celá řada odborníků, a z jejich práce vzešla celá řada '''statistických a grafických metod''', které umožňují velikost zkreslení odhadovat a případně jej kontrolovat. Mezi tyto metody patří funnel-plot <ref name="light">Light, R. J., & Pillemer, D. B. (1986). Summing Up: The Science of Reviewing Research Harvard University Press: Cambridge, MA, 1984, xiii+ 191 pp. Educational Researcher, 15(8), 16-17.</ref>, regresní analýzy <ref name="egger" />, Failsafe N  <ref name="rosenthal79" /> <ref name="rosenthal91" /> nebo metoda Trim and Fill <ref name="Duval">Duval, S., & Tweedie, R. (2000). Trim and fill: a simple funnel‐plot–based method of testing and adjusting for publication bias in meta‐analysis. Biometrics, 56(2), 455-463.</ref>. Současně lze riziko publikačního zkreslení snížit pomocí '''důkladného vyhledávacího procesu''', pátráním po nepublikovaných výzkumech v šedé literatuře, konferenčních programech a registrech studií  <ref name="card" />. Je důležité zmínit, že zatímco publikační zkreslení ohrožuje jakýkoliv druh přehledové literatury, meta-analýza má zdaleka nejlepší prostředky, jak se mu bránit <ref name="Borenstein" />.
 
'''Odpověď''': Publikační zkreslení jako celek představuje ohrožení validity meta-analýz. Tomuto tématu se věnovala celá řada odborníků, a z jejich práce vzešla celá řada '''statistických a grafických metod''', které umožňují velikost zkreslení odhadovat a případně jej kontrolovat. Mezi tyto metody patří funnel-plot <ref name="light">Light, R. J., & Pillemer, D. B. (1986). Summing Up: The Science of Reviewing Research Harvard University Press: Cambridge, MA, 1984, xiii+ 191 pp. Educational Researcher, 15(8), 16-17.</ref>, regresní analýzy <ref name="egger" />, Failsafe N  <ref name="rosenthal79" /> <ref name="rosenthal91" /> nebo metoda Trim and Fill <ref name="Duval">Duval, S., & Tweedie, R. (2000). Trim and fill: a simple funnel‐plot–based method of testing and adjusting for publication bias in meta‐analysis. Biometrics, 56(2), 455-463.</ref>. Současně lze riziko publikačního zkreslení snížit pomocí '''důkladného vyhledávacího procesu''', pátráním po nepublikovaných výzkumech v šedé literatuře, konferenčních programech a registrech studií  <ref name="card" />. Je důležité zmínit, že zatímco publikační zkreslení ohrožuje jakýkoliv druh přehledové literatury, meta-analýza má zdaleka nejlepší prostředky, jak se mu bránit <ref name="Borenstein" />.
  
 
<big>Míchání jablek s hruškami</big>
 
<big>Míchání jablek s hruškami</big>
−
''Kritika'': Meta-analytici zahrnují do jedné analýzy rozdílné druhy studií. Výsledek meta-analýzy pak nutně ignoruje důležité specifické vlastnosti jednotlivých výzkumů. Jinými slovy, výzkumy zahrnuté do analýzy mají vysokou heterogenitu <ref name="Borenstein" />.
+
 
 +
'''Kritika''': Meta-analytici zahrnují do jedné analýzy rozdílné druhy studií. Výsledek meta-analýzy pak nutně ignoruje důležité specifické vlastnosti jednotlivých výzkumů. Jinými slovy, výzkumy zahrnuté do analýzy mají vysokou heterogenitu <ref name="Borenstein" />.
 
'''Odpověď''': S určitou mírou heterogenity se musí vypořádat každá meta-analýza. K tomu slouží stanovení jasných '''kritérií pro zahrnutí studie''' do meta-analýzy a '''důkladné kódování''' celé řady proměnných charakterizujících studie. To umožňuje kontrolovat případný vliv rozdílů v metodologiích výzkumů na výsledek meta-analýzy. Často se meta-analýzy zabývají '''širšími otázkami''', než konkrétní primární výzkumy (viz Typy meta-analýz). Právě zahrnutí rozmanitých studií umožňuje na tyto otázky odpovědět <ref name="Borenstein" />.
 
'''Odpověď''': S určitou mírou heterogenity se musí vypořádat každá meta-analýza. K tomu slouží stanovení jasných '''kritérií pro zahrnutí studie''' do meta-analýzy a '''důkladné kódování''' celé řady proměnných charakterizujících studie. To umožňuje kontrolovat případný vliv rozdílů v metodologiích výzkumů na výsledek meta-analýzy. Často se meta-analýzy zabývají '''širšími otázkami''', než konkrétní primární výzkumy (viz Typy meta-analýz). Právě zahrnutí rozmanitých studií umožňuje na tyto otázky odpovědět <ref name="Borenstein" />.
  
 
<big>Odpad ve vstupu, odpad ve výstupu (GIGO – Garbage in, garbage out)</big>
 
<big>Odpad ve vstupu, odpad ve výstupu (GIGO – Garbage in, garbage out)</big>
 +
 
'''Kritika''': GIGO je metafora přejatá z informační vědy. Představuje myšlenku, že pokud meta-analýza zahrne velké množství nekvalitních výzkumů, jejich chyby a zkreslení se projeví na výsledku meta-analýzy <ref name="Borenstein" />.
 
'''Kritika''': GIGO je metafora přejatá z informační vědy. Představuje myšlenku, že pokud meta-analýza zahrne velké množství nekvalitních výzkumů, jejich chyby a zkreslení se projeví na výsledku meta-analýzy <ref name="Borenstein" />.
−
'''Odpověď''': Stejně jako u předchozí problematiky, i zde hraje velikou roli stanovení jasných '''kritérií pro zahrnutí studie''' do meta-analýzy (např. existence kontrolního vzorku, kontrola na demands characteristics1, atd.). Následně jsou studie '''kódovány''', a kromě jednotlivých charakteristik zvyšující či snižující validitu studie může být hodnocena i celková kvalita studie. Bohužel, takové hodnocení je nutně subjektivní a nedá se vždy vztáhnout na objektivní kritéria. Pro relativizaci dopadu jednotlivých velikostí účinku na závěry meta-analýzy se provádí '''vážení velikostí účinku''' na základě kódovaných charakteristik (např. že studie s n=2000 bude mít větší vliv na výsledky meta-analýzy než studie s n=20)  <ref name="card" />.  
+
'''Odpověď''': Stejně jako u předchozí problematiky, i zde hraje velikou roli stanovení jasných '''kritérií pro zahrnutí studie''' do meta-analýzy (např. existence kontrolního vzorku, kontrola na demands characteristics1, atd.). Následně jsou studie '''kódovány''', a kromě jednotlivých charakteristik zvyšující či snižující validitu studie může být hodnocena i celková kvalita studie. Bohužel, takové hodnocení je nutně subjektivní a nedá se vždy vztáhnout na objektivní kritéria. Pro relativizaci dopadu jednotlivých velikostí účinku na závěry meta-analýzy se provádí '''vážení velikostí účinku''' na základě kódovaných charakteristik (např. že studie s n=2000 bude mít větší vliv na výsledky meta-analýzy než studie s n=20)  <ref name="card" />.
  
 
=== Ignorování důležitých studií ===
 
=== Ignorování důležitých studií ===

Verze z 23. 8. 2017, 09:45

Úvod

Data můžeme analyzovat na třech úrovních: Primární analýza dat, sekundární analýza dat, a meta-analýza. Primární analýza dat představuje původní analýzu dat výzkumné studie [1]. Sekundární analýza dat je jakékoliv další využívání dat z původní studie [2], např. ve formě opětovného vyhodnocení dat za pomoci lepších statistických metod, nebo využití těchto dat k zodpovězení jiných než původních výzkumných otázek [1]. Meta-analýza pracuje s výsledky mnoha původních studií a provádí jejich syntézu [3].

Meta analýza

Autorem tohoto termínu je Gene V. Glass (1976). Meta-analýza je kvantitativní přehledová studie [4]. Podstatou meta-analýzy je analyzovat (a následně syntetizovat) mnohá výzkumná zjištění, která se týkají určité oblasti, určitého problému (velikosti vztahu dvou proměnných, síly efektu terapie, atd.) [5].

Většina meta-analýz pracuje s velikostí účinku (effect size). Velikost účinku je ukazatel směru a síly vztahu mezi dvěma proměnnými. Mezi příklady takového ukazatele jsou korelační koeficient r, Cohenovo d nebo Hedgeovo g [3]. Velikosti účinku jsou v meta-analýzách upřednostňovány před p-hodnotami proto, že jsou mnohem odolnější vůči zkreslení a pochybným výzkumným praktikám (Ioannidis, 1996). Syntéza výsledků mnoha studií navíc poskytuje meta-analýze vyšší statistickou sílu, jelikož se s každou přibývající studií zvyšuje velikost vzorku (sample size)[3].

Meta-analýza představuje systematický způsob přehledu literatury, je metodologicky transparentní (v meta-analýze je reportován jak způsob vyhledávání studií a kritéria pro zahrnutí studií do výběrového vzorku, tak způsob a proces vyhodnocení dat) a formuluje závěry ve formě statisticky testovatelných výsledků. Tím pádem je nutně objektivnější než běžný přehled literatury (Ioannidis, 1996). Přestože jde doslova o statistickou analýzu statistických analýz [6], je její princip i výpočet relativně jednoduchý (viz Rovnice 01).

Rovnice size effect.png Rovnice 01.[6]

Princip meta-analýz

V ideálním případě by věda představovala akumulovanou zkušenost lidstva [3]. To znamená, že výzkumníci stavějí své teorie a hypotézy na dosavadních zjištěních vědců [3]. Jelikož se ale počet primárních studií množí někdy až geometrickou řadou, projití článků nezbytných k výše zmíněném procesu by běžnému člověku zabralo více let, než je obvykle ochotný tématu věnovat. A z toho důvodu existují přehledové studie.

Přehledové studie jsou teoretické práce, které shrnují velké množství literatury ohledně nějakého tématu. Typickými zástupci tohoto druhu jsou takzvané narativní přehledové studie (často mají takovou podobu např. bakalářské práce), jejichž autoři zhodnocují literaturu kvalitativně, podle vlastního uvážení [3]. Právě přílišná subjektivita narativních přehledových studií je kamenem úrazu. Poptávka po statistickém zhodnocení literatury nakonec dala v 70. letech vzniknout meta-analýzám. Počet užití meta-analýzy v psychologickém výzkumu roste od sedmdesátých let téměř geometrickou řadou (Rosenthal, 1991[7], podle Ferjenčík, 2000 [5]).

Provedení meta-analýzy

Vytvoření kvalitní meta-analýzy představuje dlouhý a náročný proces, pečlivě plánovaný a transparentně reportovaný. Jak bylo v dané meta-analýze postupováno, by mělo být jasně popsáno v části Metody. Klasická meta-analýza zahrnuje tyto kroky [8][3] [5]:

  1. Formulování problému či výzkumné otázky.
  2. Vyhledávání a identifikování relevantní literatury (např. prohledávání databází na základě určitých klíčových slov a slovních spojení).
  3. Aplikování kritérií pro zahrnutí studie do meta-analýzy a výběr výzkumů (týkající se často kvalitativních charakteristik studie, např. provedení randomizace nebo dvojitě slepé studie).
  4. Rozhodnutí o tom, které proměnné budou kódovány, a jejich kódování (obvykle jsou kódovány charakteristiky, ve kterých se studie liší, jako je počet probandů, použití konkrétních dotazníků, nebo zda byl článek publikován či ne). Kódování charakteristik studií umožňuje vzájemné statistické porovnání výzkumů s rozdílnými charakteristikami. Současně dává informaci pro případné vážení velikostí účinku studií při počítání výsledku meta-analýzy. Současně s kódováním proměnných se provádí převádění výsledků studií na jednotnou míru velikosti účinku (např. r nebo d; viz Meta-analýza).
  5. Zvolení statistického nástroje a postupu pro zpracování dat. Vyhodnocení dat.

Typy meta-analýz

Kromě základního modelu (viz Provedení meta-analýzy) lze odlišit další čtyři druhy meta-analýz [9]:

  1. Kumulativní meta-analýza (cumulative meta-analysis), kde se vyhodnocují studie v určitém pořadí (např. v závislosti na kvalitě studie či roku vydání). Vždy po přidání nové studie se výsledky opět vyhodnocují. Kumulativní meta-analýzy jsou často prezentovány pomocí forest plot a lze díky tomu pozorovat změnu ve výsledcích primárních studií v čase.
  2. Meta-analýza jednotlivých dat pacientů (individual patient data meta-analysis) je založena na klinických testech (clinical trials). Výzkumníci se pokouší dostat k původním datům studií a z nich vytvořit velký data set. Na tomto základě mohou testovat hypotézy s mnohem větší přesností, než s jakou operovaly primární výzkumy.
  3. Srovnávací meta-analýza (network meta-analysis, multiple treatment či mixed treatment) zkoumá srovnání efektů, které nebyly provedeny v původních studiích. Příkladem může být vzájemné porovnávání dvou terapií, které byly původně testovány pouze proti placebo efektu.
  4. Prospektivní meta-analýza (prospective meta-analysis) je nazývána Bastianem (2014) [9] Rolls Roycem mezi meta-analýzami, a to díky jeho odolnosti vůči různým zkreslením (např. vůči publikačnímu zkreslení, heterogenitě studií, atd.). Primární studie jsou zde již prováděny s tím, že jejich výsledky budou na závěr meta-analyticky vyhodnoceny, bez ohledu na jejich výsledky. To výzkumníkům dovoluje dopředu sjednotit metodologické a statistické postupy, a zajišťuje vyšší validitu následující meta-analytické studie.

Silné stránky meta-analýzy

Oproti tradičním přehledovým studiím (někdy nazývaným „narativním“) má tento způsob zhodnocení literatury několik nesporných předností. Je systematický a transparentní z hlediska provádění vyhledávání literatury, jejího kódování i počítání výsledků, a tudíž nutně objektivnější (Ioannidis, 1996). V konečném důsledku dovoluje formulovat závěry o zkoumaném fenoménu ve statisticky testovatelných pojmech, což narativní přehledová studie neumožňuje. Kumulace primárních studií také umožňuje meta-analýze nasbírat rozsáhlý výběrový soubor [3], a zvýšit tak statistickou sílu svých závěrů.

Kritika meta-analýz

Vynikající publikace zabývající se meta-analýzami Introduction to Meta-analysis [10] obsahuje shrnutí nejzásadnějších námitek vznesených na téma použití a užitečnosti meta-analýz.

Meta-analýza silně zjednodušuje

Kritika: Meta-analýzy provádějí zprůměrování výsledků a často při tom ignorují fakt, že se velikosti efektů (a další proměnné) mohou lišit studie od studie. Zjednodušení závěrů výzkumů do jediného čísla (výsledný odhad velikosti účinku) musí mít za následek silné zkreslení [10]. Odpověď: Cílem meta-analýz je ve skutečnosti provádět syntézu velikostí účinku, a ne pouze vytvořit průměr výsledků studií. V moderních meta-analýzách se často provádí vážení získaných velikostí účinku v závislosti na určitých charakteristikách studie (kvalita studie, kontrolování proměnných, velikost vzorku, atd.). Současně je kontroluje případná heterogenita zkoumaných studií. Závěry meta-analýz, které reportují pouze průměr velikostí účinku a ignorují heterogenitu, mohou být s úspěchem označeny za problematické [10].

Problém šuplíku a publikační zkreslení

Kritika: Problém šuplíku, také zásuvkový efekt [11] či zásuvkový problém [5], je zkreslení reprezentující skutečnost, že výzkumy vykazující nulové nebo dokonce záporné výsledky (tedy opak toho, co bylo předpokládáno) bývají méně často reportovány. Hromadí se tak ve výzkumníkově „šuplíku“ a zůstávají nepublikovány. Širší pojetí této problematiky nese název publikační zkreslení. Problém šuplíku způsobuje, že se mezi publikované výzkumy dostane více těch, které našly statisticky významné výsledky. Jelikož meta-analýzy čerpají z databází obsahující publikované studie a k nepublikovaným se nedostanou, vzorek zkoumaných studií je tímto zkreslený. Zkreslený vzorek může dát pouze zkreslené výsledky [10]. Odpověď: Publikační zkreslení jako celek představuje ohrožení validity meta-analýz. Tomuto tématu se věnovala celá řada odborníků, a z jejich práce vzešla celá řada statistických a grafických metod, které umožňují velikost zkreslení odhadovat a případně jej kontrolovat. Mezi tyto metody patří funnel-plot [12], regresní analýzy [13], Failsafe N [14] [7] nebo metoda Trim and Fill [15]. Současně lze riziko publikačního zkreslení snížit pomocí důkladného vyhledávacího procesu, pátráním po nepublikovaných výzkumech v šedé literatuře, konferenčních programech a registrech studií [3]. Je důležité zmínit, že zatímco publikační zkreslení ohrožuje jakýkoliv druh přehledové literatury, meta-analýza má zdaleka nejlepší prostředky, jak se mu bránit [10].

Míchání jablek s hruškami

Kritika: Meta-analytici zahrnují do jedné analýzy rozdílné druhy studií. Výsledek meta-analýzy pak nutně ignoruje důležité specifické vlastnosti jednotlivých výzkumů. Jinými slovy, výzkumy zahrnuté do analýzy mají vysokou heterogenitu [10]. Odpověď: S určitou mírou heterogenity se musí vypořádat každá meta-analýza. K tomu slouží stanovení jasných kritérií pro zahrnutí studie do meta-analýzy a důkladné kódování celé řady proměnných charakterizujících studie. To umožňuje kontrolovat případný vliv rozdílů v metodologiích výzkumů na výsledek meta-analýzy. Často se meta-analýzy zabývají širšími otázkami, než konkrétní primární výzkumy (viz Typy meta-analýz). Právě zahrnutí rozmanitých studií umožňuje na tyto otázky odpovědět [10].

Odpad ve vstupu, odpad ve výstupu (GIGO – Garbage in, garbage out)

Kritika: GIGO je metafora přejatá z informační vědy. Představuje myšlenku, že pokud meta-analýza zahrne velké množství nekvalitních výzkumů, jejich chyby a zkreslení se projeví na výsledku meta-analýzy [10]. Odpověď: Stejně jako u předchozí problematiky, i zde hraje velikou roli stanovení jasných kritérií pro zahrnutí studie do meta-analýzy (např. existence kontrolního vzorku, kontrola na demands characteristics1, atd.). Následně jsou studie kódovány, a kromě jednotlivých charakteristik zvyšující či snižující validitu studie může být hodnocena i celková kvalita studie. Bohužel, takové hodnocení je nutně subjektivní a nedá se vždy vztáhnout na objektivní kritéria. Pro relativizaci dopadu jednotlivých velikostí účinku na závěry meta-analýzy se provádí vážení velikostí účinku na základě kódovaných charakteristik (např. že studie s n=2000 bude mít větší vliv na výsledky meta-analýzy než studie s n=20) [3].

Ignorování důležitých studií

Kritika: Do meta-analýzy nejsou často zahrnuty důležité a veliké studie, které by docela určitě změnily její závěry. Kritika míří mimo jiné na fakt, že autoři meta-analýz identifikují velké množství relevantních výzkumů, ale do meta-analýzy jich zahrnou pouhý zlomek [10]. Odpověď: U všech systematických přehledových studií platí, že musí mít daná jasná kritéria pro rozhodnutí, zda výzkum zahrnout či nezahrnout do vzorku. Provedení důkladného vyhledávání studií a aplikování kritérií pro zahrnutí do meta-analýzy je nutnou součástí transparentního procesu. Kvůli takovému postupu nutně některé studie z výběru z nejrůznějších důvodů vypadnou. To snižuje heterogenitu zkoumaných studií a výsledky meta-analýzy jsou o to validnější [10].

Existuje ještě celá řada dalších kritik meta-analýz. Například to, že jsou někdy meta-analytické závěry v rozporu s velkoformátovými klinickými studiemi, nebo že je část meta-analýz prováděna nekvalitně [10].

Meta-analýzy jsou obecně velice složité a samozřejmě i omylné. Prozatím jsou ovšem tím nejvhodnějším nástrojem pro systematický přehled literatury, který máme k dispozici [9].

  1. ↑ 1,0 1,1 Glass, G. (1976). Primary, secondary and meta-analysis of research. Educational Researcher, 5, 3-8.
  2. ↑ Reichel, J. (2009). Kapitoly metodologie sociálních výzkumů (Vyd. 1.). Praha: Grada.
  3. ↑ 3,0 3,1 3,2 3,3 3,4 3,5 3,6 3,7 3,8 3,9 Card, N. A. (2012). Applied meta-analysis for social science research. Guilford Publications. Dostupné z: https://books.google.cz/books?id=GC42CwAAQBAJ&pg=PR6&dq=Applied+Meta-Analysis+for+Social+Science+Research+2012&hl=cs&sa=X&ved=0ahUKEwjTx6f67uzVAhVBfhoKHSgcCTEQ6AEIKTAA#v=onepage&q=Applied%20Meta-Analysis%20for%20Social%20Science%20Research%202012&f=false
  4. ↑ Rosenthal, R., & DiMatteo, M. R. (2001). Meta-analysis: Recent developments in quantitative methods for literature reviews. Annual review of psychology, 52(1), 59-82.
  5. ↑ 5,0 5,1 5,2 5,3 Ferjenčík, J. (2000). Úvod do metodologie vědeckého výzkumu: Jak zkoumat lidskou duši. Praha: Portál.
  6. ↑ 6,0 6,1 Ellis, P. D. (2010). The essential guide to effect sizes: Statistical power, meta-analysis, and the interpretation of research results. Cambridge University Press.
  7. ↑ 7,0 7,1 Rosenthal, R. (1991). Meta-analytic procedures for social research (rev. ed.). Thousand Oaks, CA, US: Sage Publications, Inc.
  8. ↑ Chybná citace: Chyba v tagu <ref>; citaci označené MA není určen žádný text
  9. ↑ 9,0 9,1 9,2 Bastian, H. (2014). 5 key things to know about meta-analysis. In Scientificamerican.com. Retrieved April 7, 2016, from http://blogs.scientificamerican.com/absolutely-maybe/5-key-things-to-know-about-meta-analysis/
  10. ↑ 10,00 10,01 10,02 10,03 10,04 10,05 10,06 10,07 10,08 10,09 10,10 Chybná citace: Chyba v tagu <ref>; citaci označené Borenstein není určen žádný text
  11. ↑ Hartl, P., & Hartlová, H. (2000). Psychologický slovník. Praha: Portál.
  12. ↑ Light, R. J., & Pillemer, D. B. (1986). Summing Up: The Science of Reviewing Research Harvard University Press: Cambridge, MA, 1984, xiii+ 191 pp. Educational Researcher, 15(8), 16-17.
  13. ↑ Chybná citace: Chyba v tagu <ref>; citaci označené egger není určen žádný text
  14. ↑ Chybná citace: Chyba v tagu <ref>; citaci označené rosenthal79 není určen žádný text
  15. ↑ Duval, S., & Tweedie, R. (2000). Trim and fill: a simple funnel‐plot–based method of testing and adjusting for publication bias in meta‐analysis. Biometrics, 56(2), 455-463.
Citováno z „https://wikisofia.cz/w/index.php?title=21._Sekundární_analýza_dat_a_metaanalýza&oldid=49319“