Many Labs 5: Testing Pre-Data-Collection Peer Review as an Intervention to Increase Replicability - HAL-SHS - Sciences de l'Homme et de la Société Accéder directement au contenu
Article Dans Une Revue Advances in Methods and Practices in Psychological Science Année : 2020

Many Labs 5: Testing Pre-Data-Collection Peer Review as an Intervention to Increase Replicability

Hans Ijzerman (1) , Charles Ebersole , Maya Mathur , Erica Baranski , Diane-Jo Bart-Plange , Nicholas Buttrick , Christopher Chartier , Katherine Corker , Martin Corley , Joshua Hartshorne , Ljiljana Lazarević , Hugh Rabagliati , Ivan Ropovik , Balazs Aczel , Lena Aeschbach , Luca Andrighetto , Jack Arnal , Holly Arrow , Peter Babincak , Bence Bakos , Gabriel Baník , Ernest Baskin , Radomir Belopavlović , Michael Bernstein , Michał Białek , Nicholas Bloxsom , Bojana Bodroža , Diane Bonfiglio , Leanne Boucher , Florian Brühlmann , Claudia Brumbaugh , Erica Casini , Yiling Chen , Carlo Chiorri , William Chopik , Oliver Christ , Antonia Ciunci , Heather Claypool , Sean Coary , Marija Čolić , W. Matthew Collins , Paul Curran , Chris Day , Benjamin Dering , Anna Dreber , John Edlund , Filipe Falcão , Anna Fedor , Lily Feinberg , Ian Ferguson , Máire Ford , Michael Frank , Emily Fryberger , Alexander Garinther , Katarzyna Gawryluk , Kayla Ashbaugh , Mauro Giacomantonio , Steffen Giessner , Jon Grahe , Rosanna Guadagno , Ewa Hałasa , Peter Hancock , Rias Hilliard , Joachim Hüffmeier , Sean Hughes , Katarzyna Idzikowska , Michael Inzlicht , Alan Jern , William Jiménez-Leal , Magnus Johannesson , Jennifer Joy-Gaba , Mathias Kauff , Danielle Kellier , Grecia Kessinger , Mallory Kidwell , Amanda Kimbrough , Josiah King , Vanessa Kolb , Sabina Kołodziej , Marton Kovacs , Karolina Krasuska , Sue Kraus , Lacy Krueger , Katarzyna Kuchno , Caio Ambrosio Lage , Eleanor Langford , Carmel Levitan , Tiago Jessé Souza de Lima , Hause Lin , Samuel Lins , Jia Loy , Dylan Manfredi , Łukasz Markiewicz , Madhavi Menon , Brett Mercier , Mitchell Metzger , Venus Meyet , Ailsa Millen , Jeremy Miller , Andres Montealegre , Don Moore , Rafał Muda , Gideon Nave , Austin Lee Nichols , Sarah Novak , Christian Nunnally , Ana Orlić , Anna Palinkas , Angelo Panno , Kimberly Parks , Ivana Pedović , Emilian Pękala , Matthew Penner , Sebastiaan Pessers , Boban Petrović , Thomas Pfeiffer , Damian Pieńkosz , Emanuele Preti , Danka Purić , Tiago Ramos , Jonathan Ravid , Timothy Razza , Katrin Rentzsch , Juliette Richetin , Sean Rife , Anna Dalla Rosa , Kaylis Hase Rudy , Janos Salamon , Blair Saunders , Przemysław Sawicki , Kathleen Schmidt , Kurt Schuepfer , Thomas Schultze , Stefan Schulz-Hardt , Astrid Schütz , Ani Shabazian , Rachel Shubella , Adam Siegel , Rúben Silva , Barbara Sioma , Lauren Skorb , Luana Elayne Cunha de Souza , Sara Steegen , L. Stein , R. Weylin Sternglanz , Darko Stojilović , Daniel Storage , Gavin Brent Sullivan , Barnabas Szaszi , Peter Szecsi , Orsolya Szöke , Attila Szuts , Manuela Thomae , Natasha Tidwell , Carly Tocco , Ann-Kathrin Torka , Francis Tuerlinckx , Wolf Vanpaemel , Leigh Ann Vaughn , Michelangelo Vianello , Domenico Viganola , Maria Vlachou , Ryan Walker , Sophia Weissgerber , Aaron Wichman , Bradford Wiggins , Daniel Wolf , Michael Wood , David Zealley , Iris Žeželj , Mark Zrubka , Brian Nosek
Charles Ebersole
Maya Mathur
  • Fonction : Auteur
Erica Baranski
Diane-Jo Bart-Plange
  • Fonction : Auteur
Nicholas Buttrick
  • Fonction : Auteur
Christopher Chartier
Katherine Corker
  • Fonction : Auteur
Martin Corley
  • Fonction : Auteur
Joshua Hartshorne
  • Fonction : Auteur
Ljiljana Lazarević
  • Fonction : Auteur
Hugh Rabagliati
  • Fonction : Auteur
Ivan Ropovik
Balazs Aczel
Lena Aeschbach
  • Fonction : Auteur
Luca Andrighetto
  • Fonction : Auteur
Jack Arnal
Holly Arrow
  • Fonction : Auteur
Peter Babincak
Bence Bakos
  • Fonction : Auteur
Gabriel Baník
Ernest Baskin
Radomir Belopavlović
  • Fonction : Auteur
Michael Bernstein
  • Fonction : Auteur
Michał Białek
Nicholas Bloxsom
  • Fonction : Auteur
Bojana Bodroža
  • Fonction : Auteur
Diane Bonfiglio
  • Fonction : Auteur
Leanne Boucher
Florian Brühlmann
  • Fonction : Auteur
Claudia Brumbaugh
  • Fonction : Auteur
Erica Casini
  • Fonction : Auteur
Yiling Chen
  • Fonction : Auteur
Carlo Chiorri
  • Fonction : Auteur
William Chopik
Oliver Christ
  • Fonction : Auteur
Antonia Ciunci
  • Fonction : Auteur
Heather Claypool
  • Fonction : Auteur
Sean Coary
  • Fonction : Auteur
Marija Čolić
  • Fonction : Auteur
W. Matthew Collins
Paul Curran
  • Fonction : Auteur
Chris Day
  • Fonction : Auteur
Benjamin Dering
  • Fonction : Auteur
Anna Dreber
  • Fonction : Auteur
John Edlund
  • Fonction : Auteur
Filipe Falcão
  • Fonction : Auteur
Anna Fedor
  • Fonction : Auteur
Lily Feinberg
  • Fonction : Auteur
Ian Ferguson
  • Fonction : Auteur
Máire Ford
  • Fonction : Auteur
Michael Frank
Emily Fryberger
  • Fonction : Auteur
Alexander Garinther
  • Fonction : Auteur
Katarzyna Gawryluk
  • Fonction : Auteur
Kayla Ashbaugh
  • Fonction : Auteur
Mauro Giacomantonio
  • Fonction : Auteur
Steffen Giessner
  • Fonction : Auteur
Jon Grahe
  • Fonction : Auteur
Rosanna Guadagno
  • Fonction : Auteur
Ewa Hałasa
  • Fonction : Auteur
Peter Hancock
  • Fonction : Auteur
Rias Hilliard
  • Fonction : Auteur
Joachim Hüffmeier
  • Fonction : Auteur
Sean Hughes
  • Fonction : Auteur
Katarzyna Idzikowska
Michael Inzlicht
Alan Jern
  • Fonction : Auteur
William Jiménez-Leal
Magnus Johannesson
Jennifer Joy-Gaba
Mathias Kauff
  • Fonction : Auteur
Danielle Kellier
  • Fonction : Auteur
Grecia Kessinger
  • Fonction : Auteur
Mallory Kidwell
  • Fonction : Auteur
Amanda Kimbrough
  • Fonction : Auteur
Josiah King
  • Fonction : Auteur
Vanessa Kolb
  • Fonction : Auteur
Sabina Kołodziej
  • Fonction : Auteur
Marton Kovacs
Karolina Krasuska
  • Fonction : Auteur
Sue Kraus
  • Fonction : Auteur
Lacy Krueger
  • Fonction : Auteur
Katarzyna Kuchno
  • Fonction : Auteur
Caio Ambrosio Lage
  • Fonction : Auteur
Eleanor Langford
  • Fonction : Auteur
Carmel Levitan
Tiago Jessé Souza de Lima
  • Fonction : Auteur
Hause Lin
Samuel Lins
Jia Loy
  • Fonction : Auteur
Dylan Manfredi
  • Fonction : Auteur
Łukasz Markiewicz
Madhavi Menon
  • Fonction : Auteur
Brett Mercier
  • Fonction : Auteur
Mitchell Metzger
  • Fonction : Auteur
Venus Meyet
  • Fonction : Auteur
Ailsa Millen
  • Fonction : Auteur
Jeremy Miller
Andres Montealegre
  • Fonction : Auteur
Don Moore
  • Fonction : Auteur
Rafał Muda
  • Fonction : Auteur
Gideon Nave
  • Fonction : Auteur
Austin Lee Nichols
  • Fonction : Auteur
Sarah Novak
  • Fonction : Auteur
Christian Nunnally
  • Fonction : Auteur
Ana Orlić
  • Fonction : Auteur
Anna Palinkas
  • Fonction : Auteur
Angelo Panno
  • Fonction : Auteur
Kimberly Parks
  • Fonction : Auteur
Ivana Pedović
  • Fonction : Auteur
Emilian Pękala
  • Fonction : Auteur
Matthew Penner
  • Fonction : Auteur
Sebastiaan Pessers
  • Fonction : Auteur
Boban Petrović
  • Fonction : Auteur
Thomas Pfeiffer
  • Fonction : Auteur
Damian Pieńkosz
  • Fonction : Auteur
Emanuele Preti
  • Fonction : Auteur
Danka Purić
Tiago Ramos
  • Fonction : Auteur
Jonathan Ravid
  • Fonction : Auteur
Timothy Razza
  • Fonction : Auteur
Katrin Rentzsch
  • Fonction : Auteur
Juliette Richetin
  • Fonction : Auteur
Sean Rife
  • Fonction : Auteur
Anna Dalla Rosa
Kaylis Hase Rudy
  • Fonction : Auteur
Janos Salamon
  • Fonction : Auteur
Blair Saunders
  • Fonction : Auteur
Przemysław Sawicki
Kathleen Schmidt
Kurt Schuepfer
  • Fonction : Auteur
Thomas Schultze
  • Fonction : Auteur
Stefan Schulz-Hardt
  • Fonction : Auteur
Astrid Schütz
  • Fonction : Auteur
Ani Shabazian
  • Fonction : Auteur
Rachel Shubella
  • Fonction : Auteur
Adam Siegel
  • Fonction : Auteur
Rúben Silva
  • Fonction : Auteur
Barbara Sioma
  • Fonction : Auteur
Lauren Skorb
  • Fonction : Auteur
Luana Elayne Cunha de Souza
  • Fonction : Auteur
Sara Steegen
  • Fonction : Auteur
L. Stein
  • Fonction : Auteur
R. Weylin Sternglanz
  • Fonction : Auteur
Darko Stojilović
  • Fonction : Auteur
Daniel Storage
Gavin Brent Sullivan
  • Fonction : Auteur
Barnabas Szaszi
Peter Szecsi
Orsolya Szöke
  • Fonction : Auteur
Attila Szuts
  • Fonction : Auteur
Manuela Thomae
  • Fonction : Auteur
Natasha Tidwell
  • Fonction : Auteur
Carly Tocco
  • Fonction : Auteur
Ann-Kathrin Torka
  • Fonction : Auteur
Francis Tuerlinckx
  • Fonction : Auteur
Wolf Vanpaemel
Leigh Ann Vaughn
Michelangelo Vianello
Domenico Viganola
  • Fonction : Auteur
Maria Vlachou
  • Fonction : Auteur
Ryan Walker
  • Fonction : Auteur
Sophia Weissgerber
Aaron Wichman
Bradford Wiggins
  • Fonction : Auteur
Daniel Wolf
  • Fonction : Auteur
Michael Wood
David Zealley
  • Fonction : Auteur
Iris Žeželj
Mark Zrubka
  • Fonction : Auteur
Brian Nosek
  • Fonction : Auteur

Résumé

Replication studies in psychological science sometimes fail to reproduce prior findings. If these studies use methods that are unfaithful to the original study or ineffective in eliciting the phenomenon of interest, then a failure to replicate may be a failure of the protocol rather than a challenge to the original finding. Formal pre-data-collection peer review by experts may address shortcomings and increase replicability rates. We selected 10 replication studies from the Reproducibility Project: Psychology (RP:P; Open Science Collaboration, 2015) for which the original authors had expressed concerns about the replication designs before data collection; only one of these studies had yielded a statistically significant effect ( p < .05). Commenters suggested that lack of adherence to expert review and low-powered tests were the reasons that most of these RP:P studies failed to replicate the original effects. We revised the replication protocols and received formal peer review prior to conducting new replication studies. We administered the RP:P and revised protocols in multiple laboratories (median number of laboratories per original study = 6.5, range = 3–9; median total sample = 1,279.5, range = 276–3,512) for high-powered tests of each original finding with both protocols. Overall, following the preregistered analysis plan, we found that the revised protocols produced effect sizes similar to those of the RP:P protocols (Δ r = .002 or .014, depending on analytic approach). The median effect size for the revised protocols ( r = .05) was similar to that of the RP:P protocols ( r = .04) and the original RP:P replications ( r = .11), and smaller than that of the original studies ( r = .37). Analysis of the cumulative evidence across the original studies and the corresponding three replication attempts provided very precise estimates of the 10 tested effects and indicated that their effect sizes (median r = .07, range = .00–.15) were 78% smaller, on average, than the original effect sizes (median r = .37, range = .19–.50).

Dates et versions

hal-03373764 , version 1 (11-10-2021)

Identifiants

Citer

Hans Ijzerman, Charles Ebersole, Maya Mathur, Erica Baranski, Diane-Jo Bart-Plange, et al.. Many Labs 5: Testing Pre-Data-Collection Peer Review as an Intervention to Increase Replicability. Advances in Methods and Practices in Psychological Science, 2020, 3 (3), pp.309-331. ⟨10.1177/2515245920958687⟩. ⟨hal-03373764⟩
23 Consultations
0 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More