Início » Uma ciência chamada Psicologia » Replicação experimental em Psicologia: ManyLabs Project

Replicação experimental em Psicologia: ManyLabs Project

download

Motivado pela pré-publicação feita ontem do projeto ManyLabs no site da OSF, bem como pela repercussão do mesmo em blogs especializados em ciência da Nature e National Geographic resolvi publicar mais um post do meu blog especificamente sobre este tema tão caro na ciência, mas raramente realizado em Psicologia.

A ciência é auto-corretiva e seus resultados são largamente colocados sob escrutínio da comunidade científica. Estas são duas afirmações tidas como verdadeiras e provavelmente tratadas como características da ciência no mais introdutório dos cursos sobre método científico. Mas, pelo que tudo indica, uma parte muito relevante deste trabalho de auto-correção tem sido deixado de lado na Psicologia: a replicação. Vários são os motivos que levam a uma primazia de linhas editoriais nos principais journals da área que esperam exclusivamente por resultados significativos (baseado na lógica do teste de hipótese que, em uma grande quantidade de vezes, são falsos positivos) e que tragam explicitamente algum tipo de novo conhecimento e, parece, que quanto mais ‘sexy’ for este novo conhecimento melhor. Isto, aliado a práticas de gestão acadêmica que favorecem este tipo de produção relegam ao desprezo as ações de replicação, essenciais em uma real agenda positiva para a Psicologia.

Esta recuperação da importância de ações de replicação não é uma discussão recente na área, mas ganhou um reforço significativo nos últimos três anos graças a ocorrência de casos escabrosos de fraude, do viés de publicações ‘positivas’ devido ao critério exclusivo baseado no teste de hipótese nula, o emprego de práticas questionáveis de pesquisa por boa parte da comunidade científica, entre outras questões relacionadas (deixo ao final deste post uma lista de textos publicados em periódicos científicos que tem discutido aprofudadamente estas questões).

O que é gratificante ver neste momento de amadurecimento da ciência psicológica são as mudanças já em curso e o desenvolvimento de iniciativas que buscam implementar replicações de efeitos experimentais já publicados. No caso específico do Manylabs foi extremamente gratificante ter composto a equipe de uma iniciativa única de replicação, que evolveu 12 países e 36 laboratórios executando o mesmo protocolo de replicação experimental. Lamentavelmente fomos o único laboratório brasileiro a tomar parte na iniciativa. Isto é lamentável porque somos uma nação subestudada em relação a grande maioria dos efeitos experimentais em Psicologia, efeitos estes que, invariavelmente, ensinamos em nossas salas de aula. Seria muito salutar que a comunidade brasileira de psicologia se envolvesse em tais iniciativas (seja como proponentes ou como colaboradores), não só por serem possibilidades de cooperação internacional, mas por mostrarem amadurecimento da pesquisa feita por aqui, contribuindo para uma melhor compreensão de como os processos psicológicos ocorrem em ‘nossos’ participantes.

O modelo do projeto Manylabs é uma prática relevante de como conduzir ações de replicação colaborativas. A forma de entrega dos procedimentos aos participantes, bem como o zelo e cuidado na composição da equipe para a adaptação de estímulos e os cuidados na coleta de dados é fundamental para um projeto com grande êxito como este. Também foi importante a escolha dos efeitos a serem replicados, que não ficaram circunscritos a uma subárea da psicologia, além das estratégias de análise de dados empregadas, úteis e focadas no que é necessário em um trabalho de replicação.

Espero que este modelo colaborativo passe a ser mais frequente na pesquisa em psicologia, não apenas para replicar efeitos já publicados, mas em trabalhos colaborativos para a robustes de novos efeitos encontrados. É óbvio que a pesquisa agora não deve se restringir a ações de replicação, pois o novo conhecimento deve continuar a ser o mote de uma ciência, mas espero que este ‘renascimento’ da importância da replicação na agenda da pesquisa psicológica, bem como o propósito de uma ciência aberta e que valorize efetivamente a produção de conhecimento e não o carreirismo dos pesquisadores, ajude a produzir uma ciência mehor.

O relatório final do Manylabs será publicado em breve no número especial sobre replicações pré-registradas do journal Social Psychology. Mas o relatório completo, assim como todos os materiais suplementares necessários aos interessados, podem ser encontrados no site do ManyLabs na OSF. Por sinal, como modelo e princípio de ciência aberta, nada mais natural do que este formato de pré-publicação.

É possível e viável realizar pesquisa experimental de replicação no Brasil, basta para tanto que os colegas encampem esta ação em suas agendas de trabalho!

Um breve update em 27/11/2013. A Science acaba de publicar uma notícia sobre o projeto também. Para acessar clique aqui.

Referencias prometidas no post:

Asendorpf, J. B., Conner, M., De Fruyt, F., De Houwer, J., Denissen, J. J. A., Fiedler, K., … Wicherts, J. M. (2013). Recommendations for Increasing Replicability in Psychology. European Journal of Personality, 27(2), 108–119. doi:10.1002/per.1919

Bakker, M., van Dijk, a., & Wicherts, J. M. (2012). The Rules of the Game Called Psychological Science. Perspectives on Psychological Science, 7(6), 543–554. doi:10.1177/1745691612459060

Collaboration, O. S. (2012). An Open, Large-Scale, Collaborative Effort to Estimate the Reproducibility of Psychological Science. Perspectives on Psychological Science, 7(6), 657–660. doi:10.1177/1745691612462588

Collaboration, O. S. (2013). The Reproducibility Project: A Model of Large-Scale Collaboration for Empirical Research on Reproducibility. SSRN Electronic Journal, 1–39. doi:10.2139/ssrn.2195999

Ferguson, C. J., & Heene, M. (2012). A Vast Graveyard of Undead Theories: Publication Bias and Psychological Science’s Aversion to the Null. Perspectives on Psychological Science, 7(6), 555–561. doi:10.1177/1745691612459059

Fiedler, K., Kutzner, F., & Krueger, J. I. (2012). The Long Way From  -Error Control to Validity Proper: Problems With a Short-Sighted False-Positive Debate. Perspectives on Psychological Science, 7(6), 661–669. doi:10.1177/1745691612462587

Francis, G. (2012). The Psychology of Replication and Replication in Psychology. Perspectives on Psychological Science, 7(6), 585–594. doi:10.1177/1745691612459520

Frank, M. C., & Saxe, R. (2012). Teaching Replication. Perspectives on Psychological Science, 7(6), 600–604. doi:10.1177/1745691612460686

Fuchs, H. M., Jenny, M., & Fiedler, S. (2012). Psychologists Are Open to Change, yet Wary of Rules. Perspectives on Psychological Science, 7(6), 639–642. doi:10.1177/1745691612459521

Giner-Sorolla, R. (2012). Science or Art? How Aesthetic Standards Grease the Way Through the Publication Bottleneck but Undermine Science. Perspectives on Psychological Science, 7(6), 562–571. doi:10.1177/1745691612457576

Gullo, M. J., & O’Gorman, J. G. (2012). DSM-5 Task Force Proposes Controversial Diagnosis for Dishonest Scientists. Perspectives on Psychological Science, 7(6), 689–689. doi:10.1177/1745691612460689

Ioannidis, J. P. a. (2012). Why Science Is Not Necessarily Self-Correcting. Perspectives on Psychological Science, 7(6), 645–654. doi:10.1177/1745691612464056

John, L. K., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological science, 23(5), 524–32. doi:10.1177/0956797611430953

Klein, O., Doyen, S., Leys, C., Magalhaes de Saldanha da Gama, P. a., Miller, S., Questienne, L., & Cleeremans, a. (2012). Low Hopes, High Expectations: Expectancy Effects and the Replicability of Behavioral Experiments. Perspectives on Psychological Science, 7(6), 572–584. doi:10.1177/1745691612463704

Koole, S. L., & Lakens, D. (2012). Rewarding Replications: A Sure and Simple Way to Improve Psychological Science. Perspectives on Psychological Science, 7(6), 608–614. doi:10.1177/1745691612462586

Makel, M. C., Plucker, J. a., & Hegarty, B. (2012). Replications in Psychology Research: How Often Do They Really Occur? Perspectives on Psychological Science, 7(6), 537–542. doi:10.1177/1745691612460688

Nosek, B. a., Spies, J. R., & Motyl, M. (2012). Scientific Utopia: II. Restructuring Incentives and Practices to Promote Truth Over Publishability. Perspectives on Psychological Science, 7(6), 615–631. doi:10.1177/1745691612459058

Pashler, H., & Harris, C. R. (2012). Is the Replicability Crisis Overblown? Three Arguments Examined. Perspectives on Psychological Science, 7(6), 531–536. doi:10.1177/1745691612463401

Pashler, H., & Wagenmakers, E.-J. (2012). Editors’ Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence? Perspectives on Psychological Science, 7(6), 528–530. doi:10.1177/1745691612465253

Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological science, 22(11), 1359–66. doi:10.1177/0956797611417632

Simonsohn, U. (2012). It Does Not Follow: Evaluating the One-Off Publication Bias Critiques by Francis (2012a, 2012b, 2012c, 2012d, 2012e, in press). Perspectives on Psychological Science, 7(6), 597–599. doi:10.1177/1745691612463399

Spellman, B. a. (2012). Introduction to the Special Section on Research Practices. Perspectives on Psychological Science, 7(6), 655–656. doi:10.1177/1745691612465075

Stroebe, W., Postmes, T., & Spears, R. (2012). Scientific Misconduct and the Myth of Self-Correction in Science. Perspectives on Psychological Science, 7(6), 670–688. doi:10.1177/1745691612460687

Tinghög, G., Andersson, D., Bonn, C., Böttiger, H., Josephson, C., Lundgren, G., … Johannesson, M. (2013). Intuition and cooperation reconsidered. Nature, 498(7452), E1–E2. doi:10.1038/nature12194

Wagenmakers, E.-J., Wetzels, R., Borsboom, D., van der Maas, H. L. J., & Kievit, R. a. (2012). An Agenda for Purely Confirmatory Research. Perspectives on Psychological Science, 7(6), 632–638. doi:10.1177/1745691612463078


Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google

Você está comentando utilizando sua conta Google. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s

%d blogueiros gostam disto: