Revistas acadêmicas e a imprensa regularmente servem novas ajudas de descobertas fascinantes de pesquisas psicológicas. Mas quantos desses experimentos produziriam os mesmos resultados pela segunda vez?
Conteúdo Relacionado
- Estudos de ciências biomédicas são chocantemente difíceis de reproduzir
- Estudos com títulos mais curtos são citados com mais frequência
- Por que poucos cientistas estão estudando as causas da violência armada?
De acordo com o trabalho apresentado hoje na Science, menos da metade dos 100 estudos publicados em 2008 em três principais periódicos de psicologia poderiam ser replicados com sucesso. O esforço internacional incluiu 270 cientistas que repassaram os estudos de outras pessoas como parte do The Reproducibility Project: Psychology, liderado por Brian Nosek, da Universidade da Virgínia.
Os resultados reveladores não significam necessariamente que os achados originais estavam incorretos ou que o processo científico é falho. Quando um estudo encontra um efeito que um segundo estudo não pode replicar, existem várias razões possíveis, diz o co-autor Cody Christopherson da Southern Oregon University. O resultado do Estudo A pode ser falso, ou os resultados do Estudo B podem ser falsos - ou pode haver algumas diferenças sutis na forma como os dois estudos foram conduzidos que impactaram os resultados.
“Este projeto não é evidência de que algo está quebrado. Pelo contrário, é um exemplo de ciência fazendo o que a ciência faz ”, diz Christopherson. “É impossível estar errado em um sentido final na ciência. Você tem que estar temporariamente errado, talvez muitas vezes, antes de estar certo.
Em todas as ciências, a pesquisa é considerada reproduzível quando uma equipe independente pode conduzir um experimento publicado, seguindo os métodos originais o mais próximo possível, e obter os mesmos resultados. É uma parte fundamental do processo de construção de evidências para apoiar teorias. Ainda hoje, 100 anos depois que Albert Einstein apresentou sua teoria geral da relatividade, os cientistas repetem regularmente testes de suas previsões e procuram casos em que sua famosa descrição da gravidade não se aplica.
"A evidência científica não se baseia na confiança da pessoa que fez a descoberta", disse Angela Attwood, professora de psicologia da Universidade de Bristol, em comunicado. "A credibilidade se acumula através da replicação e elaboração independentes das idéias. e evidência ".
O Projecto de Reprodutibilidade, um esforço de crowdsourcing baseado na comunidade, começou em 2011 para testar o quão bem esta medida de credibilidade se aplica a pesquisas recentes em psicologia. Cientistas, alguns recrutados e alguns voluntários, revisaram um conjunto de estudos e selecionaram um para replicação que correspondeu a seu próprio interesse e experiência. Seus dados e resultados foram compartilhados on-line e analisados e analisados por outros cientistas participantes para inclusão no grande estudo da Science .
Para ajudar a melhorar a pesquisa futura, a análise do projeto tentou determinar quais tipos de estudos obtiveram o melhor resultado e por quê. Eles descobriram que resultados surpreendentes eram os mais difíceis de reproduzir, e que a experiência ou experiência dos cientistas que conduziram os experimentos originais tinha pouco a ver com a replicação bem-sucedida.
Os resultados também ofereceram algum suporte para a ferramenta estatística freqüentemente criticada conhecida como Valor P, que mede se um resultado é significativo ou devido ao acaso. Um valor mais alto significa que um resultado é provavelmente um acaso, enquanto um valor menor significa que o resultado é estatisticamente significativo.
A análise do projeto mostrou que um baixo valor de P era bastante preditivo de quais estudos de psicologia poderiam ser replicados. Vinte dos 32 estudos originais com um valor P inferior a 0, 001 poderiam ser replicados, por exemplo, enquanto apenas dois dos 11 artigos com um valor maior que 0, 04 foram replicados com sucesso.
Mas Christopherson suspeita que a maioria de seus co-autores não gostaria que o estudo fosse tomado como um endosso dos valores de P, porque eles reconhecem as limitações da ferramenta. E pelo menos um problema de valor P foi destacado na pesquisa: Os estudos originais tiveram relativamente pouca variabilidade no valor de P, porque a maioria dos periódicos estabeleceu um ponto de corte de 0, 05 para publicação. O problema é que o valor pode ser alcançado ao ser seletivo sobre conjuntos de dados, o que significa que os cientistas que buscam replicar um resultado também devem considerar cuidadosamente os métodos e os dados usados no estudo original.
Ainda não está claro se a psicologia pode ser um campo particularmente difícil para a reprodutibilidade - um estudo semelhante está atualmente em andamento na pesquisa da biologia do câncer. Enquanto isso, Christopherson espera que o esforço massivo estimule mais essas verificações duplas e revisitações de pesquisas anteriores para auxiliar o processo científico.
“Acertar significa regularmente revisitar suposições passadas e resultados passados e encontrar novas maneiras de testá-los. A única maneira pela qual a ciência é bem-sucedida e credível é se ela for autocrítica ”, observa ele.
Infelizmente, há desincentivos em buscar esse tipo de pesquisa, ele diz: “Para ser contratado e promovido na academia, você deve publicar pesquisas originais, de modo que as replicações diretas são mais raras. Espero que daqui para frente as universidades e agências financiadoras responsáveis por incentivar essa pesquisa - e os meios de comunicação que as cobrem - perceberão que fizeram parte do problema, e que a replicação desvalorizadora criou uma literatura menos estável do que nós. gostaria.
