Replicar estudos de psicologia requer bom-senso e comunicação

A falha na reprodutibilidade de experimentos científicos atingiu também as tentativas de uso de camundongos para estudar doença de Stephen Hawking e as pesquisas para tratar doenças do coração.
[Imagem: Wikipedia/Rama]

Replicação de estudos em Psicologia

No ano passado, o Projeto Reprodutibilidade, uma colaboração internacional entre pesquisadores de psicologia, tentou replicar os resultados de 100 estudos previamente publicados. A equipe foi capaz de repetir os resultados de apenas 39% desses experimentos, levantando questões sobre a validade dos estudos originais.

Contudo, em março último, uma equipe das universidades de Harvard e Virgínia (EUA) publicou uma crítica na revista Science, levantando dúvidas sobre as conclusões do Projeto Reprodutibilidade. Eles demonstraram que a análise crítica estava estatisticamente falha e que vários estudos de replicação foram mal projetados.

Agora, pesquisadores da Universidade de Nova Iorque (EUA) adotaram uma abordagem diferente: eles se concentraram na natureza do tema de pesquisa dos estudos originais e analisaram novamente todos os 100 artigos que o Projeto Reprodutibilidade tentou replicar.

Sensibilidade contextual

A equipe avaliou a medida em que os efeitos relatados nos estudos originais eram susceptíveis de ser influenciados por fatores contextuais, tais como o tempo (por exemplo, pré vs pós-aposentadoria), da cultura (por exemplo, cultura ocidental vs oriental), localização (por exemplo, ambiente rural vs urbano), ou da população (por exemplo, uma população racialmente diversa vs uma população predominantemente branca).

Em outras palavras, eles avaliaram a sensibilidade contextual dos temas nos 100 estudos originais. A análise seguiu parâmetros metodológicos estritos, com os pesquisadores "cegos" para os resultados das tentativas de replicação do Projeto Reprodutibilidade.

Os resultados mostraram que as classificações de contexto previram com precisão o sucesso da replicação do estudo mesmo após ajustes estatísticos para fatores metodológicos, como o tamanho do efeito e a significância estatística.

Especificamente, estudos com altas classificações de sensibilidade contextual - onde, por exemplo, alterar a raça ou a localização geográfica dos participantes poderia alterar os resultados - são menos propensos a ser reproduzidos em outras condições.

No campo da biologia, o genoma do camundongo mostrou deficiências em seu uso como modelo animal para estudo de doenças humanas.
[Imagem: NIH]

Reprodução de experimentos científicos

Jay Van Bavel e seus colegas, que assinam o novo estudo, publicado pela revista Pnas, observam que desafios para a replicação de experimentos científicos não estão restritos à psicologia, e remontam a centenas de anos.

Por exemplo, Isaac Newton alegou que seus contemporâneos não foram capazes de replicar sua pesquisa sobre o espectro das cores de luz devido a prismas ruins. Depois que o própio Newton enviou prismas melhores aos outros cientistas, eles foram capazes de reproduzir seus resultados.

Nos tempos modernos, estudos utilizando camundongos e ratos - são duas espécies diferentes - podem ser prejudicados por diferenças ambientais sutis, tais como alimentos, abrigo e luz, que podem afetar os processos biológicos e químicos que determinam se os tratamentos experimentais têm sucesso ou falham.

E, para evitar novos mal-entendidos, os pesquisadores recomendam uma atitude simples para quem quiser tentar reproduzir experimentos de outras equipes: entrar em contato com a equipe que fez o estudo original e pedir detalhes sobre como o experimento foi feito.