A quem devemos ouvir quando falamos em Ouvir a Ciência?

As conclusões dos artigos científicos não deixam claras as incertezas envolvidas.
[Imagem: David Parkins/Nature/Divulgação]

O que a ciência tem a dizer

Ante a disseminação de notícias falsas e, sobretudo, dos movimentos antivacina, a imprensa tem repetido à exaustão a expressão "Ouvir a ciência" para expressar a necessidade de que ações, individuais ou coletivas, sejam baseadas em experimentos e argumentos bem fundamentados.

Mas será que os artigos científicos têm realmente uma palavra final a nos dar, de modo que possamos sempre basear nossas decisões nas conclusões dos cientistas?

Infelizmente, a questão é muito mais complicada do que gostaríamos que fosse.

Em um artigo esclarecedor, publicado nesta semana pela renomada revista científica Nature, um trio de cientistas da Universidade de Amsterdã, nos Países Baixos, mostra como as conclusões de um artigo científico, por mais arrazoadas que pareçam, nunca podem ser tomados como verdade definitiva.

A mensagem geral é que os cientistas sempre usam ferramentas e análises estatísticas para analisar seus dados; contudo, como diz o próprio nome do artigo da Nature, "uma análise estatística não deve descartar todas as outras".

Incertezas científicas

Eric-Jan Wagenmakers e seus colegas começam exemplificando com um caso recente, de 2020, quando o Grupo Científico de Influenza Pandêmica do Reino Unido pediu a nove equipes de cientistas que calculassem o famoso número R, que deveria mostrar o ritmo das infecções por covid-19. Cada equipe pôde escolher os dados (óbitos, internações hospitalares, taxas de testagem) e as abordagens de modelagem estatísticas que acham mais adequadas.

"Apesar da clareza da pergunta, a variabilidade das estimativas entre as equipes foi considerável," contam os pesquisadores, indo desde uma previsão otimista de que que cada 100 pessoas com covid-19 infectariam outras 96, o que indicaria que a pandemia estaria regredindo, até uma previsão de que cada 100 pessoas com covid-19 infectariam outras 182, o que indicaria que a pandemia estaria em uma expansão explosiva.

"Este e outros projetos de 'multianalistas' mostram que estatísticos independentes quase nunca usam o mesmo procedimento. No entanto, em campos que vão da ecologia à psicologia e da medicina à ciência dos materiais, uma única análise é considerada evidência suficiente para publicar uma descoberta e fazer uma afirmação forte," alertam os autores do artigo.

O problema é que essa afirmação forte é tomada pelo valor de face e vai parar na imprensa como verdade definitiva, embasando tomadas de decisão dos indivíduos e dos governos. A academia em si tem mecanismos para lidar com isso, incluindo de correções e retratações dos artigos até novos estudos que demonstram os erros de um outro. Mas essas correções quase nunca merecem o mesmo nível de atenção da imprensa, e população e tomadores de decisão continuam se pautando pela conclusão ("verdade científica") anunciada inicialmente.

• Por que estudos científicos chegam a conclusões diferentes?

Conclusões sob medida

E existem também problemas com ferramentas estatísticas específicas, como no caso do famoso valor-p, a probabilidade de se observar um valor nos dados maior ou igual ao encontrado. Tipicamente, os cientistas usam um valor de corte de 0,05 para rejeitar a hipótese nula, o que significa que um valor extremo nos dados é esperado em menos de 5% das vezes.

"Nos últimos dez anos, o conceito de "hackear o valor p" tornou os pesquisadores conscientes de como a capacidade de usar muitos procedimentos estatísticos válidos pode tentar os cientistas a selecionar aquele que leva à conclusão mais lisonjeira. Menos compreendido é como restringir as análises a uma única técnica efetivamente cega os pesquisadores para um importante aspecto da incerteza, fazendo com que os resultados pareçam mais precisos do que realmente são," explica a equipe.

Todos os cientistas sabem da incerteza intrínseca aos seus estudos, que podem advir desde do modo como os dados foram coletadas e da seleção da amostra, até questões de medição envolvendo equipamentos de laboratório. Mas ajustes "cuidadosos" no modo de calcular o valor p podem permitir estabelecer correlações entre fatores que o bom-senso dificilmente tentaria interligar.

É por isso que os autores do artigo da Nature defendem que todos os artigos científicos apresentem mais de uma técnica de análise de dados, o que permitirá separar mais facilmente a "ciência significativa" de artigos que não devem ser levados tão a sério.

"Nós argumentamos que o modo atual de publicação científica - que se contenta com uma única análise - consolida a 'miopia do modelo', uma consideração limitada de suposições estatísticas. Isso leva a excesso de confiança e previsões ruins," escreve a equipe.

E, depois de analisar inúmeros outros casos de análises estatísticas que levam a conclusões ruins ("pouco científicas"), a equipe conclui: "Nós argumentamos que rejeitar a visão multianalista seria como Neo optar pela pílula azul no filme Matrix, e assim continuar sonhando com uma realidade reconfortante, mas falsa. Os cientistas e a sociedade estarão melhor servidos ao confrontar a potencial fragilidade dos resultados estatísticos relatados. É fundamental que os pesquisadores e a sociedade tenham uma indicação dessa fragilidade a partir do momento em que os resultados são publicados, principalmente quando esses resultados têm ramificações no mundo real. Projetos recentes envolvendo múltiplos analistas sugerem que qualquer análise isolada produzirá conclusões que são excessivamente confiantes e pouco representativas. No geral, o benefício de uma maior percepção superará o esforço extra."

• "Ciência forense" ainda tem pouco de ciência