IA e Revisores: Uma Colaboração Eficiente

Um estudo recente trouxe à tona uma questão central no mundo da ciência: quem é mais preciso na coleta de dados para grandes pesquisas, como as revisões sistemáticas: a inteligência artificial (IA) ou os cientistas humanos? A resposta é mais complexa e colaborativa do que um simples “versus”. Embora a IA esteja se mostrando uma ferramenta poderosa, o estudo reforça que a experiência e o julgamento humano continuam sendo insubstituíveis.

A extração de dados é uma das etapas mais críticas, demoradas e suscetíveis a erros na elaboração de revisões sistemáticas. Um estudo prospectivo avaliou um fluxo de trabalho assistido por IA em seis revisões sistemáticas em andamento, comparando-o ao método tradicional realizado exclusivamente por humanos. Os resultados mostram que, em vez de uma competição, o futuro da pesquisa de alta qualidade reside na sinergia entre a inteligência artificial e a humana.

O Papel Indispensável do Pesquisador Humano

O estudo deixa claro que uma abordagem totalmente automatizada, sem supervisão humana, é improvável de ser adotada em um futuro próximo para a síntese de evidências. A supervisão humana foi um pilar em ambas as abordagens testadas:

• Equipe Tradicional: Um pesquisador extraía os dados e um segundo verificava a precisão e a integridade.

• Equipe Assistida por IA: Um modelo de linguagem ampla (LLM), como o Claude, realizava a extração inicial, mas um pesquisador humano era responsável por revisar, corrigir e validar cada informação.

Essa supervisão é crucial porque, embora a tecnologia avance, a capacidade humana de interpretar contextos complexos, identificar nuances e tomar decisões subjetivas ainda é fundamental.

Fatores Favoráveis ao Uso da IA na Extração de Dados

A integração da IA no processo de revisão sistemática apresenta vantagens significativas:

1. Maior Eficiência e Economia de Tempo: A extração de dados é um processo trabalhoso, levando em média 107 minutos por estudo no método tradicional. No estudo, a abordagem assistida por IA economizou uma mediana de 41 minutos por estudo em comparação com a extração apenas humana (84 vs. 125 minutos). Em cinco das seis revisões analisadas, o método com IA foi mais rápido. Essa economia permite que os pesquisadores foquem em tarefas mais analíticas e interpretativas.

2. Redução de Erros Gerais: Surpreendentemente, a abordagem assistida por IA apresentou uma taxa de erros menor (9,0%) em comparação com a equipe exclusivamente humana (11,0%). Isso desafia a ideia de que o processo humano é infalível e destaca que mesmo pesquisadores experientes podem cometer erros, como omissões ou equívocos na inserção de dados.

3. Alta Precisão nas Extrações Realizadas: A “precisão” do método com IA foi de 98,9%, o que significa que, quando a IA extraiu um dado, ela quase sempre o fez corretamente. Isso demonstra a confiabilidade do modelo para identificar e registrar informações corretamente quando consegue encontrá-las.

Fatores Desfavoráveis e Desafios da IA

Apesar dos benefícios, a implementação da IA não é isenta de desafios e requer atenção especial dos pesquisadores:

1. Risco de Omissão de Dados: O erro mais comum, tanto para a IA quanto para os humanos, foi a omissão de dados (dados que estavam no estudo original, mas não foram extraídos). A equipe assistida por IA omitiu dados em 5,5% dos casos, um número próximo ao da equipe humana (6,2%). Isso mostra que a supervisão humana é vital para garantir que nenhuma informação crucial seja perdida.

2. Variação de Desempenho por Tipo de Dado: A IA demonstrou desempenho variado dependendo da natureza da informação. A concordância entre os métodos foi maior para extrair características do estudo (83,3%) e menor para extrair dados de resultados (75,9%). Além disso, a IA foi mais precisa com dados de texto (“string”) do que com dados numéricos ou mistos, que exigem maior contexto para interpretação.

3. Necessidade de Expertise em Prompt Engineering: Para obter resultados precisos da IA, é preciso criar “prompts” (instruções) claros e detalhados. A equipe que usou a IA precisou de uma fase piloto para desenvolver e refinar esses prompts, uma etapa adicional que exige tempo e habilidade técnica. A ambiguidade nos prompts foi uma das causas de discordância nos dados extraídos.

4. Raro, mas Presente, Risco de “Alucinação”: A IA pode “fabricar” dados, um fenômeno conhecido como alucinação. Embora raro, ocorreu em 0,8% das extrações na abordagem assistida por IA. Esse é um erro grave que só pode ser detectado e corrigido por um revisor humano atento que compara a extração com o documento original.

O futuro é de colaboração, não de substituição

É crucial entender que o estudo não testou uma IA autônoma, mas uma abordagem semiautomatizada. O investigador humano continua sendo a peça central do processo. O fato de a equipe assistida por IA ainda ter uma taxa de erro de 9,0% demonstra que a produção do LLM não é perfeita e que a verificação humana é absolutamente crítica.

A melhor maneira de enxergar a IA neste contexto não é como uma substituta, mas como uma espécie de estagiária incansável e altamente qualificada. Ela produz um excelente primeiro rascunho, muito mais rápido do que qualquer humano, mas esse trabalho ainda exige a supervisão e o julgamento de um especialista para garantir a qualidade final. O LLM aumenta a capacidade humana, não a torna obsoleta. A pesquisa humana tradicional é propensa a erros, e a IA pode ajudar a mitigar alguns deles, além de otimizar o tempo.

No entanto, a tecnologia ainda depende criticamente da supervisão, do conhecimento técnico e do julgamento humano para refinar instruções, verificar resultados, corrigir omissões e evitar que erros graves, como dados fabricados, que comprometam a integridade da pesquisa. Portanto, a verdadeira revolução não está em substituir os cientistas, mas em equipá-los com ferramentas de IA cada vez mais sofisticadas, permitindo que a ciência avance com mais eficiência e confiabilidade.

Conclusão: Uma Nova Parceria para uma Ciência Melhor

Este estudo aponta para uma conclusão clara: unir a experiência humana com as ferramentas de IA pode levar a um trabalho científico mais preciso e eficiente. Longe de ser uma ameaça, a IA está se revelando uma aliada poderosa. A pesquisa nos força a confrontar uma realidade desconfortável: nossa confiança na infalibilidade humana pode ser exagerada, e os erros da IA são, surpreendentemente, muito parecidos com os nossos.

Isso nos leva a uma questão mais ampla: se essa parceria pode aprimorar uma tarefa tão fundamental na pesquisa, que outras áreas da ciência e do conhecimento poderiam ser transformadas por essa nova colaboração entre a inteligência humana e a artificial?

Referência: GARTLEHNER, G.; KUGLEY, S.; CROTTY, K.; VISWANATHAN, M.; DOBRESCU, A.; NUSSBAUMER-STREIT, B.; BOOTH, G.; TREADWELL, J. R.; HAN, J. M.; WAGNER, J.; APAYDIN, E. A.; COPPOLA, E. L.; MAGLIONE, M.; HILSCHER, R.; CHEW, R.; PILAR, M.; SWANTON, B.; KAHWATI, L. C. AI-Assisted Data Extraction with a Large Language Model: A Study Within Reviews. [S.l.: s.n.], 2024 (preprint).