Solução para alucinações de IA pode ser… a própria IA!

29 de Junho de 2024 as 12h 14min

Pesquisadores descobriram que chatbots podem ser usados para detectar “alucinações” de outros modelos de IA generativa.

No estudo publicado recentemente na revista Nature, a equipe explica que sistemas como o ChatGPT, da OpenAI, e o Gemini, do Google, podem ajudar a encontrar e corrigir respostas imprecisas fornecidas por outros chatbots.

Pesquisadores de Oxford descobriram que chatbots como ChatGPT e Gemini podem ser usados para detectar “alucinações” de outros modelos de IA generativa.

A equipe fez uma série de perguntas a um chatbot e, em seguida, avaliou as respostas em um outro modelo em busca de inconsistências.

As perguntas também passaram por avaliadores humanos para determinar a confiabilidade das comparações entre os chatbots. Os modelos de IA concordaram com as resoluções dos humanos em 93% dos casos.

A equipe destaca que as alucinações e respostas imprecisas dos chatbots ajudam a dificultar a adoção generalizada dos sistemas – especialmente em áreas como a medicina. O estudo foi publicado na revista Nature.

Para o estudo, Sebastian Farquhar, cientista da computação da Universidade de Oxford, no Reino Unido, e sua equipe fizeram uma série de questionamentos comuns a um chatbot – problemas matemáticos do ensino fundamental, por exemplo.

Um segundo modelo foi usado para revisar as respostas geradas em busca de inconsistências e distorções.

As perguntas feitas aos chatbots também passaram por avaliadores humanos. Como explicam os investigadores no artigo, a IA concordou com as resoluções dos humanos em 93% dos casos, e os avaliadores humanos concordaram entre si em 92% das vezes. O resultado ajudou a equipe a determinar a confiabilidade da comparação das respostas dos diferentes chatbots.

Ao The Washington Post, Farquhar explica que, para o leitor médio, é “muito difícil” identificar alguns erros da IA, já que os chatbots “muitas vezes dizem o que você quer ouvir, inventando coisas que não são apenas plausíveis, mas que seriam úteis se fossem verdadeiras, algo que os pesquisadores rotularam de ‘bajulação’.”

A equipe ainda diz que as alucinações da IA generativa ajudam a criar uma barreira que impede a adoção generalizada dos sistemas – principalmente em áreas como a medicina, onde “poderiam representar um risco para a vida humana”.

Fonte: DA REPORTAGEM