Não sabe que ferramenta de IA usar? Conheça o ranking das que mais (e menos) “alucinam”
Muitos dos actuais modelos de IA tiveram dificuldades quando lhes foi pedido para identificar e citar fontes de notícias a partir de um excerto, produzindo erros frequentes, revela o Visual Capitalist.
A maior taxa geral de alucinações da IA foi de 94% para o Grok-3, indicando que quase todas as suas respostas estavam incorretas.
Uma “alucinação da IA” refere-se a casos em que um modelo de linguagem apresenta informações como factos, mesmo que sejam falsas ou infundadas. Estas alucinações acontecem porque os sistemas de treino padrão recompensam o palpite em vez da demonstração de incerteza.
Os melhores e os piores modelos
Para medir as taxas de alucinação da IA, os investigadores apresentaram excertos de notícias a modelos de IA. De seguida, pediram aos modelos que identificassem o artigo original, a publicação e o URL. Notavelmente, os investigadores escolheram especificamente excertos que, se colados numa pesquisa tradicional do Google, devolvessem a fonte original entre os três primeiros resultados.
As respostas dos modelos foram então verificadas quanto à sua precisão. Abaixo, a infografia mostra com que frequência cada modelo obteve uma resposta parcial ou totalmente incorrecta.
O Grok-3 teve o pior desempenho, apresentando alucinações em 94% das vezes. O Perplexity, por outro lado, forneceu as respostas mais precisas.
Notavelmente, os modelos pagos tiveram um desempenho inferior aos seus homólogos gratuitos. A maioria dos modelos não expressou qualquer incerteza nas suas respostas, apesar dos erros frequentes.
Para os líderes e gestores, a conclusão é clara. É arriscado aceitar as respostas de um modelo de IA como verdade absoluta. Presumir que os resultados são precisos sem verificação pode levar a consequências negativas como danos reputacionais, perdas financeiras e problemas legais.
Com os agentes de IA, em que cada acção se baseia na anterior, as consequências dos erros de IA podem acumular-se rapidamente. Por isso qas empresas precisam de estratégias para manter os humanos envolvidos, verificar os resultados e utilizar um modelo baseado em dados fiáveis.