Modelo de IA Amália com melhor desempenho face a outros modelos abertos

«Os resultados mostram que o AMALIA-DPO [Direct Preference Optimization] atinge o melhor desempenho entre os modelos totalmente abertos por uma margem considerável, obtendo mesmo os melhores resultados entre todos os modelos em lexicologia e semântica, demonstrando um domínio robusto das competências linguísticas específicas» do português de Portugal em diversas categorias.

O LLM [Large Language Model ou, traduzindo, grande modelo de linguagem] português Amália tem estado em constante evolução pelo consórcio de universidades portuguesas que lidera o seu desenvolvimento.

De acordo com o relatório técnico, em avaliação aprofundada de português europeu, o Amália apresenta vantagens claras face a outros modelos abertos.

Nos exames nacionais portugueses (questões de resposta longa de português), o Amália «obtém a melhor pontuação entre todos os modelos totalmente open source, demonstrando uma boa compreensão de enunciados complexos e produção de texto coerente, com gramática e registo adequados».

Neste relatório, «apresentamos um LLM que prioriza a língua portuguesa europeia e o seu contexto cultural», lê-se no documento, que refere que o Amália utiliza dados do arquivo.pt e dados pós-treino preparados especificamente para o português europeu.

O documento indica que o LLM foi treinado com estratégias de modelação de linguagem e ajuste de instruções.

«Um desafio fundamental no desenvolvimento deste modelo foi a falta de benchmarks [referências] para monitorizar o progresso do desempenho do modelo», é apontado no relatório.

Para mitigar esta limitação, «utilizámos exames nacionais PT-PT, criámos um benchmark linguístico e traduzimos vários conjuntos de dados» com um modelo de tradução automática (MT) dedicado de alta qualidade.

«A avaliação mostrou que o Amália supera todos os modelos de código aberto anteriores no PT-PT e muitos modelos ‘open-weight’ [que partilham os pesos (parâmetros treinados)]», conclui o relatório técnico.

«As experiências em benchmarks de compreensão e inferência de linguagem mostram resultados de última geração ou comparáveis, enquanto que em benchmarks de geração de linguagem o modelo destaca-se na qualidade do texto gerado. As experiências de segurança mostram também que o modelo está alinhado com o estado da arte», lê-se no relatório.

No futuro, «iremos explorar outros métodos de aprendizagem por reforço e desenvolveremos novas combinações de dados de treino para melhorar as capacidades de raciocínio no PT-PT».

Ou seja, na prática estes resultados indicam que o Amália está a tornar-se fiável como assistente em português europeu.

O relatório é elaborado por João Magalhães (UNL) e André Martins (IST), coordenadores, e uma equipa de cerca de 20 pessoas da Universidade de Lisboa e Universidade Nova de Lisboa.

O modelo Amalia é desenvolvido por uma equipa composta pela Universidade Nova de Lisboa, o Instituto Superior Técnico, a Universidade de Coimbra, a Universidade do Porto, a Universidade do Minho e a Fundação para a Ciência e Tecnologia.

O processo de criação do Amália começou com a recolha e processamento de dados em português europeu em larga escala, os quais foram filtrados com base na sua relevância e qualidade linguística. Para este efeito, recorreu-se ao Arquivo da Web portuguesa. O modelo foi pré-treinado com estes dados e posteriormente afinado em outros conjuntos de dados para seguir instruções, raciocinar e resolver problemas.

Para levar a cabo o treino dos modelos, foi utilizada infraestrutura computacional em grande escala, através de supercomputadores nacionais (Mare Nostrum 5 e Deucalion) e europeus (através da rede EuroHPC).