O modelo de inteligência artificial (IA) Amália tem melhor desempenho em português europeu face a outros modelos abertos, de acordo com o relatório técnico da equipa de investimento e desenvolvimento a que Lusa teve hoje acesso.

"Os resultados mostram que o AMALIA-DPO [Direct Preference Optimization] atinge o melhor desempenho entre os modelos totalmente abertos por uma margem considerável, obtendo mesmo os melhores resultados entre todos os modelos em lexicologia e semântica, demonstrando um domínio robusto das competências linguísticas específicas" do português de Portugal em diversas categorias.

O LLM [Large Language Model ou, traduzindo, grande modelo de linguagem] português Amália tem estado em constante evolução pelo consórcio de universidades portuguesas que lidera o seu desenvolvimento.

De acordo com o relatório técnico, em avaliação aprofundada de português europeu, o Amália apresenta vantagens claras face a outros modelos abertos.

Nos exames nacionais portugueses (questões de resposta longa de português), o Amália "obtém a melhor pontuação entre todos os modelos totalmente 'open source', demonstrando uma boa compreensão de enunciados complexos e produção de texto coerente, com gramática e registo adequados".

Neste relatório, "apresentamos um LLM que prioriza a língua portuguesa europeia e o seu contexto cultural", lê-se no documento, que refere que o Amália utiliza dados do arquivo.pt e dados pós-treino preparados especificamente para o português europeu.

O documento indica que o LLM foi treinado com estratégias de modelação de linguagem e ajuste de instruções.

"Um desafio fundamental no desenvolvimento deste modelo foi a falta de 'benchmarks' [referências] para monitorizar o progresso do desempenho do modelo", é apontado no relatório.

Para mitigar esta limitação, "utilizámos exames nacionais PT-PT, criámos um 'benchmark' linguístico e traduzimos vários conjuntos de dados" com um modelo de tradução automática (MT) dedicado de alta qualidade.

"A avaliação mostrou que o Amália supera todos os modelos de código aberto anteriores no PT-PT e muitos modelos 'open-weight' [que partilham os pesos (parâmetros treinados)]", conclui o relatório técnico.

"As experiências em 'benchmarks' de compreensão e inferência de linguagem mostram resultados de última geração ou comparáveis, enquanto que em 'benchmarks' de geração de linguagem o modelo destaca-se na qualidade do texto gerado. As experiências de segurança mostram também que o modelo está alinhado com o estado da arte", lê-se no relatório.

No futuro, "iremos explorar outros métodos de aprendizagem por reforço e desenvolveremos novas combinações de dados de treino para melhorar as capacidades de raciocínio no PT-PT".

Ou seja, na prática estes resultados indicam que o Amália está a tornar-se fiável como assistente em português europeu.

O relatório é elaborado por João Magalhães (UNL) e André Martins (IST), coordenadores, e uma equipa de cerca de 20 pessoas da Universidade de Lisboa e Universidade Nova de Lisboa.

O modelo Amalia é desenvolvido por uma equipa composta pela Universidade Nova de Lisboa, o Instituto Superior Técnico, a Universidade de Coimbra, a Universidade do Porto, a Universidade do Minho e a Fundação para a Ciência e Tecnologia.

O processo de criação do Amália começou com a recolha e processamento de dados em português europeu em larga escala, os quais foram filtrados com base na sua relevância e qualidade linguística. Para este efeito, recorreu-se ao Arquivo da Web portuguesa. O modelo foi pré-treinado com estes dados e posteriormente afinado em outros conjuntos de dados para seguir instruções, raciocinar e resolver problemas.

Para levar a cabo o treino dos modelos, foi utilizada infraestrutura computacional em grande escala, através de supercomputadores nacionais (Mare Nostrum 5 e Deucalion) e europeus (através da rede EuroHPC).