Sistema de IA com modelo de linguagem "congelado" atinge pontuação máxima no exigente teste ARC-AGI-3
Investigadores da University College London e do Huawei Noah's Ark Lab publicaram o Memento 3, um sistema de agente que atingiu a pontuação máxima no exigente benchmark de raciocínio ARC-AGI-3 — sem alterar o modelo de linguagem base.
Segundo o artigo científico publicado a 8 de outubro no arXiv, o Memento 3 concluiu todos os níveis dos 25 jogos públicos do ARC-AGI-3, com uma pontuação média (RHAE) de 100,0 — o valor máximo do benchmark — usando apenas 44% do número de ações que humanos normalmente precisam. Em comparação, o modelo Claude Opus 5, usado como referência, obteve apenas 40,7 pontos em média.
A inovação central é que o modelo de linguagem subjacente permanece completamente congelado (não é retreinado); em vez disso, o sistema mantém um "livro de regras" em linguagem natural que vai reescrevendo com base nos erros das suas previsões, compilando essas regras em código executável que funciona como um modelo do mundo.
Trata-se de uma demonstração de que agentes de IA podem continuar a melhorar o seu desempenho em tarefas complexas através de memória externa estruturada e auto-correção, sem o custo computacional de retreinar o modelo de base — ainda sem revisão por pares.
Fontes
- arXiv arxiv.org
- Hugging Face Papers huggingface.co
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.