Equipas de agentes de IA "persistentes" descobrem novas arquiteturas de atenção linear
Um estudo testou equipas de agentes de IA persistentes, com disciplinas diferentes, históricos de pesquisa privados, resultados partilhados entre si e alocação adaptativa de tarefas sob um orçamento experimental limitado, aplicadas à descoberta de arquiteturas de atenção linear.
À escala de 1,3 mil milhões de parâmetros, a arquitetura descoberta pelas equipas de agentes superou o modelo de referência GDN2 em modelação de linguagem, raciocínio de senso comum e tarefas de recuperação de informação, tanto sintéticas como reais. Testes de remoção mostraram que retirar qualquer componente organizacional — a diversidade de disciplinas, os históricos privados ou a alocação adaptativa de tarefas — reduz significativamente os resultados finais.
O estudo sugere, assim, que a forma como os agentes se organizam entre si (quem explora o quê, o que cada um recorda) pode importar tanto como a capacidade bruta de cada modelo individual. Informação confirmada diretamente no abstract do artigo no arXiv.
Fontes
- arXiv arxiv.org
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.