Modelos de linguagem aprendem a melhorar outros modelos de linguagem, mostra novo método LM2LM
Um grupo de dez investigadores, liderado por Minhua Lin, Zijun Wang e Zewen Liu, propôs o método LM2LM: treina modelos de linguagem por aprendizagem por reforço para gerarem propostas de melhoria de outros modelos.
O método usa como recompensa um "modelo de mundo de investigação", um modelo de linguagem congelado que estima o ganho de uma proposta de melhoria a partir de registos experimentais reais fornecidos em contexto. Em oito ambientes diferentes de desenvolvimento de modelos, tanto autorregressivos como de difusão, o modelo Qwen3.8-27B treinado com LM2LM superou o GPT-6-sol mesmo quando este tinha 300 registos experimentais em contexto, com 33% menos custo na geração de dados, e o método generalizou para uma família de modelos não vista durante o treino.
Os próprios autores identificam dois desafios centrais: o custo da aprendizagem por reforço com experiências reais, e a fiabilidade limitada do feedback substituto usado como recompensa. Informação confirmada diretamente no abstract completo do artigo no arXiv.
Fontes
- arXiv arxiv.org
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.