Paper propõe pré-treinar modelos de linguagem sem qualquer dado humano
Um novo artigo no arXiv, assinado por investigadores de Stanford, da Universidade de Tel Aviv e colaboradores, propõe pré-treinar modelos de linguagem inteiramente através de auto-jogo (self-play) entre um "gerador" que cria programas via máquina de Turing universal e um "aprendiz" que prevê as sequências de bytes resultantes — sem qualquer dado humano.
O método trata a geração de dados sintéticos como uma pesquisa no espaço de toda a estrutura computável: o gerador usa aprendizagem por reforço para produzir sequências na fronteira da capacidade do aprendiz, criando um currículo adaptativo. Os modelos, nunca treinados em dados naturais, servem como "teste limpo de transferência": o desempenho zero-shot em conjuntos de dados naturais melhora de forma previsível com mais computação, e os modelos mostraram capacidades de aprendizagem em contexto e descobriram autonomamente sequências matemáticas reconhecíveis durante o treino.
O paper (arXiv 2609.30063), submetido a 24 de setembro por Aditya Cowsik, Kfir Dolev, Michael Y. Li, G. Bruno De Luca, Nourya Cohen, Noah D. Goodman e Yoav Levine, ganhou destaque em agregadores como o alphaXiv e o Hacker News.
Fontes
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.