Estudo do NeurIPS 2026 mostra que apagar menos de 0,05% dos pesos de um LLM basta para o especializar
Um artigo aceite na NeurIPS 2026 propõe o 'Deletion Tuning', método que consegue igualar o desempenho do ajuste fino completo de grandes modelos de linguagem apagando menos de 0,05% dos seus pesos.
O método aprende uma máscara binária sobre a projecção 'gate' de cada bloco transformer, criando artefactos centenas a milhares de vezes mais pequenos do que um checkpoint de ajuste fino completo.
Em testes com aprendizagem por reforço, afinação supervisionada e destilação on-policy, o Deletion Tuning igualou o ajuste fino completo e manteve a precisão em tarefas anteriores quase ao nível do modelo base — enquanto o ajuste fino completo e o LoRA perderam até 5,4 pontos de precisão.
Fontes
- arXiv 2611.10866 arxiv.org
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.