Novo método MACaQ quantiza modelo de 122 mil milhões de parâmetros em 64 minutos
Um artigo publicado no arXiv a 11 de novembro apresenta o MACaQ, método de quantização pós-treino que reduz pesos e activações para apenas 4 bits, processando um modelo de 122 mil milhões de parâmetros em 64 minutos com 32,5 GB de memória de GPU.
Os autores aplicam uma transformação de Hadamard em blocos e uma técnica de 'Flip-Refinement' para melhorar o arredondamento dos valores quantizados. O método é agnóstico ao modelo, adicionando apenas 2,3% de sobrecarga face à quantização pura num Qwen3-32B em vLLM.
Em testes no Llama-3-8B, iguala a melhor perplexidade de métodos concorrentes com cerca de 11 vezes menos tempo de quantização.
Fontes
- arXiv 2611.10649 arxiv.org
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.