Técnica VocabX corta custo de inferência em 77% ao especializar o vocabulário do modelo
A equipa da Dharma-AI apresentou o VocabX, um método que adapta o vocabulário de um tokenizador a um domínio específico sem alterar os pesos do modelo, reduzindo drasticamente o custo de cada resposta.
No caso de teste divulgado — um corretor automático de redações em português construído sobre o Qwen3-4B — o comprimento médio das respostas caiu de 350 para 101 tokens, reduzindo o custo medido em 77%, enquanto a pontuação de qualidade (precisão da nota mais precisão de triagem) subiu de 0,703 para 0,810. O vocabulário de saída encolheu de cerca de 152 mil para 65 mil entradas.
A técnica pondera cada token pelo custo do campo em que aparece — tokens gerados na resposta pesam mais do que tokens de entrada, porque gerar texto é mais caro do que lê-lo. Reconstrói ainda a divisão de subpalavras para termos do domínio e adiciona 'macro-tokens' para blocos repetidos, como estruturas JSON ou frases comuns, usando cinco métodos automáticos de deteção de padrões repetidos no corpus.
A licença do código ainda não está definida com clareza — o artigo técnico está em revisão — mas a equipa convida à experimentação com os seus 'modelos abertos' na Hugging Face. É um único caso de uso, e os autores alertam que a poupança varia com o hardware, o tamanho do lote e o contexto. O caso de teste usado — um corretor de redações em português — tem potencial direto para plataformas educativas lusófonas baixarem custos de inferência.
Perguntas frequentes
É preciso retreinar o modelo todo?
Não; o VocabX ajusta apenas o vocabulário do tokenizador antes do treino, sem alterar os pesos base.
Os resultados aplicam-se a qualquer aplicação?
Os números provêm de um único caso de uso (correção automática de textos em português); a poupança varia com o hardware e o contexto.
Fontes
- Hugging Face Blog (Dharma-AI) huggingface.co
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.