Huawei disponibiliza em open source a ferramenta de quantização MACaQ para modelos grandes
A Huawei disponibilizou no GitHub, sob licença Apache 2.0, a ferramenta MACaQ, que a empresa afirma ser capaz de quantizar um modelo de 122 mil milhões de parâmetros em 64 minutos, usando apenas 32,5 GB de memória do dispositivo.
Segundo o anúncio, a ferramenta produz ficheiros GGUF de 2 a 4 bits compatíveis com o llama.cpp e o vLLM, e inclui uma variante de refinamento para ficheiros GGUF já existentes. Não foi possível confirmar estes números de desempenho por uma segunda fonte independente além do próprio anúncio.
Fontes
- GitHub / Huawei (via aiweekly.co) aiweekly.co
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.