Consórcio europeu EUROPA multiplica por 14 o throughput de treino de IA no supercomputador JUPITER
O consórcio EUROPA, formado pela empresa Domyn e pelos institutos Fraunhofer IAIS e IIS, elevou o throughput de pré-treino de um modelo Mixture-of-Experts de cerca de um bilião de parâmetros, de 90 para aproximadamente 1.300 tokens por segundo por GPU, no supercomputador europeu JUPITER.
Segundo o blog oficial do PyTorch, os ganhos vieram do reposicionamento do otimizador Muon, do offloading de ativações para a memória CPU Grace e de uma correção ao alocador FSDP. A equipa diz ter enviado ("upstreamed") essas correções para o próprio PyTorch e para o TorchTitan, tornando-as disponíveis para a comunidade em geral.
Fontes
- PyTorch (blog oficial) pytorch.org
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.