Programador publica reimplementação do DeepSeek V3 em cerca de 200 linhas de JAX puro
Um programador publicou a 14 de novembro de 2026 no GitHub e no Hacker News um projeto que reproduz, em apenas cerca de 190 linhas de código efetivo, as principais técnicas arquitetónicas do modelo chinês DeepSeek V3.
O repositório, de Vaibhaav Tiwari, implementa em JAX puro — sem recorrer a Flax, Equinox ou PyTorch — os mecanismos centrais descritos no relatório técnico do DeepSeek V3: a Multi-head Latent Attention (MLA), que o autor descreve como uma redução de 480 para 144 números armazenados por token e por camada; RoPE desacoplado; a arquitetura DeepSeekMoE, com um especialista partilhado sempre ativo e 16 especialistas encaminhados dos quais 4 são escolhidos por token; balanceamento de carga sem perda auxiliar; e um módulo de previsão multi-token (MTP).
Segundo o próprio autor, o objetivo é puramente didático — 'this is an architecture demo, not a strong language model' — e o modelo treinado tem apenas 36,2 milhões de parâmetros (13,6 milhões ativos por token), treinado num MacBook Air com texto de ficção policial de domínio público, ao longo de 12 mil passos em cerca de 2,6 horas, com a perda de validação a cair de 5,02 para 3,51. Ficam de fora da reimplementação o FP8, o DualPipe, o roteamento limitado por nó e o pós-treino, entre outras otimizações da versão original em escala completa.
A publicação no Hacker News, sob o título 'Show HN: DeepSeek V3 in ~200 lines of pure Jax', reuniu 213 pontos e 12 comentários no dia do lançamento, um sinal do interesse da comunidade em implementações compactas e legíveis de arquiteturas de ponta usadas por grandes laboratórios chineses.
Fontes
- GitHub — Vaibhaav-Tiwari/deepseek-v3-jax github.com
- Hacker News news.ycombinator.com
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.