Benchmark Ivo-micro1 coloca o Grok no topo da revisão de contratos, mas nenhum modelo passa dos 60%
Um novo benchmark criado pela Ivo e pela micro1, o ContractBench, testou sete modelos de IA em 350 tarefas reais de revisão de contratos e descobriu que nenhum atinge ainda 60% de acerto segundo critérios definidos por advogados.
O benchmark avalia se os modelos conseguem priorizar questões importantes num contrato, fazer edições apropriadas e reconhecer quando uma decisão exige intervenção humana, usando critérios ponderados definidos por advogados sobre 350 tarefas reais de revisão contratual.
Todos os sete modelos testados ficaram abaixo dos 60%. O Grok 4.7 ficou em primeiro lugar, com 58,3% de acerto ponderado, seguido de perto pelo Opus 5.5 (58,1%) e pelo Kimi K3 (57,1%). As taxas de conclusão das tarefas variaram entre 80,8% (Opus) e 100% (Kimi) e 99,5% (Grok); o Kimi custou 38% menos por execução concluída do que o Grok, e foi 13% mais rápido.
A leitura da Ivo é que os modelos de topo estão próximos em precisão, sendo a taxa de conclusão, o custo e a velocidade os fatores que os diferenciam. O trabalho jurídico complexo continua a precisar de mais contexto — dados de referência, regras internas, precedentes — e de supervisão humana para atingir taxas de sucesso elevadas.
Perguntas frequentes
Qual modelo venceu o benchmark?
O Grok 4.7, com 58,3% de acerto ponderado, seguido de perto pelo Opus 5.5 e pelo Kimi K3.
Isto significa que a IA não serve para rever contratos?
Significa que ainda precisa de supervisão humana e de contexto adicional (precedentes, regras internas) para ser fiável em trabalho jurídico complexo.
Fontes
- Artificial Lawyer www.artificiallawyer.com
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.