CMU cria "Hospital Sintético" para testar dez modelos de IA no trabalho clínico real
Investigadores da Carnegie Mellon criaram o benchmark "Synthetic Hospital", com 1.268 doentes sintéticos e 5.602 episódios clínicos, para testar se modelos de IA conseguem fazer o trabalho clínico real de um médico — e os próprios médicos só distinguiram os casos fictícios dos reais ao nível do acaso.
Dez sistemas foram testados, incluindo GPT-5.3, Gemini 3.1, Opus 4.6, Kimi 2.5 Thinking e DeepSeek V3.2. Os médicos distinguiram corretamente registos sintéticos de reais em apenas 53% dos casos — praticamente ao acaso. Os modelos destacaram-se a recolher evidências (pontuações acima de 0,74) mas tiveram dificuldade na compreensão holística do doente (cerca de 0,5), e perderam cerca de metade dos achados clinicamente relevantes ao resumir um processo.
O melhor resultado de diagnóstico foi do Kimi 2.5 Thinking (F1 ponderado por gravidade de 0,732), seguido do GPT-5.3 (0,703). Fluxos de trabalho com agentes reduziram o desempenho na maioria das tarefas, gastando cerca de 145 mil tokens de entrada contra 60 mil em abordagens diretas, embora agentes com auto-correção tenham melhorado o diagnóstico longitudinal.
Fontes
- arXiv arxiv.org
- The Neuron www.theneuron.ai
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.