Estudo de Stanford mostra que LLMs continuam a "pensar" mesmo quando instruídos a não o fazer
Investigadores de Stanford mostram que instruções explícitas para "não pensar" não impedem de forma fiável que grandes modelos de linguagem continuem a gerar raciocínio visível antes da resposta final — fenómeno a que chamam "Thinking Inertia".
Os autores propõem uma métrica tripla (frequência de secções de raciocínio vazias, relevância do raciocínio e deteção explícita por um modelo-juiz) e testaram seis intervenções de prompting em seis LLMs. A inércia de pensamento persiste mesmo sob controlos rigorosos, agravando-se à medida que o espaço de respostas possíveis se alarga — é mais fácil de suprimir em perguntas sim/não do que em perguntas abertas.
Fontes
- arXiv arxiv.org
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.