Boletim IANotícias de inteligência artificial em português, todos os dias

Riscos e regulação

OpenAI reduz de 54% para 0,2% o sucesso de ataques que extraem o raciocínio interno dos seus modelos

A OpenAI divulgou a 20 de novembro novas defesas que tornam muito mais difícil roubar o raciocínio interno dos seus modelos através de ataques adversariais.

Em testes de red-teaming adaptativo com seis modelos atacantes, a taxa de sucesso na extração do raciocínio protegido de um pedido anterior caiu de 54,0% no GPT-6 Astra para apenas 0,2% no GPT-6.2 Astra; a extração a partir do pedido atual caiu de 22,9% para 0,9%.

As defesas combinam testes adversariais, classificadores e proteções ao nível da API, e a OpenAI diz estar a aplicar parte destas melhorias também ao modelo GPT-6 Astra já em produção.

Perguntas frequentes

O que é um 'ataque de extração de raciocínio'?

É uma técnica em que alguém envia pedidos cuidadosamente desenhados a um modelo de IA para tentar reconstruir o seu processo de raciocínio interno (normalmente escondido), permitindo depois usar esses dados para treinar outro modelo que copia o original sem licença.

Fontes

Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.

Recebe o Boletim IA no email

As notícias de inteligência artificial do dia, em português, todas as manhãs. Grátis, e cancelas quando quiseres.

Ao subscreveres aceitas receber o boletim por email. Primeiro enviamos um email para confirmares. Os teus dados são tratados conforme a política de privacidade.

↑