OpenAI reduz de 54% para 0,2% o sucesso de ataques que extraem o raciocínio interno dos seus modelos
A OpenAI divulgou a 20 de novembro novas defesas que tornam muito mais difícil roubar o raciocínio interno dos seus modelos através de ataques adversariais.
Em testes de red-teaming adaptativo com seis modelos atacantes, a taxa de sucesso na extração do raciocínio protegido de um pedido anterior caiu de 54,0% no GPT-6 Astra para apenas 0,2% no GPT-6.2 Astra; a extração a partir do pedido atual caiu de 22,9% para 0,9%.
As defesas combinam testes adversariais, classificadores e proteções ao nível da API, e a OpenAI diz estar a aplicar parte destas melhorias também ao modelo GPT-6 Astra já em produção.
Perguntas frequentes
O que é um 'ataque de extração de raciocínio'?
É uma técnica em que alguém envia pedidos cuidadosamente desenhados a um modelo de IA para tentar reconstruir o seu processo de raciocínio interno (normalmente escondido), permitindo depois usar esses dados para treinar outro modelo que copia o original sem licença.
Fontes
- OpenAI openai.com
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.