Empresa de deteção de agentes de IA admite zonas cinzentas por trás do alegado 98,8% de eficácia

O produto Agent Detection, da Resemble AI, usa o modelo RAD-S1 para distinguir visitas humanas a sites de visitas feitas por agentes automatizados de IA. Num anúncio de 29 de outubro, a empresa afirmou que o RAD-S1 identificou pelo menos 98,8% dos agentes construídos especificamente para disfarçar a sua automação em testes internos, contra apenas 3,1% a 14,8% obtidos por seis ferramentas concorrentes de deteção de bots, incluindo o Cloudflare Turnstile e o Google reCAPTCHA.

Numa clarificação datada de 13 de novembro e numa entrevista à Let's Data Science, o CEO Zohaib Ahmed reconheceu que o benchmark foi construído e avaliado inteiramente pela própria Resemble AI, sem conjunto de teste independente, sem separação entre execuções repetidas do mesmo cenário e sem reprodução por terceiros. A empresa também não publicou o número de visitas testadas, as taxas de falsos positivos em utilizadores humanos reais, nem os limiares exatos de decisão do modelo.

Ahmed sublinhou ainda que visitas curtas ou indecisas são classificadas como "humanas" por defeito, o que significa que esse rótulo não garante, só por si, que a visita foi efetivamente feita por uma pessoa. A empresa diz não recolher texto digitado nem palavras-passe, mas recolhe identificadores de campos de formulário, fragmentos de texto visível, caminhos de página, dados do dispositivo e um hash de IP, com retenção por defeito de 395 dias.

Fontes

• Let's Data Science letsdatascience.com

Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.