IBM Research melhora desempenho de agentes de atendimento com 'memória aprendida' sem retreinar o modelo
A IBM Research publicou resultados de um método, batizado ALTK-Evolve, que melhora o desempenho de agentes de IA de atendimento ao cliente sem atualizar os pesos do modelo nem recorrer a anotação humana adicional.
Segundo o Unite.AI, que divulgou o estudo a 20 de outubro, o método funciona como um 'manual aprendido': o próprio modelo que executa o agente revê as suas tentativas anteriores em tarefas de treino e destila sucessos e falhas em regras comportamentais curtas, que são depois acrescentadas ao prompt do sistema. Foi testado no τ²-bench (benchmark da Sierra Research), nos domínios de retalho e companhias aéreas, usando GPT-4.1 como agente e GPT-5.5 como cliente simulado.
No conjunto de teste reservado, a precisão média no domínio de retalho subiu de 78,1% (linha de base) para 82,5% com o conjunto completo de regras aprendidas, e o indicador de sucesso consistente em quatro repetições (Pass^4) subiu de 57,5% para 67,5%. No domínio das companhias aéreas, a precisão subiu de 57,5% para 65,0%. O custo por conversa aumentou ligeiramente — por exemplo, de 0,084 para 0,139 dólares no retalho.
A IBM reporta no leaderboard público do τ²-bench 67,5% de precisão em retalho, acima do modelo RAFT-30B-A3B (61,4%). É importante notar, porém, que as amostras de teste são pequenas (40 e 20 tarefas) e que a própria submissão da IBM admite que as regras foram aprendidas num conjunto de treino que se sobrepõe parcialmente ao conjunto de avaliação — o que exige cautela na leitura dos números, como a própria fonte sinaliza.
Fontes
- Unite.AI www.unite.ai
Resumo editorial em português feito com apoio de inteligência artificial a partir das fontes indicadas. Como fazemos o Boletim IA.