AutomationBench-AA da Zapier: como medir agentes de IA sem confundir objetivos com tarefas completas

O que o AutomationBench-AA testa

A Artificial Analysis lançou em parceria com a Zapier o AutomationBench-AA em 6 de julho de 2026. São 657 tarefas de Finanças, RH, Marketing, Operações, Vendas e Suporte, distribuídas por 40 ambientes SaaS simulados. Os agentes precisam descobrir APIs, alterar os registros certos e preservar regras de negócio. As verificações olham o estado final dos sistemas, não apenas uma resposta convincente do modelo.

Como ler a pontuação sem cair na armadilha

Na estreia, Claude Fable 5 marcou 48,6%, Claude Opus 4.8 ficou em 48,5%, Gemini 3.5 Flash em 42,6% e GPT-5.5 em 42,1%. Aqui vai a correção essencial: no AutomationBench-AA, a métrica principal é a média da parcela de objetivos atingidos por tarefa sem violação de guardrails. Ela NÃO é a porcentagem de tarefas concluídas integralmente. O leaderboard hospedado pela própria Zapier usa outra medida, de tarefas completas; comparar as duas porcentagens diretamente seria misturar denominadores. Fable 5 ainda acionava fallback para Opus em cerca de 18% das tarefas na avaliação inicial. Esses números retratam o lançamento, não o ranking atual.

O que muda para uma equipe de negócio

Use o teste para comparar qualidade de execução e violações no mesmo cenário, não como garantia de sucesso na sua empresa. No lançamento, todos os modelos testados violaram ao menos algumas regras; o custo por tarefa também variava bastante. Antes de colocar um agente em produção, rode uma amostra dos seus próprios fluxos com aprovação humana, dados de teste e conferência do resultado no CRM ou na ferramenta final. Para desenhar um piloto e medir o caminho até o contato, veja IA para empresas.

Fontes e leitura da metodologia

Artigo do lançamento: Artificial Analysis. Definição atual da métrica e distinção do leaderboard da Zapier: página da avaliação. Resultados hospedados pela Zapier: benchmarks.