Qué mide realmente AutomationBench-AA
Artificial Analysis lanzó AutomationBench-AA con Zapier el 6 de julio de 2026. Evalúa 657 flujos de Finanzas, RR. HH., Marketing, Operaciones, Ventas y Soporte en 40 entornos SaaS simulados. Los agentes deben descubrir APIs, modificar los registros correctos y respetar las reglas del negocio. La evaluación comprueba el estado final de los sistemas, no solo una respuesta convincente.
Cómo leer el porcentaje sin mezclar métricas
Al lanzamiento, Claude Fable 5 obtuvo 48,6%, Claude Opus 4.8 llegó al 48,5%, Gemini 3.5 Flash al 42,6% y GPT-5.5 al 42,1%. Corrección importante: la métrica principal de AutomationBench-AA representa la proporción media de objetivos logrados en cada tarea sin violar guardrails. NO es el porcentaje de tareas completas. El leaderboard alojado por Zapier sí mide tareas terminadas integralmente; comparar ambos porcentajes sería mezclar denominadores. Fable 5 recurrió a Opus en aproximadamente el 18% de las tareas de la evaluación inicial. Son resultados del lanzamiento, no la clasificación actual.
Qué debe hacer un equipo de negocio
Use el benchmark para comparar ejecución y violaciones en el mismo escenario, no como promesa de éxito en su propia empresa. Todos los modelos evaluados al lanzamiento infringieron alguna regla y los costes por tarea variaron. Antes de pasar a producción, pruebe sus propios procesos con datos ficticios, aprobación humana y verificación del estado final en el CRM o aplicación. Para plantear un piloto medible hasta el contacto, consulte IA para empresas.
Fuentes y metodología
Análisis del lanzamiento: Artificial Analysis. Definición actual de la puntuación y diferencia con el ranking de Zapier: página de la evaluación. Resultados publicados por Zapier: benchmarks.