Zapier lanza un ranking independiente para medir si la IA realmente automatiza tareas de negocio

Qué es el AutomationBench-AA

Artificial Analysis, junto con Zapier, lanzó el 6 de julio de 2026 el AutomationBench-AA: un leaderboard independiente creado para responder una pregunta práctica. ¿Puede un agente de IA automatizar flujos de trabajo reales de negocio sin romper las reglas que una empresa impone a sus propias operaciones? A diferencia de los benchmarks académicos genéricos, que suelen medir razonamiento abstracto o la resolución de problemas aislados y alejados del trabajo diario, el AutomationBench-AA simula la rutina de equipos de Finanzas, RRHH, Marketing, Operaciones, Ventas y Soporte, evaluando si el agente completa la tarea entera respetando los guardrails que cualquier empresa aplica a sus propias operaciones. Es un benchmark pensado para la aplicación práctica, no para la teoría.

Los números: 657 tareas, 40 apps y el resultado

La metodología usa 657 tareas repartidas en esas seis áreas de negocio, ejecutadas en 40 réplicas simuladas de herramientas populares de SaaS, como Gmail, Slack, Salesforce, Zendesk y HubSpot. Esas réplicas reproducen el comportamiento real de esas plataformas, lo que permite probar al agente en condiciones parecidas a las de un entorno de trabajo real, sin exponer datos de clientes reales. El primer ranking mostró a Claude Fable 5 en el liderazgo, con 48,6% de las tareas completadas sin violar las reglas de negocio, seguido de cerca por Claude Opus 4.8, con 48,5%. Después aparecen Gemini 3.5 Flash, con 42,6%, y GPT-5.5, con 42,1%. Los datos están publicados en la página oficial de benchmarks de Zapier, en el repositorio público del proyecto en GitHub y en el artículo de anuncio de Artificial Analysis.

Por qué importa para quien usa IA en su rutina

Para quien decide qué IA usar para automatizar marketing, atención al cliente u operaciones, el AutomationBench-AA ofrece algo poco común: un criterio práctico de elección, basado en tareas parecidas a lo que esos equipos realmente hacen, en lugar de pruebas teóricas alejadas de la rutina diaria. Saber que un modelo completa casi la mitad de las tareas sin violar una regla de negocio, mientras otro queda varios puntos porcentuales atrás, es información directa para quien necesita decidir dónde apostar por la automatización con menos riesgo operativo. En un equipo de marketing, por ejemplo, esa diferencia puede significar un agente que lanza una campaña respetando los pasos de aprobación de la empresa frente a otro que salta un paso y genera retrabajo.

Lo que los números todavía esconden

Incluso los modelos líderes, Claude Fable 5 y Claude Opus 4.8, se quedan por debajo del 50% de finalización sin violar reglas. Eso muestra que la automatización de tareas de negocio con IA todavía está lejos de ser lo bastante confiable para operar sin supervisión humana, sin importar cuán avanzado sea el modelo usado. El AutomationBench-AA, mantenido por Artificial Analysis y Zapier, debería funcionar como termómetro continuo de ese avance, a medida que nuevos modelos se sumen al ranking y la brecha entre el desempeño de laboratorio y el desempeño en producción se vuelva más clara.