Un agente que funciona en una demo no tiene por qué sobrevivir a un cambio de modelo, herramienta o tipo de petición. El producto duradero es el bucle que lo rodea: casos de prueba, evaluación, diagnóstico, cambio y otra ejecución.
La guía de Google hace concreto ese bucle. Describe comandos para generar trazas, puntuarlas, comparar ejecuciones, agrupar fallos y optimizar un prompt. El ejemplo muestra que un cambio pequeño en el prompt puede empeorar el resultado.
Una puntuación no es un diagnóstico
El bucle de regresión es la función de producto que mantiene honesto al agente.
Un creador pequeño puede empezar con un conjunto estrecho de casos reales. Guárdalo en control de versiones, registra el modelo y las herramientas y revisa las mejoras del prompt para evitar sobreajuste. Una puntuación mejor solo importa si el agente hace mejor el trabajo real.
Google describe los comandos de evaluación de Agents CLI y un proyecto de ejemplo; las puntuaciones pertenecen a ese ejemplo y no son un benchmark independiente.
Google Developers Blog · Hill-Climbing Agent Quality with Agents CLI Evaluation ↗
