Agent, ktorý funguje v deme, nemusí prežiť zmenu modelu, nástroja alebo typu požiadavky. Trvácnym produktom je slučka okolo neho: testovacie prípady, hodnotenie, diagnóza, zmena a ďalší beh.
Google v návode robí túto slučku konkrétnou. Opisuje príkazy na generovanie stôp, hodnotenie, porovnanie behov, zhlukovanie zlyhaní a optimalizáciu promptu. Ukážka začína malou sadou a ukazuje, ako aj malá zmena promptu môže znížiť skóre.
Skóre nie je diagnóza
Regresná slučka je produktová funkcia, ktorá udržiava agenta poctivého.
Malý tvorca môže začať úzkou sadou prípadov z reálnej práce. Drž ju vo verziovaní, zapisuj model a nástroje a kontroluj návrhy promptov kvôli preučeniu. Lepšie skóre má význam iba vtedy, keď agent lepšie robí skutočnú prácu.
Google v návode opisuje evaluačné príkazy Agents CLI a ukážkový projekt; uvedené skóre pochádza z príkladu a nie je nezávislým benchmarkom.
Google Developers Blog · Hill-Climbing Agent Quality with Agents CLI Evaluation ↗
