Agent działający w demie nie musi przetrwać zmiany modelu, narzędzia ani kształtu prośby. Trwałym produktem jest pętla wokół niego: przypadki testowe, ocena, diagnoza, zmiana i kolejny przebieg.
W poradniku Google ta pętla staje się konkretna. Opisane są komendy do generowania śladów, oceniania, porównywania przebiegów, grupowania błędów i optymalizacji promptu. Przykład pokazuje, że mała zmiana promptu może obniżyć wynik.
Wynik nie jest diagnozą
Pętla regresji jest funkcją produktu, która utrzymuje agenta w ryzach.
Mały twórca może zacząć od wąskiego zestawu przypadków z prawdziwej pracy. Trzymaj go w kontroli wersji, zapisuj model i narzędzia, a propozycje zmian promptu sprawdzaj pod kątem przeuczenia. Lepszy wynik ma znaczenie tylko wtedy, gdy agent lepiej wykonuje realną pracę.
Google opisuje komendy ewaluacyjne Agents CLI i przykładowy projekt; podane wyniki pochodzą z przykładu i nie są niezależnym benchmarkiem.
Google Developers Blog · Hill-Climbing Agent Quality with Agents CLI Evaluation ↗
