Väčšina automatizačných promptov potichu starne. Repozitár sa zmení, štandardy sa posunú a výstup slabne. GitHub chce z tejto stopy výsledkov vytvoriť návrhovú slučku.
GitHub uvádza signály ako zmena labelov po triáži, prijatie review komentára alebo merge pull requestu. Improvement automation z nich navrhne zmenu promptu, nástrojov alebo triggerov.
Feedback nie je pravda
Mergnutý pull request môže znamenať užitočnosť alebo iba rýchle schválenie. Nezmenený label môže byť správny alebo ho nikto nekontroloval. Slučka z týchto signálov nerobí čistý ground truth.
Aj self-improving workflow potrebuje človeka, ktorý vie povedať, čo je zlepšenie.
Použi slučku na úzkej úlohe s merateľným signálom. Návrhy kontroluj ako kód a odmietaj zlepšenia, ktoré optimalizujú aktivitu namiesto užitočného výsledku.
GitHub uvádza, že improvement automation analyzuje zmenené labely, prijaté review komentáre alebo mergnuté pull requesty a pred zmenou upozorní používateľa.
GitHub Changelog · Copilot Automations now learn from outcomes and self-improve ↗