Malý vydavateľ, ktorý chce povedať, ako sa jeho stránky môžu používať v AI systémoch, dnes premýšľa nad viacerými crawler-mi a pravidlami pre jednotlivých poskytovateľov. Oznámenie OpenAI z 30. októbra smeruje k spoločnému signálu v robots.txt, ktorý by mohli čítať viacerí poskytovatelia naraz.
OpenAI tento krok opisuje ako dobrovoľný a uvádza, že implementácia príde v najbližších mesiacoch. Spoločný signál nenahradí existujúce crawler pravidlá. Konvencia má význam iba vtedy, ak sa zhodne viac strán na jej význame.
Ťažšia je dohoda než jeden riadok textu
Jasná preferencia môže znížiť údržbu a uľahčiť vysvetlenie redakčnej politiky. Neodpovie však, či sa povolenie líši podľa stránky, použitia, fázy tréningu alebo obchodného kontextu. Tieto detaily stále potrebujú vlastnú politiku.
Spoločná preferencia je užitočné rozhranie. Nie je to náhrada spoločnej dohody.
Praktický záver pre tvorcu: maj robots.txt jednoznačný, popíš politiku za ním a nové spoločné signály ber ako interoperabilnú vrstvu na otestovanie, nie ako garanciu rovnakého správania každého poskytovateľa.
OpenAI uvádza, že spoločný signál chce zaviesť v najbližších mesiacoch a existujúce crawler pravidlá zostanú v platnosti.
OpenAI · Making it easier for websites to express AI training preferences ↗
