Ruch AI (Cloudflare)

To boty AI już PO filtrach Cloudflare, które przeszły przez brzeg sieci, czyli to, czego nie odfiltrowano. Boty rozpoznajemy po nagłówku User-Agent deklarowanym przez dostawcę modelu.

Dwa rodzaje ruchu. „Skanowanie i trening" to roboty, które systematycznie pobierają treść, by budować wiedzę modelu lub jego indeks (na przykład GPTBot, ClaudeBot, Google-Extended). „Na żywo" to pobranie wywołane konkretnym pytaniem użytkownika do asystenta (na przykład ChatGPT-User), więc świadczy o realnym zainteresowaniu.

Każde żądanie z brzegu Cloudflare ma nagłówek User-Agent, w którym dostawca modelu deklaruje nazwę swojego robota. Dopasowujemy ten nagłówek do listy znanych sygnatur (poniżej) i na tej podstawie przypisujemy dostawcę oraz cel.

Cel rozpoznajemy po nazwie robota. Boty z końcówką „-User" (ChatGPT-User, Claude-User, Perplexity-User) to pobrania na żywo, wywołane konkretnym pytaniem użytkownika do asystenta. Pozostałe (GPTBot, ClaudeBot, Bytespider i podobne) to skanowanie, systematyczne pobieranie treści do budowy wiedzy lub indeksu modelu. Gdy nazwa nie ujawnia celu, oznaczamy ruch jako nieokreślony.

To rozpoznanie po nazwie, nie po adresie IP, więc jest tak wiarygodne, jak deklaracja dostawcy. Najwięksi dostawcy konsekwentnie podają prawdziwe nazwy.