Czy blokować GPTBot? Rachunek dla strony firmowej

Krótka odpowiedź: dla większości firm blokada GPTBota nie ma uzasadnienia, a jeśli już, to z jasnym rachunkiem, bo blokuje się nią wyłącznie trening, a widoczność w odpowiedziach zostaje. Groźniejsza jest pomyłka odwrotna, bo zablokowanie niewłaściwego bota wycina stronę z odpowiedzi asystentów.

Trzy typy botów, trzy różne stawki

Dopóki mówimy o „botach AI” zbiorczo, nie da się odpowiedzieć na pytanie „blokować czy nie”. Według dokumentacji dostawców boty dzielą się na trzy grupy o różnych konsekwencjach blokady:

Boty odpowiadające: OAI-SearchBot i ChatGPT-User (OpenAI), Claude-SearchBot i Claude-User (Anthropic), PerplexityBot i Perplexity-User. Obsługują wyszukiwanie na żywo: budują indeks albo pobierają stronę, gdy użytkownik zadaje pytanie. Blokada botów indeksujących kosztuje cytowania: OpenAI stwierdza wprost, że strona wypada z odpowiedzi wyszukiwania w ChatGPT, Anthropic pisze ostrożniej o obniżeniu widoczności.

Boty treningowe: GPTBot i ClaudeBot, a pośrednio CCBot, czyli crawler archiwum Common Crawl, z którego korzystają trenujący modele. Zbierają treść do trenowania przyszłych modeli. Ich blokada nie usuwa strony z odpowiedzi budowanych na żywo; oznacza tyle, że treść nie zasili wiedzy wtrenowanej w kolejne wersje modeli.

Token o podwójnej funkcji: Google-Extended. Wygląda na treningowy, ale dokumentacja Google mówi wprost, że steruje także groundingiem, czyli podawaniem treści modelowi Gemini w chwili zapytania. Jego blokada kosztuje więc również kanał odpowiedzi. To pułapka, w którą w moim pomiarze spółek giełdowych wpadły obie firmy blokujące trening. Google zastrzega przy tym, że token nie wpływa na obecność strony w wyszukiwarce ani na jej pozycję w rankingu: dokumentacja opisuje Gemini Apps i Vertex AI.

Wewnątrz grupy botów odpowiadających przebiega jednak granica, którą łatwo przeoczyć. Boty indeksujące, na czele z OAI-SearchBot, czytają robots.txt i stosują się do niego. OpenAI pisze o nich wprost: „Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links”. Inaczej jest z pobraniami na żądanie. O ChatGPT-User dokumentacja OpenAI mówi: „Because these actions are initiated by a user, robots.txt rules may not apply”.

Wpisanie tego bota do robots.txt nie jest więc gwarancją, że nie wejdzie, bo z punktu widzenia dostawcy po drugiej stronie stoi człowiek, który poprosił asystenta o otwarcie strony. Kto chce realnie zamknąć ten kanał, musi sięgnąć do zapory albo reguł na CDN, a wtedy odcina także użytkownika, który poprosił asystenta o tę stronę.

Rachunek dla typowej firmy

Za blokadą GPTBota przemawia zasada: firma może nie chcieć, żeby jej treść trenowała cudze modele, i ma do tego pełne prawo. Tak robią duzi wydawcy, których treść jest produktem samym w sobie.

Przeciw przemawia rachunek widoczności. Obecność w danych treningowych to obecność w wiedzy podstawowej modelu, tej, z której korzysta, zanim sięgnie do wyszukiwania. Firma, o której model „wie” z treningu, ma przewagę nad firmą, którą musi dopiero znaleźć. Dla strony, która żyje z bycia znajdowaną, oddawanie tej przewagi bez wyraźnego powodu jest strategicznie wątpliwe.

Praktyka polskiego rynku jest tu jednoznaczna: na 56 sprawdzonych plików robots.txt największych spółek ani jeden nie blokował botów odpowiadających, a trening blokowały dwa, oba gotowym blokiem od Cloudflare zamiast własnej reguły.

Jeśli blokujesz, zrób to poprawnie

Dwie zasady techniczne, obie z pomiaru realnych plików. Blokada wymaga reguły Disallow: / w grupie danego bota; grupa z samą regułą Allow niczego nie zabrania, co wynika wprost z RFC 9309 i co widać na przykładzie pliku, który wygląda na politykę, a nią nie jest. Pisownia tokenów musi być dokładna: Google-Extended z łącznikiem, bo zapis bez łącznika nie pasuje do niczego.

Gotowy plik z trzema wariantami (otwartym, blokującym sam trening i zamkniętym) znajdziesz we wzorze robots.txt dla botów AI.