Czy blokować GPTBot? Rachunek dla strony firmowej

Krótka odpowiedź: dla większości firm blokada GPTBota nie ma uzasadnienia, a jeśli już, to z jasnym rachunkiem: blokuje się nią trening, nie widoczność. Odwrotna pomyłka jest groźniejsza: zablokowanie niewłaściwego bota wycina stronę z odpowiedzi asystentów.

Trzy typy botów, trzy różne stawki

Decyzja „blokować czy nie” jest źle postawiona, dopóki mówi o „botach AI” zbiorczo. Według dokumentacji dostawców boty dzielą się na trzy grupy o różnych konsekwencjach blokady:

Boty odpowiadające — OAI-SearchBot i ChatGPT-User (OpenAI), Claude-SearchBot i Claude-User (Anthropic), PerplexityBot i Perplexity-User. Obsługują wyszukiwanie na żywo: budują indeks albo pobierają stronę, gdy użytkownik zadaje pytanie. Blokada botów indeksujących kosztuje cytowania: OpenAI stwierdza wprost, że strona wypada z odpowiedzi wyszukiwania w ChatGPT, Anthropic pisze ostrożniej o obniżeniu widoczności.

Boty treningowe — GPTBot i ClaudeBot, a pośrednio CCBot, czyli crawler archiwum Common Crawl, z którego korzystają trenujący modele. Zbierają treść do trenowania przyszłych modeli. Ich blokada nie usuwa strony z odpowiedzi budowanych na żywo; oznacza tyle, że treść nie zasili wiedzy wtrenowanej w kolejne wersje modeli.

Token o podwójnej funkcji — Google-Extended. Wygląda na treningowy, ale dokumentacja Google mówi wprost, że steruje także groundingiem, czyli podawaniem treści modelowi Gemini w chwili zapytania. Jego blokada kosztuje więc również kanał odpowiedzi — to pułapka, w którą w moim pomiarze spółek giełdowych wpadły obie firmy blokujące trening. Google zastrzega przy tym, że token nie wpływa na obecność strony w wyszukiwarce ani na jej pozycję w rankingu — dokumentacja opisuje Gemini Apps i Vertex AI.

Wewnątrz grupy botów odpowiadających przebiega jednak granica, którą łatwo przeoczyć. Boty indeksujące, na czele z OAI-SearchBot, czytają robots.txt i stosują się do niego — OpenAI pisze o nich wprost: „Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links”. Inaczej jest z pobraniami na żądanie. O ChatGPT-User dokumentacja OpenAI mówi: „Because these actions are initiated by a user, robots.txt rules may not apply”.

Wpisanie tego bota do robots.txt nie jest więc gwarancją, że nie wejdzie — bo z punktu widzenia dostawcy po drugiej stronie stoi człowiek, który poprosił asystenta o otwarcie strony. Kto chce realnie zamknąć ten kanał, musi sięgnąć do zapory albo reguł na CDN i liczyć się z tym, że zamyka drzwi klientowi.

Rachunek dla typowej firmy

Za blokadą GPTBota przemawia jedna rzecz: zasada. Firma może nie chcieć, żeby jej treść trenowała cudze modele, i ma do tego pełne prawo — tak robią duzi wydawcy, których treść jest produktem samym w sobie.

Przeciw przemawia rachunek widoczności. Obecność w danych treningowych to obecność w wiedzy podstawowej modelu — tej, z której korzysta, zanim sięgnie do wyszukiwania. Firma, o której model „wie” z treningu, ma przewagę nad firmą, którą musi dopiero znaleźć. Dla strony, która żyje z bycia znajdowaną, oddawanie tej przewagi bez wyraźnego powodu jest strategicznie wątpliwe.

Praktyka polskiego rynku jest tu jednoznaczna: na 56 sprawdzonych plików robots.txt największych spółek ani jeden nie blokował botów odpowiadających, a trening blokowały dwie — obie gotowym blokiem od Cloudflare, nie własną regułą. Rynek głosuje dostępnością.

Jeśli blokujesz — zrób to poprawnie

Dwie zasady techniczne, obie z pomiaru realnych plików. Po pierwsze: blokada wymaga reguły Disallow: / w grupie danego bota — grupa z samą regułą Allow niczego nie zabrania, co wynika wprost z RFC 9309 i co widać na przykładzie pliku, który wygląda na politykę, a nią nie jest. Po drugie: pisownia tokenów musi być dokładna — Google-Extended z łącznikiem, bo zapis bez łącznika nie pasuje do niczego.

Gotowy plik z trzema wariantami — otwartym, blokującym sam trening i zamkniętym — znajdziesz we wzorze robots.txt dla botów AI.