Robots.txt dla botów AI: wzór, który naprawdę działa

Poniżej trzy gotowe warianty pliku robots.txt: otwarty, blokujący sam trening i zamknięty dla botów AI. Zanim skopiujesz: jedna zasada, bez której plik może wyglądać na politykę i nie robić nic.

Zasada, na której wszystko stoi

RFC 9309 mówi wprost: jeśli w grupie nie ma reguły pasującej do adresu albo nie ma reguł w ogóle, adres jest dozwolony. Ograniczenie powstaje wyłącznie przez Disallow. Robots.txt nie zna trybu „wolno wyłącznie to”: grupa z samą regułą Allow niczego nie zabrania.

W sierpniu 2026, w 56 plikach spółek GPW, jedyna własnoręcznie napisana polityka dla botów AI dawała botom treningowym osobne grupy z jedną linią Allow dla jednego pliku. Autor chciał powiedzieć „możecie wziąć tylko to”; według RFC powiedział „bierzcie wszystko”. Do tego token GoogleExtended zapisany bez łącznika, przez co nie pasował do niczego.

Wariant 1: otwarty (domyślny dla firm, które chcą być cytowane)

Nic nie blokuje, ale zostawia świadomy ślad decyzji, w tym deklarację Content-Signal:

User-agent: *
Disallow:

# Świadoma decyzja: treść dostępna dla wyszukiwania, odpowiedzi i treningu AI.
Content-Signal: search=yes, ai-input=yes, ai-train=yes

Sitemap: https://twojadomena.pl/sitemap.xml

Tak wygląda plik tego serwisu co do intencji: rachunek „kto czyta, ten może zacytować” działa u każdego dostawcy tak samo.

Wariant 2: blokada samego treningu (widoczność zostaje)

Boty odpowiadające bez ograniczeń, boty wyłącznie treningowe zablokowane:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: *
Disallow:

Content-Signal: search=yes, ai-input=yes, ai-train=no

Sitemap: https://twojadomena.pl/sitemap.xml

Wzór wymienia trzy boty treningowe (GPTBot, ClaudeBot, CCBot); pozostałe tokeny z pierwszego pytania w FAQ na tej stronie (Applebot-Extended, Meta-ExternalAgent, Bytespider, Amazonbot) dopisuje się tak samo. Świadomie nie ma tu Google-Extended: to token o podwójnej funkcji, sterujący także groundingiem odpowiedzi Gemini, więc jego blokada kosztuje widoczność w jednym z trzech największych asystentów. Jeśli akceptujesz ten koszt, dopisz analogiczną grupę.

Wariant 3: zamknięty dla botów AI (świadoma rezygnacja z cytowań)

Dla firm, które nie chcą obecności w odpowiedziach AI w ogóle, z pełną świadomością, że przy pytaniach o firmę asystenci oprą się wtedy na cudzych treściach:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Perplexity-User
Disallow: /

User-agent: TerraCotta
Disallow: /

User-agent: LinkupBot
Disallow: /

User-agent: ExaSearchBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Disallow:

Content-Signal: search=yes, ai-input=no, ai-train=no

Sitemap: https://twojadomena.pl/sitemap.xml

Googlebot i Bingbot zostają bez zmian, więc pozycji w wyszukiwarce ten wariant nie rusza. Pozostałe tokeny treningowe z pierwszego pytania FAQ (Applebot-Extended, Meta-ExternalAgent, Bytespider, Amazonbot) dopisuje się tu tak samo jak w wariancie 2.

Nowe boty wyszukiwania dla agentów (październik 2026)

Doszły trzy tokeny: TerraCotta (Ceramic), LinkupBot (Linkup) i ExaSearchBot (Exa). Od 2 października 2026 roku Web Search API Cloudflare pozwala agentom i aplikacjom przeszukiwać sieć w indeksach tych trzech firm. W wariantach 1 i 2 boty te mają dostęp bez zmian w pliku, a do wariantu 3 dodałem dla nich trzy grupy.

Według dokumentacji Cloudflare, odczytanej 4 października 2026 roku, domyślnym dostawcą jest Ceramic z własnym indeksem ponad 40 mld stron; 1000 zapytań kosztuje u niego 0,25 USD, u Linkup 5 USD, a u Exa 7 USD. Cloudflare wymaga od crawlerów dostawców, żeby się przedstawiały i respektowały robots.txt, a od odpowiedzi API, żeby każdy wynik zawierał link do źródła.

Tokeny potwierdziłem tego samego dnia u samych dostawców. Ceramic przedstawia się jako wyszukiwarka dla modeli językowych i radzi tym, którzy chcą udostępnić swoje dane, dopisać Allow: TerraCotta. Taki wiersz nie jest poprawny według RFC 9309, bo wartością Allow jest ścieżka; zgodę dla bota zapisuje się grupą User-agent: TerraCotta z regułą Allow: /. Zgodnie z regułami RFC dostęp daje już wariant 1, ale firma, która chce trafić do indeksu Ceramic, może tę grupę dopisać jawnie. Linkup opisuje LinkupBot jako crawler indeksu, z którego korzystają wyszukiwanie i odpowiedzi aplikacji AI; firma publikuje też listę adresów IP do weryfikacji.

Exa opisuje ExaSearchBot jako crawler do wyszukiwania i odsyłania ludzi oraz aplikacji do treści; jeśli plik nie ma dla niego osobnej grupy, bot stosuje reguły ustawione dla dużych wyszukiwarek, a gdy takich reguł nie ma, grupę *. Exa przypomina też, że robots.txt steruje tylko pobieraniem. Stronę już zaindeksowaną usuwa z indeksu dopiero noindex (w metatagu albo w nagłówku X-Robots-Tag), a bot zobaczy tę dyrektywę tylko przy ponownym pobraniu, więc kto chce usunąć strony z indeksu Exa, ustawia noindex przed dopisaniem blokady. Ogólny noindex usuwa jednak stronę także z Google i Bing, a Exa nie opisuje dyrektywy skierowanej wyłącznie do swojego bota. Dla stron, które mają zostać w wyszukiwarkach, sama blokada w robots.txt zatrzyma jedynie kolejne pobrania; w sprawie stron już zaindeksowanych pozostaje kontakt z Exa przez adres podany na stronie crawlera (support@exa.ai).

U OpenAI o trenowaniu decyduje osobny token GPTBot: według dokumentacji jego blokada oznacza, że treść strony nie powinna być używana do trenowania modeli. Ceramic, Linkup i Exa w opisach swoich crawlerów nie podają osobnego tokenu treningowego i nie piszą, czy zebranych stron używają do trenowania. W wariancie 2 zostawiam tym botom dostęp na podstawie deklarowanego przeznaczenia; kto woli nie ryzykować, dopisze dla nich grupy z Disallow: /, kosztem obecności w wynikach tych trzech wyszukiwarek.

Weryfikacja i trzy zastrzeżenia

Po wdrożeniu sprawdź plik na żywo: curl -sL https://twojadomena.pl/robots.txt, i porównaj tokeny litera po literze z dokumentacją dostawców, bo nazwy botów zmieniają się częściej niż ten plik.

Zastrzeżenie pierwsze: robots.txt to prośba. Uczciwe boty ją honorują, ale techniczną egzekucję daje dopiero zapora. Zastrzeżenie drugie działa w drugą stronę: zapora hostingu może ciąć boty mimo otwartego robots.txt. W sierpniu 2026 trzy spółki odpowiadały botom kodem 403 przy pliku, który tych botów nie blokował. Dlatego sprawdzam plik i zaporę razem; jak to robię, opisuję w diagnozie widoczności.

Zastrzeżenie trzecie: robots.txt porządkuje crawlery budujące indeks, a nie każdy program, który pobiera strony. OpenAI zastrzega w dokumentacji tokenu ChatGPT-User, że przy działaniach uruchamianych przez użytkownika reguły pliku mogą nie mieć zastosowania. Wikimedia Foundation opisała 5 października 2026 roku ruch agentów OpenAI na swoich API: miliony żądań, setki tysięcy zapytań do Wikidata Query Service i możliwy udział w majowej awarii tej usługi. Plik robots.txt projektów Wikimedia zamyka ścieżki /w/ i /api/ przed botami, a polityka botów fundacji każe honorować każdą jego dyrektywę; technicznie granicę stawiają dopiero limity żądań, w Query Service liczone na klienta z odpowiedzią 429. Granicę dla agentów stawia dopiero zapora: limit liczby żądań i wymóg, żeby klient dał się rozpoznać. Co sprawdzić, zanim własny albo cudzy agent narobi szkód, zebrałem w liście kontrolnej izolacji agenta AI.