Cloudflare: blokada botów AI po 15 września 2026 i jak ją ustawić

Krótka odpowiedź: Cloudflare nie wprowadził domyślnej blokady botów AI w formie zapowiedzianej 1 lipca 2026 roku. Od 15 września nowa domena dostaje przy dodawaniu propozycję ustawień. Jeśli właściciel zaznaczy, że zarabia na reklamach, kategoria Agent jest blokowana na stronach z reklamami, a Training dostaje zakaz trenowania w robots.txt. Bez reklam wszystko jest przepuszczane. Istniejące domeny przeszły migrację bez nowych blokad, chyba że miały stary przełącznik „Block AI bots”. Dla widoczności w wyszukiwarkach ważniejsze jest to, że od 15 września opcja Block w kategorii Training odcina także Googlebota, Bingbota i Applebota. Wszystkie te ustawienia, także na planie darmowym, zmienisz w Security → Settings → Configure AI bot policies.

Pierwsza wersja tego tekstu, z 12 sierpnia 2026 roku, opisywała plan z 1 lipca. Zaczynam od instrukcji ustawień sprawdzonej 11 października, a plan z lipca i jego dwie zmiany opisuję po niej.

Jak zablokować albo odblokować boty AI w Cloudflare

Nazwy menu podaję według dokumentacji Cloudflare odczytanej 11 października 2026 roku. Na własnym koncie tej ścieżki nie przechodziłem, więc panel może je pokazywać nieco inaczej.

1. W panelu dash.cloudflare.com wybierz domenę, potem Security → Settings, filtr Bot traffic i Configure AI bot policies. W starszym układzie panelu te ustawienia były w Security → Bots.
2. Dla kategorii Search, Agent i Training wybierz Allow, Block on pages with ads albo Block. Training ma dodatkowo opcję Disallow AI Training. Ustawienia działają na całą domenę i są dostępne na każdym planie, także darmowym.
3. Zdecyduj o przełączniku Enable Bot Preference Sync. Gdy jest włączony, a któraś kategoria ma blokadę albo zakaz trenowania, Cloudflare dopisuje na początku robots.txt własny blok z deklaracją Content-Signal i regułami Disallow dla botów takich jak GPTBot, ClaudeBot, Google-Extended i CCBot. Listę botów aktualizuje sam.
4. Zapisz zmiany przyciskiem Save.
5. Pojedynczego bota zablokujesz albo przepuścisz w AI Crawl Control → Crawlers, w kolumnie Action. Blokada tworzy regułę zapory o nazwie AI Crawl Control. Google-Extended nie ma tam przełącznika, bo to tylko wpis w robots.txt, bez osobnego crawlera.

Odblokowanie to ta sama ścieżka w drugą stronę: Search, Agent i Training na Allow, w razie potrzeby wyłączony Bot Preference Sync i żaden bot z blokadą w AI Crawl Control. Dokumentacja nie opisuje, czy Allow dla jednego bota zwalnia go z blokady całej kategorii, więc pewniejszy jest układ odwrotny: kategoria na Allow, a niechciane boty blokowane pojedynczo. Allow nie chroni też przed innymi regułami zapory, które działają wcześniej.

Efekt sprawdzisz na trzy sposoby. Pierwszy to sam plik robots.txt:

curl -s https://twojadomena.pl/robots.txt | head -40

Jeśli na początku stoi blok Cloudflare z linią Content-signal i regułami Disallow dla botów AI, Bot Preference Sync działa. Drugi sposób to AI Crawl Control → Metrics → Status code distribution, gdzie widać odpowiedzi 403 i 402. Na planie darmowym dane obejmują tylko ostatnie 24 godziny. Trzeci to zdarzenia bezpieczeństwa w Security → Analytics, przefiltrowane po nagłówku User-Agent bota.

Jeśli chcesz tylko zakazać trenowania modeli na swoich treściach, w kroku 2 wybierz dla Training Disallow AI Training, bo Block odcina od 15 września także wyszukiwarki.

Co Cloudflare zapowiedział 1 lipca 2026

W ogłoszeniu z 1 lipca 2026 Cloudflare podzielił ruch botów AI na trzy kategorie, zarządzane osobno także na planie darmowym:

• Search: boty wyszukiwania, budujące indeksy i odsyłające użytkowników do stron;
• Agent: ruch wykonywany w imieniu użytkownika (asystent, który na czyjąś prośbę wchodzi na stronę i wykonuje zadanie);
• Training: zbieranie treści do trenowania modeli.

Według tej zapowiedzi od 15 września nowe domeny wchodzące do Cloudflare miały dostać domyślną blokadę kategorii Training i Agent na stronach wyświetlających reklamy, a Search miał pozostać przepuszczany. Logika Cloudflare: reklama to sygnał, że strona była pomyślana dla ludzkich oczu. Istniejących konfiguracji nowe ustawienia domyślne miały nie ruszać, ale blokada treningu, także starym przełącznikiem „Block AI bots”, miała od 15 września zatrzymywać również Googlebota, Applebota i Bingbota. Do 15 września plan zmienił się jeszcze dwa razy.

Co zmieniło się 21 sierpnia i 15 września 2026

Najpierw, 21 sierpnia, Cloudflare ogłosił Bot Preference Sync, czyli funkcję, która zapisuje wybór dla trzech kategorii w pliku robots.txt i zastępuje dotychczasowy Managed robots.txt. W tym samym wpisie podał, że nowe domeny bez reklam nie dostaną domyślnie żadnych blokad. We wpisie z 15 września opisał stan końcowy w tabeli ustawień zalecanych dla nowych domen:

Te ustawienia kreator dodawania domeny tylko proponuje, a według Cloudflare każde z nich można zmienić od razu albo później. Istniejące domeny zachowały ustawienia z dwoma wyjątkami. Domeny ze starym przełącznikiem „Block AI bots” dostały w migracji Disallow AI Training dla kategorii Training i Block on pages with ads dla kategorii Agent, więc po migracji blokują agentów na stronach z reklamami. Domeny, które już wcześniej miały w kategorii Training ustawione Block albo Block on pages with ads, dostały w tej kategorii Disallow AI Training.

Druga zmiana z 15 września dotyczy crawlerów mieszanych, które zbierają treści i do wyszukiwarki, i do trenowania modeli. Od tego dnia obejmują je także opcje Block i Block on pages with ads w kategorii Training. Cloudflare pisze wprost, że taka blokada zatrzyma Applebota, Bingbota i Googlebota, również w wyszukiwarce. Kto chce zakazać trenowania i zostać w Google, wybiera Disallow AI Training. Cloudflare dopisuje wtedy zakaz do robots.txt i blokuje crawlery treningowe, a Applebota, Bingbota i Googlebota przepuszcza do wyszukiwania. Te trzy crawlery mieszane Cloudflare uznaje za Accountable, czyli spełniające jego wymogi albo zobowiązane do ich spełnienia. Według tego samego wpisu Microsoft planuje odczytywanie zakazu trenowania z robots.txt na początek 2027 roku; do tego czasu Disallow AI Training nie przekaże tego zakazu Bingowi.

Czy zweryfikowany bot respektuje ustawienia strony

Status Verified bot nie wystarcza do oceny jego zachowania. W komunikacie z 16 października 2026 roku Cloudflare opisał system sprawdzający, czy zweryfikowane boty respektują robots.txt oraz ograniczają ruch po odpowiedzi HTTP 429, czyli „zbyt wiele żądań”. Ocenia powtarzające się zachowanie, a nie pojedynczy błąd.

Według komunikatu odczytanego 20 października system działa już wewnątrz Cloudflare. Publikacja ocen w Radar i możliwość wyboru progu zaufania przez klientów pozostają planem. Nie jest to jeszcze dodatkowy przełącznik, który właściciel strony może włączyć według instrukcji powyżej.

Przy przeglądzie logów sprawdziłbym osobno tożsamość bota, odwiedzane ścieżki i częstotliwość żądań po kodzie 429. Sama nazwa User-Agent nie potwierdza tożsamości. Żądanie do zabronionej ścieżki trzeba zestawić z regułami robots.txt obowiązującymi w tym czasie. Powtarzające się naruszenia pomagają ocenić, czy problem jest stały. Taką kontrolę można połączyć z przeglądem reguł dla botów AI.

Precedens szerszy niż zasięg

Bezpośrednio zmiana z 15 września dotyczy nowych domen i tych, które miały stary przełącznik blokady, ale pokazuje, w którą stronę idą ustawienia domyślne całej sieci.

Ustawienie domyślne zostaje wszędzie tam, gdzie nikt go nie zmieni, więc to, co infrastruktura ustawi „na start”, staje się z czasem stanem faktycznym sieci. Cloudflare deklaruje, że stoi za ponad jedną piątą domen WWW, więc jego domyślne wybory działają w praktyce jak regulacja.

Kategoria Agent różni się od crawlera. Blokada agenta odprawia z niczym klienta, który wysłał asystenta po ofertę. Crawler wyłącznie treningowy, taki jak GPTBot, można blokować bez straty widoczności, co opisałem przy GPTBocie, ale agent działa na rzecz konkretnego człowieka, który właśnie czymś się interesuje. O tym, jak rośnie ta kategoria ruchu, piszę osobno przy agentach w przeglądarce.

Zmiana przypomina też o warstwie, której nie widać w żadnym pliku strony: zapora działa ponad robots.txt. W moim pomiarze 60 spółek GPW z sierpnia 2026 trzy strony odpowiadały botom kodem 403 przy robots.txt, który nie blokował żadnego bota odpowiadającego. U jednej z nich plik nie zawierał o botach AI ani jednej linijki, a blokada siedziała w zaporze. Po 15 września takie przypadki mogą wynikać także z migracji: domeny ze starym przełącznikiem „Block AI bots” blokują teraz kategorię Agent na stronach z reklamami.

Co zrobić u siebie

Jeśli strona stoi za Cloudflare albo innym CDN, wejdź w ustawienia zarządzania botami AI i zapisz decyzję dla każdej z trzech kategorii, niezależnie od tego, czy będzie brzmiała „przepuszczaj”, czy „blokuj”. Firma, która chce być cytowana przez asystentów, zostawia otwarte Search i nie blokuje Agent bez namysłu. Przy Training wchodzą w grę inne względy, ale zakaz trenowania ustawia się opcją Disallow AI Training, bo Block od 15 września odcina też wyszukiwarki.

Przed każdą migracją hostingu albo CDN sprawdź też domyślne blokady botów. Ustawienia domyślne zmieniają się cicho, jak właśnie 15 września, a skutek wygląda jak niewyjaśniony spadek obecności w odpowiedziach AI. Tę samą decyzję zapisz przy okazji w samym pliku: deklaracją Content-Signal, którą boty czytają niezależnie od infrastruktury.