Boty AI w robots.txt: które blokować, a które wpuścić
Coraz więcej firm dostaje od hostingu, wtyczki albo Cloudflare przełącznik „blokuj boty AI”. Wygląda niewinnie, ale ten sam przełącznik może wyciąć firmę z odpowiedzi ChatGPT i Claude. Wyjaśniam, który bot do czego służy.
Autor: Szymon Łakomy. Aktualizacja:
Trzy rodzaje botów AI
| Dostawca | Trenowanie modeli | Wyszukiwarka w asystencie | Pobranie na prośbę użytkownika |
|---|---|---|---|
| OpenAI (ChatGPT) | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic (Claude) | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | dokumentacja nie wymienia bota do trenowania | PerplexityBot | Perplexity-User |
| Google-Extended (token, nie osobny robot) | Googlebot, ten sam co dla wyszukiwarki | narzędzia Google pobierające stronę na prośbę użytkownika |
Nazwy według dokumentacji dostawców w źródłach na dole strony. Dostawcy dopisują nowe boty, więc listę sprawdzam przy każdej zmianie robots.txt.
Każdy z tych botów ma osobny token w robots.txt, więc blokada jednego nie blokuje pozostałych. OpenAI pisze wprost, że GPTBot i OAI-SearchBot ustawia się niezależnie: możesz nie oddawać treści do trenowania, a nadal pojawiać się w wynikach wyszukiwania ChatGPT.
Co daje blokada, a co odbiera
Blokada bota treningowego
GPTBot albo ClaudeBot nie pobiera nowych stron do zbiorów treningowych. Nie usuwa to treści, które już trafiły do modeli, i według dokumentacji dostawców nie wpływa na wyniki wyszukiwania w ich asystentach.
Blokada bota wyszukiwarki
OAI-SearchBot, Claude-SearchBot albo PerplexityBot nie zindeksuje strony. Asystent może dalej znać nazwę firmy z innych serwisów, ale nie zacytuje Twojej strony jako źródła. Dla firmy, która szuka klientów, to zwykle strata.
Blokada pobrań na prośbę
ChatGPT-User czy Perplexity-User odwiedza stronę, bo użytkownik wkleił link albo zadał pytanie. Dostawcy zaznaczają, że reguły robots.txt mogą tych pobrań nie obejmować, bo działają w imieniu człowieka.
Google-Extended
Decyduje, czy treść pobrana przez roboty Google może służyć do trenowania i ugruntowania modeli Gemini. Nie wpływa na obecność w wyszukiwarce, AI Overviews ani trybie AI. Wyjście z AI Overviews oznacza ograniczenie fragmentów (nosnippet), a to działa też na zwykłe wyniki.
Pułapka, którą widzę najczęściej
Bot, który ma w robots.txt własną grupę `User-agent`, czyta tylko tę grupę i ignoruje grupę `User-agent: *`. Tak opisuje to norma RFC 9309. Jeśli więc w pliku jest grupa dla GPTBot z jedną regułą, a wszystkie zakazy dla katalogów administracyjnych stoją w grupie ogólnej, GPTBot ich nie zobaczy. Odwrotnie też: wpis `Disallow: /` dla jednego bota nie dotyczy innych.
Druga pułapka jest poza plikiem. Zapora na hostingu albo w Cloudflare potrafi blokować boty AI na poziomie serwera i robots.txt nic tu nie zmieni. Bot dostaje kod 403 i tyle. Przy audycie strony sprawdzam oba poziomy: plik i to, co serwer faktycznie odpowiada botom.
Jak ustawiam robots.txt dla firmy usługowej
Firma, która sprzedaje usługi i chce zapytań, zwykle zyskuje na tym, że asystenci znają jej ofertę. Dlatego domyślnie zostawiam dostęp wszystkim botom wyszukiwarek i asystentów, a o botach treningowych decyduje właściciel. Ten serwis wpuszcza wszystkie boty AI i opisuje to w pliku sygnałem Content-Signal, a do tego ma llms.txt.
- Spisuję, co dziś jest w robots.txt i co dopisują wtyczki, hosting i CDN.
- Ustalam z właścicielem jedną decyzję: czy treść może służyć do trenowania modeli. Od niej zależy, czy GPTBot, ClaudeBot i Google-Extended dostają `Disallow: /`.
- Boty wyszukiwarek AI zostawiam z dostępem, a jeśli dostają własną grupę, kopiuję do niej zakazy z grupy ogólnej.
- Sprawdzam w logach serwera, czy boty dostają kod 200, a nie 403 z zapory.
- Raz na kwartał porównuję listę z dokumentacją dostawców, bo pojawiają się nowe nazwy.
Wydawca treści a firma usługowa
Wydawca, który żyje z odsłon artykułów, ma powód, żeby blokować trenowanie: treść jest jego produktem. Firma usługowa ma odwrotny interes. Jej strona to katalog oferty, cen i odpowiedzi na pytania klientów, a im więcej asystentów zna te informacje dokładnie, tym większa szansa, że poleci firmę we właściwym kontekście. Więcej o tym, co poza robots.txt wpływa na polecenia, piszę na stronie widoczność firmy w ChatGPT. Dostęp bota wyszukiwania OpenAI ma znaczenie także dla sklepów, o czym piszę na stronie sprzedaż przez ChatGPT.
Źródła
Opis opieram na poniższych źródłach. Przepisy, dokumentacja producentów i warunki usług się zmieniają, więc szczegóły warto sprawdzić u źródła:
- Overview of OpenAI Crawlers (OpenAI)
- Does Anthropic crawl data from the web, and how can site owners block the crawler? (Anthropic)
- Perplexity Crawlers (Perplexity)
- List of Google's common crawlers (Google Search Central)
- AI features and your website (Google Search Central)
- RFC 9309: Robots Exclusion Protocol (IETF, RFC Editor)
Najczęstsze pytania
Czy zablokowanie GPTBot usunie firmę z ChatGPT?
Nie. GPTBot zbiera treści do trenowania modeli. Za wyniki wyszukiwania w ChatGPT odpowiada OAI-SearchBot i OpenAI ustawia te boty niezależnie. Blokując tylko GPTBot, nadal możesz być cytowany w wyszukiwaniu ChatGPT.
Czy blokada Google-Extended wyłączy AI Overviews dla mojej strony?
Nie. Google-Extended nie wpływa na wyszukiwarkę Google, w tym na AI Overviews i tryb AI. Strona trafia tam przez zwykłe indeksowanie Googlebota. Ograniczyć to można dyrektywami nosnippet lub max-snippet, które działają też na zwykłe opisy w wynikach.
Gdzie sprawdzić, które boty AI odwiedzają moją stronę?
W logach serwera albo w panelu hostingu, filtrując po nazwach w polu user agent. Cloudflare pokazuje ruch botów AI w osobnym raporcie. GA4 tego nie zobaczy, bo boty nie uruchamiają skryptów.
Czy wtyczka „blokuj boty AI” w WordPressie to dobry pomysł?
Dla firmy usługowej zwykle nie, jeśli blokuje wszystko naraz. Takie wtyczki często wycinają także boty wyszukiwarek w ChatGPT i Claude. Lepiej ustawić robots.txt świadomie, bot po bocie.
Czy boty AI respektują robots.txt?
Boty treningowe i wyszukiwarek dużych dostawców deklarują, że tak. Dla pobrań na prośbę użytkownika dostawcy zastrzegają, że reguły mogą nie obowiązywać. Podszywanie się pod znane nazwy botów się zdarza, dlatego przy blokadach na zaporze weryfikuje się adresy IP publikowane przez dostawców.
Powiązane strony
Nie wiesz, czy Twoja strona wpuszcza asystentów AI?
Podaj adres strony. Sprawdzę robots.txt, ustawienia zapory i to, co serwer odpowiada botom ChatGPT, Claude i Perplexity.