Jak tester czyta plik
Tester stosuje zasady z normy RFC 9309, która od 2022 roku opisuje format robots.txt. Najpierw dzieli plik na linie i usuwa komentarze od znaku #. Kilka linii User-agent jedna pod drugą tworzy grupę, a reguły Allow i Disallow należą do niej aż do kolejnej linii User-agent. Pusta linia grupy nie zamyka. Nie zamykają jej też linie spoza normy, takie jak Sitemap czy Content-Signal.
Potem dla każdego bota szukam grup z jego nazwą. Wielkość liter w nazwie nie ma znaczenia, więc gptbot i GPTBot to ten sam bot. Jeśli bot ma kilka grup, ich reguły się łączą. Grupa * obowiązuje tylko boty, które nie mają własnej, a gdy w pliku nie ma ani grupy bota, ani grupy *, bot ma pełny dostęp.
Na koniec porównuję adres z regułami tej grupy. Wygrywa reguła z najdłuższym wzorcem, liczonym w bajtach po zakodowaniu znaków. Przy remisie wygrywa Allow, a gdy nic nie pasuje, adres jest dozwolony. Gwiazdka we wzorcu oznacza dowolny ciąg znaków, a $ na końcu oznacza koniec adresu. Polskie litery i spacje koduję procentowo w UTF-8, jak wymaga norma, więc reguła z /usługi pasuje do adresu /us%C5%82ugi. Adres /robots.txt jest zawsze dozwolony, a puste Disallow tester traktuje jak brak reguły.
Dwie z tych zasad norma podaje jako zalecenie, a nie obowiązek: rozróżnianie wielkości liter w ścieżkach i wybór Allow przy remisie. Dlatego wynik podpisuję jako wynik według RFC 9309. Konkretny bot może czytać plik inaczej, na przykład tolerować literówki w nazwach dyrektyw.
Co pokazuje wynik
Dla każdego bota tabela pokazuje grupę, którą stosuje (własną, kilka połączonych, grupę * albo żadną), wynik dla wybranego adresu i regułę, która zdecydowała, z numerem linii. Przy kilku adresach dochodzi zestawienie wszystkich naraz. Pod tabelą są uwagi do pliku: reguły przed pierwszą linią User-agent, brak dwukropka, literówki w nazwach dyrektyw, kilka botów w jednej linii User-agent, rozrzucone grupy tego samego bota, pusta linia albo linia Crawl-delay, które nie zamykają grupy, plik większy niż 500 KiB i strona HTML wklejona zamiast pliku. Linie spoza normy, czyli Sitemap, Content-Signal i Crawl-delay, tester wypisuje osobno, bo nie zmieniają wyniku.
Każdy wiersz ma kartę bota z opisem według dokumentacji dostawcy. Karta mówi na przykład, że Google-Extended i Applebot-Extended to tokeny kontroli użycia treści, a nie roboty, i że ChatGPT-User oraz Perplexity-User według swoich dostawców mogą pominąć robots.txt, bo pobierają stronę na prośbę użytkownika.
Czego tester nie robi
- Nie pobiera pliku z Twojej domeny. Przeglądarka zwykle nie pozwala stronie odczytać pliku z innej domeny (CORS), więc treść trzeba wkleić. Otwórz adres swojej strony z dopiskiem /robots.txt, zaznacz całość i skopiuj.
- Nie sprawdza odpowiedzi serwera. Według RFC 9309, gdy serwer zwraca dla robots.txt błąd z grupy 4xx, na przykład 404, robot może pobierać wszystko. Gdy zwraca błąd 5xx albo nie odpowiada, robot ma przyjąć pełną blokadę. Zapora lub hosting mogą też odrzucać boty kodem 403 bez względu na treść pliku.
- Nie odtwarza wszystkich zasad dostawców. Google pisze, że część jego robotów ma kilka tokenów, a robot wybiera grupę z najbardziej szczegółową pasującą nazwą. Na przykład Googlebot-Image bez własnej grupy korzysta z reguł dla Googlebot. Apple pisze, że Applebot bez własnej grupy stosuje reguły dla Googlebot. Zasadę Apple tester pokazuje osobno w wierszu Applebot, resztę liczy według normy.
- Nie mówi, czy bot naprawdę przestrzega pliku. Robots.txt to prośba, a nie zabezpieczenie. RFC 9309 zaznacza, że nie zastępuje ochrony treści, a ścieżki wpisane w pliku każdy może przeczytać.
- Nie wysyła treści pliku. Analiza działa w przeglądarce. Plik nie trafia na serwer, do adresu strony ani do statystyk.
Przykłady
Każdy z tych przypadków sprawdzisz w testerze, a część z nich wczytasz jednym kliknięciem z przykładów nad polem tekstowym. W przykładzie z błędami literówka Dissalow według RFC 9309 zostawia koszyk otwarty dla botów z tabeli, choć autor pliku chciał go zablokować. Robot może taką literówkę tolerować, ale na tym nie warto polegać.
| Sytuacja | Reguły w pliku | Wynik według RFC 9309 |
|---|---|---|
| Bot z własną grupą | User-agent: * z Disallow: /panel/, a niżej User-agent: GPTBot z Allow: / | GPTBot wchodzi do /panel/, bo czyta tylko swoją grupę. Zakaz trzeba przepisać do jego grupy. |
| Najdłuższe dopasowanie | Disallow: /oferta/ i Allow: /oferta/cennik | /oferta/cennik dozwolony, bo reguła Allow jest dłuższa. /oferta/archiwum zablokowany. |
| Remis długości | Disallow: /blog i Allow: /blog | Dozwolone. Przy równej długości RFC 9309 zaleca Allow. |
| Koniec adresu | Disallow: /*.pdf$ | /cennik.pdf zablokowany, /cennik.pdf?v=2 dozwolony, bo $ wymaga, żeby adres kończył się na .pdf. |
| Polskie litery | Disallow: /usługi/archiwum | Blokuje /usługi/archiwum/2025, bo obie ścieżki koduję tak samo: /us%C5%82ugi/archiwum. |
| Literówka | Dissalow: /koszyk | Niczego nie blokuje. Tester wskaże linię i podpowie zapis Disallow. |
| Kilka botów w jednej linii | User-agent: GPTBot, ClaudeBot, a pod nim Disallow: / | ClaudeBot nie dostaje zakazu, bo linia User-agent wskazuje jednego bota. Tester porówna tylko GPTBot i wskaże linię do poprawy. |
| Puste Disallow | User-agent: GPTBot, a pod nim Disallow: bez wartości | GPTBot ma pełny dostęp i nie stosuje grupy *. |
| Pusta linia między botami | User-agent: GPTBot, pusta linia, User-agent: * i Disallow: /prywatne/ | To jedna grupa, więc GPTBot też ma zakaz /prywatne/. Pusta linia nie zamyka grupy. |
Wyniki dla botów, które nie mają w pliku innych grup niż opisane w wierszu.
Boty i tokeny w tabeli
| Token | Dostawca | Rodzaj | Do czego służy |
|---|---|---|---|
| GPTBot | OpenAI | trenowanie modeli | Zbiera treści, które mogą trafić do trenowania modeli OpenAI. |
| OAI-SearchBot | OpenAI | wyszukiwarka w asystencie AI | Indeksuje strony do wyników wyszukiwania w ChatGPT. |
| ChatGPT-User | OpenAI | pobranie na prośbę użytkownika | Otwiera stronę, gdy użytkownik ChatGPT o to poprosi. |
| ClaudeBot | Anthropic | trenowanie modeli | Zbiera treści, które mogą trafić do trenowania modeli Anthropic. |
| Claude-SearchBot | Anthropic | wyszukiwarka w asystencie AI | Indeksuje strony do wyszukiwania w Claude. |
| Claude-User | Anthropic | pobranie na prośbę użytkownika | Pobiera stronę, gdy użytkownik Claude zada pytanie. |
| PerplexityBot | Perplexity | wyszukiwarka w asystencie AI | Indeksuje strony do wyników wyszukiwania Perplexity. |
| Perplexity-User | Perplexity | pobranie na prośbę użytkownika | Otwiera stronę, gdy użytkownik Perplexity zada pytanie. |
| Googlebot | wyszukiwarka | Robot wyszukiwarki Google. | |
| Bingbot | Microsoft | wyszukiwarka | Robot wyszukiwarki Bing. |
| Applebot | Apple | wyszukiwarka | Robot internetowy Apple. |
| CCBot | Common Crawl | archiwum stron | Robot Common Crawl. Z jego danych korzystają inni, także do trenowania modeli. |
| Google-Extended | token kontroli użycia treści, nie robot | Zgoda na użycie treści w modelach Gemini. Nie jest robotem. | |
| Applebot-Extended | Apple | token kontroli użycia treści, nie robot | Zgoda na trenowanie modeli Apple. Nie jest robotem. |
Opisy według dokumentacji dostawców sprawdzonej 12 listopada 2026. Dostawcy dopisują nowe boty, więc przed zmianą pliku zajrzyj do ich dokumentacji.
Google-Extended i Applebot-Extended nie pobierają stron. Strony pobierają zwykłe roboty Google i Applebot, a reguła dla tokenu decyduje tylko o tym, czy pobrana treść może posłużyć do trenowania modeli, a u Google także do ugruntowania odpowiedzi Gemini. Blokada tokenu nie usuwa strony z wyszukiwarki. Starszy token anthropic-ai tester oznacza jako wycofany: grupa z tą nazwą nie obejmuje ClaudeBot ani innych botów Anthropic, bo każdy z nich szuka grupy po własnym tokenie. Każdy inny token wpiszesz w polu własnego bota.
Co zrobić z wynikiem
Najczęstsza pułapka to bot z własną grupą, do której nikt nie przepisał zakazów z grupy *. Druga to przełącznik „blokuj boty AI” w hostingu albo we wtyczce, który może wyciąć naraz boty treningowe i boty wyszukiwarek w asystentach. Który bot do czego służy i co daje blokada, opisuję w tekście boty AI w robots.txt.
Robots.txt decyduje o dostępie, ale nie mówi botom, co jest na stronie. Do tego służą plik llms.txt i dane strukturalne na stronie firmy. Jak firma trafia do odpowiedzi asystentów, piszę na stronie widoczność firmy w ChatGPT, a jak podsumowania AI w Google zmieniają ruch, w tekście AI Overviews a ruch na stronie firmy.
Jeśli wynik Cię zaskoczył, sprawdzę plik razem z ustawieniami zapory i logami serwera: czy boty, które mają wejść, dostają odpowiedź 200, a nie 403. Mogę to zrobić w ramach audytu strony albo jako osobne zlecenie, wycena po rozmowie. Szerzej o pozycjonowaniu piszę na stronie SEO dla firm, a pozostałe kalkulatory i testy są w dziale darmowe narzędzia.
Nie wiesz, czy asystenci AI widzą Twoją stronę?
Podaj adres strony. Sprawdzę robots.txt, zaporę i to, co serwer odpowiada botom ChatGPT, Claude i Perplexity.
Napisz do mnieŹródła
Zasady liczenia pochodzą z RFC 9309, a opisy botów z dokumentacji dostawców, którą sprawdziłem 12 listopada 2026. Dostawcy dopisują nowe boty i zmieniają opisy, więc przed zmianą pliku zajrzyj do ich dokumentacji.
- RFC 9309: Robots Exclusion Protocol (IETF, RFC Editor)
- Overview of OpenAI Crawlers (OpenAI)
- Does Anthropic crawl data from the web, and how can site owners block the crawler? (Anthropic)
- Perplexity Crawlers (Perplexity)
- Google's common crawlers (Google for Developers)
- Overview of Bing crawlers (user agents) (Microsoft Bing)
- About Applebot (Apple)
- CCBot (Common Crawl)
- Common Crawl FAQ (Common Crawl)