---
title: "Tester robots.txt dla botów AI: GPTBot, ClaudeBot"
url: "https://szymonlakomy.pl/tester-robots-txt"
description: "Darmowy tester robots.txt według RFC 9309. Sprawdź, czy GPTBot, ClaudeBot, PerplexityBot i Googlebot mają dostęp do adresu i która reguła decyduje."
updated: "2026-11-12"
author: "Szymon Łakomy"
language: "pl"
---

[Strona główna](https://szymonlakomy.pl/) [Darmowe narzędzia](https://szymonlakomy.pl/narzedzia) Tester robots.txt

# Tester robots.txt dla botów AI i wyszukiwarek

Wklej treść pliku robots.txt i wpisz adresy, a tester pokaże dla botów AI i wyszukiwarek (GPTBot, ClaudeBot, PerplexityBot, Googlebot i innych), którą grupę reguł stosują, czy mają dostęp do adresu i która linia o tym zdecydowała. Liczę według normy RFC 9309: grupy tego samego bota się łączą, bot z własną grupą pomija grupę *, a wygrywa najdłuższa pasująca reguła. Plik nie opuszcza przeglądarki.

Autor: [Szymon Łakomy](https://szymonlakomy.pl/o-mnie). Lista botów sprawdzona: 12 listopada 2026

## Wklej robots.txt i sprawdź boty

Treść pliku zostaje w Twojej przeglądarce. Tester niczego nie wysyła, nie zapisuje i nie dopisuje do adresu strony.

Nie masz pliku pod ręką? Wczytaj przykład:

## Jak tester czyta plik

Tester stosuje zasady z normy RFC 9309, która od 2022 roku opisuje format robots.txt. Najpierw dzieli plik na linie i usuwa komentarze od znaku #. Kilka linii User-agent jedna pod drugą tworzy grupę, a reguły Allow i Disallow należą do niej aż do kolejnej linii User-agent. Pusta linia grupy nie zamyka. Nie zamykają jej też linie spoza normy, takie jak Sitemap czy Content-Signal.

Potem dla każdego bota szukam grup z jego nazwą. Wielkość liter w nazwie nie ma znaczenia, więc gptbot i GPTBot to ten sam bot. Jeśli bot ma kilka grup, ich reguły się łączą. Grupa * obowiązuje tylko boty, które nie mają własnej, a gdy w pliku nie ma ani grupy bota, ani grupy *, bot ma pełny dostęp.

Na koniec porównuję adres z regułami tej grupy. Wygrywa reguła z najdłuższym wzorcem, liczonym w bajtach po zakodowaniu znaków. Przy remisie wygrywa Allow, a gdy nic nie pasuje, adres jest dozwolony. Gwiazdka we wzorcu oznacza dowolny ciąg znaków, a $ na końcu oznacza koniec adresu. Polskie litery i spacje koduję procentowo w UTF-8, jak wymaga norma, więc reguła z /usługi pasuje do adresu /us%C5%82ugi. Adres /robots.txt jest zawsze dozwolony, a puste Disallow tester traktuje jak brak reguły.

Dwie z tych zasad norma podaje jako zalecenie, a nie obowiązek: rozróżnianie wielkości liter w ścieżkach i wybór Allow przy remisie. Dlatego wynik podpisuję jako wynik według RFC 9309. Konkretny bot może czytać plik inaczej, na przykład tolerować literówki w nazwach dyrektyw.

## Co pokazuje wynik

Dla każdego bota tabela pokazuje grupę, którą stosuje (własną, kilka połączonych, grupę * albo żadną), wynik dla wybranego adresu i regułę, która zdecydowała, z numerem linii. Przy kilku adresach dochodzi zestawienie wszystkich naraz. Pod tabelą są uwagi do pliku: reguły przed pierwszą linią User-agent, brak dwukropka, literówki w nazwach dyrektyw, kilka botów w jednej linii User-agent, rozrzucone grupy tego samego bota, pusta linia albo linia Crawl-delay, które nie zamykają grupy, plik większy niż 500 KiB i strona HTML wklejona zamiast pliku. Linie spoza normy, czyli Sitemap, Content-Signal i Crawl-delay, tester wypisuje osobno, bo nie zmieniają wyniku.

Każdy wiersz ma kartę bota z opisem według dokumentacji dostawcy. Karta mówi na przykład, że Google-Extended i Applebot-Extended to tokeny kontroli użycia treści, a nie roboty, i że ChatGPT-User oraz Perplexity-User według swoich dostawców mogą pominąć robots.txt, bo pobierają stronę na prośbę użytkownika.

## Czego tester nie robi

- **Nie pobiera pliku z Twojej domeny.** Przeglądarka zwykle nie pozwala stronie odczytać pliku z innej domeny (CORS), więc treść trzeba wkleić. Otwórz adres swojej strony z dopiskiem /robots.txt, zaznacz całość i skopiuj.
- **Nie sprawdza odpowiedzi serwera.** Według RFC 9309, gdy serwer zwraca dla robots.txt błąd z grupy 4xx, na przykład 404, robot może pobierać wszystko. Gdy zwraca błąd 5xx albo nie odpowiada, robot ma przyjąć pełną blokadę. Zapora lub hosting mogą też odrzucać boty kodem 403 bez względu na treść pliku.
- **Nie odtwarza wszystkich zasad dostawców.** Google pisze, że część jego robotów ma kilka tokenów, a robot wybiera grupę z najbardziej szczegółową pasującą nazwą. Na przykład Googlebot-Image bez własnej grupy korzysta z reguł dla Googlebot. Apple pisze, że Applebot bez własnej grupy stosuje reguły dla Googlebot. Zasadę Apple tester pokazuje osobno w wierszu Applebot, resztę liczy według normy.
- **Nie mówi, czy bot naprawdę przestrzega pliku.** Robots.txt to prośba, a nie zabezpieczenie. RFC 9309 zaznacza, że nie zastępuje ochrony treści, a ścieżki wpisane w pliku każdy może przeczytać.
- **Nie wysyła treści pliku.** Analiza działa w przeglądarce. Plik nie trafia na serwer, do adresu strony ani do statystyk.

## Przykłady

Każdy z tych przypadków sprawdzisz w testerze, a część z nich wczytasz jednym kliknięciem z przykładów nad polem tekstowym. W przykładzie z błędami literówka Dissalow według RFC 9309 zostawia koszyk otwarty dla botów z tabeli, choć autor pliku chciał go zablokować. Robot może taką literówkę tolerować, ale na tym nie warto polegać.

| Sytuacja | Reguły w pliku | Wynik według RFC 9309 |
| --- | --- | --- |
| Bot z własną grupą | User-agent: * z Disallow: /panel/, a niżej User-agent: GPTBot z Allow: / | GPTBot wchodzi do /panel/, bo czyta tylko swoją grupę. Zakaz trzeba przepisać do jego grupy. |
| Najdłuższe dopasowanie | Disallow: /oferta/ i Allow: /oferta/cennik | /oferta/cennik dozwolony, bo reguła Allow jest dłuższa. /oferta/archiwum zablokowany. |
| Remis długości | Disallow: /blog i Allow: /blog | Dozwolone. Przy równej długości RFC 9309 zaleca Allow. |
| Koniec adresu | Disallow: /*.pdf$ | /cennik.pdf zablokowany, /cennik.pdf?v=2 dozwolony, bo $ wymaga, żeby adres kończył się na.pdf. |
| Polskie litery | Disallow: /usługi/archiwum | Blokuje /usługi/archiwum/2025, bo obie ścieżki koduję tak samo: /us%C5%82ugi/archiwum. |
| Literówka | Dissalow: /koszyk | Niczego nie blokuje. Tester wskaże linię i podpowie zapis Disallow. |
| Kilka botów w jednej linii | User-agent: GPTBot, ClaudeBot, a pod nim Disallow: / | ClaudeBot nie dostaje zakazu, bo linia User-agent wskazuje jednego bota. Tester porówna tylko GPTBot i wskaże linię do poprawy. |
| Puste Disallow | User-agent: GPTBot, a pod nim Disallow: bez wartości | GPTBot ma pełny dostęp i nie stosuje grupy *. |
| Pusta linia między botami | User-agent: GPTBot, pusta linia, User-agent: * i Disallow: /prywatne/ | To jedna grupa, więc GPTBot też ma zakaz /prywatne/. Pusta linia nie zamyka grupy. |

Wyniki dla botów, które nie mają w pliku innych grup niż opisane w wierszu.

## Boty i tokeny w tabeli

| Token | Dostawca | Rodzaj | Do czego służy |
| --- | --- | --- | --- |
| GPTBot | OpenAI | trenowanie modeli | Zbiera treści, które mogą trafić do trenowania modeli OpenAI. |
| OAI-SearchBot | OpenAI | wyszukiwarka w asystencie AI | Indeksuje strony do wyników wyszukiwania w ChatGPT. |
| ChatGPT-User | OpenAI | pobranie na prośbę użytkownika | Otwiera stronę, gdy użytkownik ChatGPT o to poprosi. |
| ClaudeBot | Anthropic | trenowanie modeli | Zbiera treści, które mogą trafić do trenowania modeli Anthropic. |
| Claude-SearchBot | Anthropic | wyszukiwarka w asystencie AI | Indeksuje strony do wyszukiwania w Claude. |
| Claude-User | Anthropic | pobranie na prośbę użytkownika | Pobiera stronę, gdy użytkownik Claude zada pytanie. |
| PerplexityBot | Perplexity | wyszukiwarka w asystencie AI | Indeksuje strony do wyników wyszukiwania Perplexity. |
| Perplexity-User | Perplexity | pobranie na prośbę użytkownika | Otwiera stronę, gdy użytkownik Perplexity zada pytanie. |
| Googlebot | Google | wyszukiwarka | Robot wyszukiwarki Google. |
| Bingbot | Microsoft | wyszukiwarka | Robot wyszukiwarki Bing. |
| Applebot | Apple | wyszukiwarka | Robot internetowy Apple. |
| CCBot | Common Crawl | archiwum stron | Robot Common Crawl. Z jego danych korzystają inni, także do trenowania modeli. |
| Google-Extended | Google | token kontroli użycia treści, nie robot | Zgoda na użycie treści w modelach Gemini. Nie jest robotem. |
| Applebot-Extended | Apple | token kontroli użycia treści, nie robot | Zgoda na trenowanie modeli Apple. Nie jest robotem. |

Opisy według dokumentacji dostawców sprawdzonej 12 listopada 2026. Dostawcy dopisują nowe boty, więc przed zmianą pliku zajrzyj do ich dokumentacji.

Google-Extended i Applebot-Extended nie pobierają stron. Strony pobierają zwykłe roboty Google i Applebot, a reguła dla tokenu decyduje tylko o tym, czy pobrana treść może posłużyć do trenowania modeli, a u Google także do ugruntowania odpowiedzi Gemini. Blokada tokenu nie usuwa strony z wyszukiwarki. Starszy token anthropic-ai tester oznacza jako wycofany: grupa z tą nazwą nie obejmuje ClaudeBot ani innych botów Anthropic, bo każdy z nich szuka grupy po własnym tokenie. Każdy inny token wpiszesz w polu własnego bota.

## Co zrobić z wynikiem

Najczęstsza pułapka to bot z własną grupą, do której nikt nie przepisał zakazów z grupy *. Druga to przełącznik „blokuj boty AI” w hostingu albo we wtyczce, który może wyciąć naraz boty treningowe i boty wyszukiwarek w asystentach. Który bot do czego służy i co daje blokada, opisuję w tekście [boty AI w robots.txt](https://szymonlakomy.pl/boty-ai-w-robots-txt).

Robots.txt decyduje o dostępie, ale nie mówi botom, co jest na stronie. Do tego służą [plik llms.txt](https://szymonlakomy.pl/co-to-jest-llms-txt) i [dane strukturalne na stronie firmy](https://szymonlakomy.pl/dane-strukturalne-na-stronie-firmy). Jak firma trafia do odpowiedzi asystentów, piszę na stronie [widoczność firmy w ChatGPT](https://szymonlakomy.pl/widocznosc-firmy-w-chatgpt), a jak podsumowania AI w Google zmieniają ruch, w tekście [AI Overviews a ruch na stronie firmy](https://szymonlakomy.pl/ai-overviews-a-ruch-na-stronie-firmy).

Jeśli wynik Cię zaskoczył, sprawdzę plik razem z ustawieniami zapory i logami serwera: czy boty, które mają wejść, dostają odpowiedź 200, a nie 403. Mogę to zrobić w ramach [audytu strony](https://szymonlakomy.pl/audyt-strony-internetowej) albo jako osobne zlecenie, wycena po rozmowie. Szerzej o pozycjonowaniu piszę na stronie [SEO dla firm](https://szymonlakomy.pl/seo-dla-firm), a pozostałe kalkulatory i testy są w dziale [darmowe narzędzia](https://szymonlakomy.pl/narzedzia).

Nie wiesz, czy asystenci AI widzą Twoją stronę?

Podaj adres strony. Sprawdzę robots.txt, zaporę i to, co serwer odpowiada botom ChatGPT, Claude i Perplexity.

[Napisz do mnie](https://szymonlakomy.pl/kontakt?temat=software)

## Źródła

Zasady liczenia pochodzą z RFC 9309, a opisy botów z dokumentacji dostawców, którą sprawdziłem 12 listopada 2026. Dostawcy dopisują nowe boty i zmieniają opisy, więc przed zmianą pliku zajrzyj do ich dokumentacji.

- [RFC 9309: Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309) (IETF, RFC Editor)
- [Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots) (OpenAI)
- [Does Anthropic crawl data from the web, and how can site owners block the crawler?](https://support.claude.com/en/articles/8896518) (Anthropic)
- [Perplexity Crawlers](https://docs.perplexity.ai/docs/resources/perplexity-crawlers) (Perplexity)
- [Google's common crawlers](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers) (Google for Developers)
- [Overview of Bing crawlers (user agents)](https://www.bing.com/webmasters/help/which-crawlers-does-bing-use-8c184ec0) (Microsoft Bing)
- [About Applebot](https://support.apple.com/en-us/119829) (Apple)
- [CCBot](https://commoncrawl.org/ccbot) (Common Crawl)
- [Common Crawl FAQ](https://commoncrawl.org/faq) (Common Crawl)

## Częste pytania

### Czy GPTBot czyta reguły z grupy User-agent: *?

Tylko wtedy, gdy w pliku nie ma jego własnej grupy. Według RFC 9309 bot, który znajdzie grupę ze swoją nazwą, stosuje wyłącznie ją, a kilka takich grup łączy w jedną. Jeśli więc w pliku jest User-agent: GPTBot z jedną regułą, zakazy z grupy * tego bota nie obejmują i trzeba je przepisać do jego grupy.

### Co wygrywa, gdy do adresu pasują Allow i Disallow?

Reguła z dłuższym wzorcem, liczonym w bajtach po zakodowaniu znaków. Przy Disallow: /oferta/ i Allow: /oferta/cennik adres /oferta/cennik jest dozwolony, a /oferta/archiwum zablokowany. Przy remisie RFC 9309 zaleca wybrać Allow. To zalecenie, a nie obowiązek, dlatego tester opisuje taki wynik jako remis i pokazuje obie reguły.

### Czy blokada Google-Extended albo Applebot-Extended usuwa stronę z wyszukiwarki?

Nie. To tokeny kontroli użycia treści, a nie roboty. Google pisze, że Google-Extended nie wpływa na obecność strony w wyszukiwarce ani na jej pozycje. Apple pisze, że Applebot-Extended nie pobiera stron, a strona, która go blokuje, może nadal być w wynikach wyszukiwania. Stronę dalej pobierają zwykłe roboty Google i Applebot.

### Dlaczego tester nie pobiera robots.txt z mojej domeny?

Bo przeglądarka zwykle nie pozwala stronie odczytać pliku z innej domeny, jeśli tamten serwer nie zezwoli na to w nagłówkach CORS. Test na żywo częściej by zawodził, niż działał, więc tester pracuje na wklejonej treści. Plik zostaje w Twojej przeglądarce i nie trafia do adresu strony ani do statystyk.

### Czy wynik „zablokowane” oznacza, że bot na pewno nie wejdzie na stronę?

Nie. RFC 9309 zaznacza, że robots.txt nie zastępuje zabezpieczeń, a ścieżki wpisane w pliku każdy może przeczytać. Dostawcy botów z tabeli opisują, jak je zablokować w robots.txt, ale OpenAI i Perplexity piszą, że boty pobierające stronę na prośbę użytkownika mogą go pominąć. Treści, których nikt nie powinien czytać, chroni logowanie.

### Po jakim czasie boty zauważą zmianę w robots.txt?

To zależy od robota. RFC 9309 pozwala trzymać kopię pliku w pamięci podręcznej i zaleca, żeby nie używać jej dłużej niż 24 godziny, chyba że nowego pliku nie da się pobrać. Zmiana może więc zadziałać dopiero po dobie. Common Crawl pisze, że CCBot co jakiś czas sprawdza, czy plik się zmienił.
