Przejdź do treści

Tester robots.txt dla botów AI i wyszukiwarek

Autor: Szymon Łakomy. Lista botów sprawdzona:

Wklej robots.txt i sprawdź boty

Treść pliku zostaje w Twojej przeglądarce. Tester niczego nie wysyła, nie zapisuje i nie dopisuje do adresu strony.

Nie masz pliku pod ręką? Wczytaj przykład:

Otwórz w przeglądarce adres swojej strony z dopiskiem /robots.txt, zaznacz całość i wklej tutaj. Tester nie pobiera pliku sam, bo przeglądarka zwykle nie pozwala stronie odczytać pliku z innej domeny (CORS).

Jeden adres w linii: ścieżka albo pełny adres. Puste pole oznacza stronę główną (/). Do 20 adresów.

Nazwa z linii User-agent, np. AhrefsBot albo anthropic-ai. Tabela i tak obejmuje boty OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple i Common Crawl.

Jak tester czyta plik

Tester stosuje zasady z normy RFC 9309, która od 2022 roku opisuje format robots.txt. Najpierw dzieli plik na linie i usuwa komentarze od znaku #. Kilka linii User-agent jedna pod drugą tworzy grupę, a reguły Allow i Disallow należą do niej aż do kolejnej linii User-agent. Pusta linia grupy nie zamyka. Nie zamykają jej też linie spoza normy, takie jak Sitemap czy Content-Signal.

Potem dla każdego bota szukam grup z jego nazwą. Wielkość liter w nazwie nie ma znaczenia, więc gptbot i GPTBot to ten sam bot. Jeśli bot ma kilka grup, ich reguły się łączą. Grupa * obowiązuje tylko boty, które nie mają własnej, a gdy w pliku nie ma ani grupy bota, ani grupy *, bot ma pełny dostęp.

Na koniec porównuję adres z regułami tej grupy. Wygrywa reguła z najdłuższym wzorcem, liczonym w bajtach po zakodowaniu znaków. Przy remisie wygrywa Allow, a gdy nic nie pasuje, adres jest dozwolony. Gwiazdka we wzorcu oznacza dowolny ciąg znaków, a $ na końcu oznacza koniec adresu. Polskie litery i spacje koduję procentowo w UTF-8, jak wymaga norma, więc reguła z /usługi pasuje do adresu /us%C5%82ugi. Adres /robots.txt jest zawsze dozwolony, a puste Disallow tester traktuje jak brak reguły.

Dwie z tych zasad norma podaje jako zalecenie, a nie obowiązek: rozróżnianie wielkości liter w ścieżkach i wybór Allow przy remisie. Dlatego wynik podpisuję jako wynik według RFC 9309. Konkretny bot może czytać plik inaczej, na przykład tolerować literówki w nazwach dyrektyw.

Co pokazuje wynik

Dla każdego bota tabela pokazuje grupę, którą stosuje (własną, kilka połączonych, grupę * albo żadną), wynik dla wybranego adresu i regułę, która zdecydowała, z numerem linii. Przy kilku adresach dochodzi zestawienie wszystkich naraz. Pod tabelą są uwagi do pliku: reguły przed pierwszą linią User-agent, brak dwukropka, literówki w nazwach dyrektyw, kilka botów w jednej linii User-agent, rozrzucone grupy tego samego bota, pusta linia albo linia Crawl-delay, które nie zamykają grupy, plik większy niż 500 KiB i strona HTML wklejona zamiast pliku. Linie spoza normy, czyli Sitemap, Content-Signal i Crawl-delay, tester wypisuje osobno, bo nie zmieniają wyniku.

Każdy wiersz ma kartę bota z opisem według dokumentacji dostawcy. Karta mówi na przykład, że Google-Extended i Applebot-Extended to tokeny kontroli użycia treści, a nie roboty, i że ChatGPT-User oraz Perplexity-User według swoich dostawców mogą pominąć robots.txt, bo pobierają stronę na prośbę użytkownika.

Czego tester nie robi

  • Nie pobiera pliku z Twojej domeny. Przeglądarka zwykle nie pozwala stronie odczytać pliku z innej domeny (CORS), więc treść trzeba wkleić. Otwórz adres swojej strony z dopiskiem /robots.txt, zaznacz całość i skopiuj.
  • Nie sprawdza odpowiedzi serwera. Według RFC 9309, gdy serwer zwraca dla robots.txt błąd z grupy 4xx, na przykład 404, robot może pobierać wszystko. Gdy zwraca błąd 5xx albo nie odpowiada, robot ma przyjąć pełną blokadę. Zapora lub hosting mogą też odrzucać boty kodem 403 bez względu na treść pliku.
  • Nie odtwarza wszystkich zasad dostawców. Google pisze, że część jego robotów ma kilka tokenów, a robot wybiera grupę z najbardziej szczegółową pasującą nazwą. Na przykład Googlebot-Image bez własnej grupy korzysta z reguł dla Googlebot. Apple pisze, że Applebot bez własnej grupy stosuje reguły dla Googlebot. Zasadę Apple tester pokazuje osobno w wierszu Applebot, resztę liczy według normy.
  • Nie mówi, czy bot naprawdę przestrzega pliku. Robots.txt to prośba, a nie zabezpieczenie. RFC 9309 zaznacza, że nie zastępuje ochrony treści, a ścieżki wpisane w pliku każdy może przeczytać.
  • Nie wysyła treści pliku. Analiza działa w przeglądarce. Plik nie trafia na serwer, do adresu strony ani do statystyk.

Przykłady

Każdy z tych przypadków sprawdzisz w testerze, a część z nich wczytasz jednym kliknięciem z przykładów nad polem tekstowym. W przykładzie z błędami literówka Dissalow według RFC 9309 zostawia koszyk otwarty dla botów z tabeli, choć autor pliku chciał go zablokować. Robot może taką literówkę tolerować, ale na tym nie warto polegać.

SytuacjaReguły w plikuWynik według RFC 9309
Bot z własną grupąUser-agent: * z Disallow: /panel/, a niżej User-agent: GPTBot z Allow: /GPTBot wchodzi do /panel/, bo czyta tylko swoją grupę. Zakaz trzeba przepisać do jego grupy.
Najdłuższe dopasowanieDisallow: /oferta/ i Allow: /oferta/cennik/oferta/cennik dozwolony, bo reguła Allow jest dłuższa. /oferta/archiwum zablokowany.
Remis długościDisallow: /blog i Allow: /blogDozwolone. Przy równej długości RFC 9309 zaleca Allow.
Koniec adresuDisallow: /*.pdf$/cennik.pdf zablokowany, /cennik.pdf?v=2 dozwolony, bo $ wymaga, żeby adres kończył się na .pdf.
Polskie literyDisallow: /usługi/archiwumBlokuje /usługi/archiwum/2025, bo obie ścieżki koduję tak samo: /us%C5%82ugi/archiwum.
LiterówkaDissalow: /koszykNiczego nie blokuje. Tester wskaże linię i podpowie zapis Disallow.
Kilka botów w jednej liniiUser-agent: GPTBot, ClaudeBot, a pod nim Disallow: /ClaudeBot nie dostaje zakazu, bo linia User-agent wskazuje jednego bota. Tester porówna tylko GPTBot i wskaże linię do poprawy.
Puste DisallowUser-agent: GPTBot, a pod nim Disallow: bez wartościGPTBot ma pełny dostęp i nie stosuje grupy *.
Pusta linia między botamiUser-agent: GPTBot, pusta linia, User-agent: * i Disallow: /prywatne/To jedna grupa, więc GPTBot też ma zakaz /prywatne/. Pusta linia nie zamyka grupy.

Wyniki dla botów, które nie mają w pliku innych grup niż opisane w wierszu.

Boty i tokeny w tabeli

TokenDostawcaRodzajDo czego służy
GPTBotOpenAItrenowanie modeliZbiera treści, które mogą trafić do trenowania modeli OpenAI.
OAI-SearchBotOpenAIwyszukiwarka w asystencie AIIndeksuje strony do wyników wyszukiwania w ChatGPT.
ChatGPT-UserOpenAIpobranie na prośbę użytkownikaOtwiera stronę, gdy użytkownik ChatGPT o to poprosi.
ClaudeBotAnthropictrenowanie modeliZbiera treści, które mogą trafić do trenowania modeli Anthropic.
Claude-SearchBotAnthropicwyszukiwarka w asystencie AIIndeksuje strony do wyszukiwania w Claude.
Claude-UserAnthropicpobranie na prośbę użytkownikaPobiera stronę, gdy użytkownik Claude zada pytanie.
PerplexityBotPerplexitywyszukiwarka w asystencie AIIndeksuje strony do wyników wyszukiwania Perplexity.
Perplexity-UserPerplexitypobranie na prośbę użytkownikaOtwiera stronę, gdy użytkownik Perplexity zada pytanie.
GooglebotGooglewyszukiwarkaRobot wyszukiwarki Google.
BingbotMicrosoftwyszukiwarkaRobot wyszukiwarki Bing.
ApplebotApplewyszukiwarkaRobot internetowy Apple.
CCBotCommon Crawlarchiwum stronRobot Common Crawl. Z jego danych korzystają inni, także do trenowania modeli.
Google-ExtendedGoogletoken kontroli użycia treści, nie robotZgoda na użycie treści w modelach Gemini. Nie jest robotem.
Applebot-ExtendedAppletoken kontroli użycia treści, nie robotZgoda na trenowanie modeli Apple. Nie jest robotem.

Opisy według dokumentacji dostawców sprawdzonej 12 listopada 2026. Dostawcy dopisują nowe boty, więc przed zmianą pliku zajrzyj do ich dokumentacji.

Google-Extended i Applebot-Extended nie pobierają stron. Strony pobierają zwykłe roboty Google i Applebot, a reguła dla tokenu decyduje tylko o tym, czy pobrana treść może posłużyć do trenowania modeli, a u Google także do ugruntowania odpowiedzi Gemini. Blokada tokenu nie usuwa strony z wyszukiwarki. Starszy token anthropic-ai tester oznacza jako wycofany: grupa z tą nazwą nie obejmuje ClaudeBot ani innych botów Anthropic, bo każdy z nich szuka grupy po własnym tokenie. Każdy inny token wpiszesz w polu własnego bota.

Co zrobić z wynikiem

Najczęstsza pułapka to bot z własną grupą, do której nikt nie przepisał zakazów z grupy *. Druga to przełącznik „blokuj boty AI” w hostingu albo we wtyczce, który może wyciąć naraz boty treningowe i boty wyszukiwarek w asystentach. Który bot do czego służy i co daje blokada, opisuję w tekście boty AI w robots.txt.

Robots.txt decyduje o dostępie, ale nie mówi botom, co jest na stronie. Do tego służą plik llms.txt i dane strukturalne na stronie firmy. Jak firma trafia do odpowiedzi asystentów, piszę na stronie widoczność firmy w ChatGPT, a jak podsumowania AI w Google zmieniają ruch, w tekście AI Overviews a ruch na stronie firmy.

Jeśli wynik Cię zaskoczył, sprawdzę plik razem z ustawieniami zapory i logami serwera: czy boty, które mają wejść, dostają odpowiedź 200, a nie 403. Mogę to zrobić w ramach audytu strony albo jako osobne zlecenie, wycena po rozmowie. Szerzej o pozycjonowaniu piszę na stronie SEO dla firm, a pozostałe kalkulatory i testy są w dziale darmowe narzędzia.

Nie wiesz, czy asystenci AI widzą Twoją stronę?

Podaj adres strony. Sprawdzę robots.txt, zaporę i to, co serwer odpowiada botom ChatGPT, Claude i Perplexity.

Napisz do mnie

Źródła

Zasady liczenia pochodzą z RFC 9309, a opisy botów z dokumentacji dostawców, którą sprawdziłem 12 listopada 2026. Dostawcy dopisują nowe boty i zmieniają opisy, więc przed zmianą pliku zajrzyj do ich dokumentacji.

Częste pytania

Czy GPTBot czyta reguły z grupy User-agent: *?

Tylko wtedy, gdy w pliku nie ma jego własnej grupy. Według RFC 9309 bot, który znajdzie grupę ze swoją nazwą, stosuje wyłącznie ją, a kilka takich grup łączy w jedną. Jeśli więc w pliku jest User-agent: GPTBot z jedną regułą, zakazy z grupy * tego bota nie obejmują i trzeba je przepisać do jego grupy.

Co wygrywa, gdy do adresu pasują Allow i Disallow?

Reguła z dłuższym wzorcem, liczonym w bajtach po zakodowaniu znaków. Przy Disallow: /oferta/ i Allow: /oferta/cennik adres /oferta/cennik jest dozwolony, a /oferta/archiwum zablokowany. Przy remisie RFC 9309 zaleca wybrać Allow. To zalecenie, a nie obowiązek, dlatego tester opisuje taki wynik jako remis i pokazuje obie reguły.

Czy blokada Google-Extended albo Applebot-Extended usuwa stronę z wyszukiwarki?

Nie. To tokeny kontroli użycia treści, a nie roboty. Google pisze, że Google-Extended nie wpływa na obecność strony w wyszukiwarce ani na jej pozycje. Apple pisze, że Applebot-Extended nie pobiera stron, a strona, która go blokuje, może nadal być w wynikach wyszukiwania. Stronę dalej pobierają zwykłe roboty Google i Applebot.

Dlaczego tester nie pobiera robots.txt z mojej domeny?

Bo przeglądarka zwykle nie pozwala stronie odczytać pliku z innej domeny, jeśli tamten serwer nie zezwoli na to w nagłówkach CORS. Test na żywo częściej by zawodził, niż działał, więc tester pracuje na wklejonej treści. Plik zostaje w Twojej przeglądarce i nie trafia do adresu strony ani do statystyk.

Czy wynik „zablokowane” oznacza, że bot na pewno nie wejdzie na stronę?

Nie. RFC 9309 zaznacza, że robots.txt nie zastępuje zabezpieczeń, a ścieżki wpisane w pliku każdy może przeczytać. Dostawcy botów z tabeli opisują, jak je zablokować w robots.txt, ale OpenAI i Perplexity piszą, że boty pobierające stronę na prośbę użytkownika mogą go pominąć. Treści, których nikt nie powinien czytać, chroni logowanie.

Po jakim czasie boty zauważą zmianę w robots.txt?

To zależy od robota. RFC 9309 pozwala trzymać kopię pliku w pamięci podręcznej i zaleca, żeby nie używać jej dłużej niż 24 godziny, chyba że nowego pliku nie da się pobrać. Zmiana może więc zadziałać dopiero po dobie. Common Crawl pisze, że CCBot co jakiś czas sprawdza, czy plik się zmienił.