Generator robots.txt
Ten generator robots.txt tworzy plik w kilka kliknięć: wybierasz szablon, dodajesz zablokowane ścieżki i mapę witryny, a w razie potrzeby wykluczasz boty AI. Gotowy plik pojawia się od razu i jest sprawdzany pod kątem typowych błędów.
Źródło: IETF RFC 9309 – Robots Exclusion Protocol (grupy, Allow/Disallow, symbole wieloznaczne * i $). Stan na: .
Jak to obliczamy
Plik robots.txt to mały plik tekstowy w katalogu głównym witryny, który mówi robotom, które obszary mogą pobierać. Opiera się na protokole wykluczania robotów (RFC 9309): każda grupa zaczyna się od User-agent i zawiera reguły Allow i Disallow.
Co zapisuje generator
- Szablon: „Zezwól na wszystko” zapisuje pustą linię Disallow, WordPress blokuje
/wp-admin/i dopuszczaadmin-ajax.php, szablon sklepu blokuje typowe adresy koszyka, kasy i filtrów. - Własne ścieżki: ścieżki zaczynają się od
/. Znak*oznacza dowolne znaki,$koniec adresu. - Boty AI: na życzenie każdy znany bot trenujący AI dostaje własną grupę z
Disallow: /. Czy dostawca się do tego stosuje, zależy od niego. - Mapa witryny: linia znajduje się poza grupami i podaje pełny adres.
Warto wiedzieć
Plik musi być dostępny pod /robots.txt domeny i jest publiczny; nie jest kontrolą dostępu. Aby strona nie pojawiała się w Google, użyj noindex zamiast blokady, bo zablokowane strony mogą być wyświetlane bez treści. Po wgraniu tester robots.txt sprawdzi, czy roboty czytają reguły tak, jak chcesz, a podgląd SERP pokaże wygląd tytułu i opisu w wyszukiwarce.
Najczęściej zadawane pytania
Jak stworzyć plik robots.txt?
Wybierz szablon, dodaj zablokowane ścieżki i mapę witryny, skopiuj tekst i zapisz jako robots.txt w katalogu głównym domeny. Następnie otwórz twoja-domena.pl/robots.txt i sprawdź.
Gdzie ma leżeć plik robots.txt?
W katalogu głównym domeny, czyli pod adresem https://twoja-domena.pl/robots.txt. Plik w podfolderze jest ignorowany. Każda subdomena potrzebuje własnego pliku.
Czy robots.txt usuwa strony z Google?
Nie w sposób niezawodny. Zabrania tylko pobierania. Zablokowana strona może pojawić się w indeksie z adresem, ale bez treści, jeśli prowadzą do niej linki. Do wykluczenia użyj noindex.
Jak zablokować boty AI?
Osobną grupą dla każdego bota i Disallow: /. Narzędzie dodaje znane boty trenujące AI. Nie jest to prawnie wiążące, ale rzetelni dostawcy stosują się do pliku.
Czy w ogóle potrzebuję robots.txt?
Nie koniecznie: bez pliku roboty mogą pobierać wszystko. Warto go mieć, by wyłączyć z crawlowania mało ważne obszary, jak koszyk czy wyszukiwarka wewnętrzna, i podać mapę witryny.
Źródła i podstawa prawna
- IETF RFC 9309 – Robots Exclusion Protocol (grupy, Allow/Disallow, symbole wieloznaczne * i $)
- Google Search Central – Create and submit a robots.txt file
- Google Search Central – robots.txt: obsługiwane reguły (crawl-delay nie jest obsługiwane)
Stan na: · Zasady redakcyjne
Podobne narzędzia
- robots.txt tester ze sprawdzeniem mapy witrynyrobots.txt tester online: czy adres jest zablokowany dla Googlebota, Bingbota lub robotów AI? Pokazuje decydującą regułę, błędy składni i sprawdza mapę witryny.
- Podgląd SERP z szerokością w pikselachWpisz title i meta description i zobacz podgląd wyniku Google – z szerokością w pikselach, liczbą znaków i ostrzeżeniem, gdy snippet może zostać ucięty.
- Generator UTMGenerator UTM: dodaj do linku utm_source, utm_medium, utm_campaign i inne parametry – poprawnie zakodowane, z zachowaniem istniejących i kontrolą błędów.
- Kody HTTPKody HTTP wyjaśnione: znaczenie 200, 301, 404, 500 i ponad 40 innych kodów, z wyszukiwaniem po kodzie lub słowie kluczowym oraz filtrem według klasy.
- Moje IP – jaki mam adres IP?Moje IP od razu: pokazuje Twój publiczny adres IP, rozpoznaje IPv4 lub IPv6 i wyjaśnia różnicę. Za darmo, bez rejestracji – adres IP nie jest zapisywany.
- Generator meta tagówGenerator meta tagów: stwórz title, meta description, canonical, Open Graph i karty X do sekcji head swojej strony – gotowy do skopiowania, z kontrolą długości.
- Generator JSON-LDGenerator JSON-LD dla Schema.org: wypełnij artykuł, FAQ, produkt, firmę lokalną lub organizację i skopiuj gotowy kod z wbudowaną kontrolą błędów.
- Porównaj dwa pliki JSONPorównaj JSON: znajdź różnice między dwoma dokumentami JSON ze ścieżką, starą i nową wartością. Kolejność kluczy bez znaczenia. W przeglądarce.
- Generator cron: tworzenie i wyjaśnianie wyrażeń cronGenerator cron i wyjaśnienie: zbuduj lub wklej wyrażenie, przeczytaj je prostym językiem i zobacz kolejne uruchomienia. Unix, Spring i Quartz, lokalnie.