Generator robots.txt

Ten generator robots.txt tworzy plik w kilka kliknięć: wybierasz szablon, dodajesz zablokowane ścieżki i mapę witryny, a w razie potrzeby wykluczasz boty AI. Gotowy plik pojawia się od razu i jest sprawdzany pod kątem typowych błędów.

Źródło: IETF RFC 9309 – Robots Exclusion Protocol (grupy, Allow/Disallow, symbole wieloznaczne * i $). Stan na: .

jedna ścieżka w wierszu, np. /prywatne/ lub /*.pdf$
jedna ścieżka w wierszu; dopuszcza podścieżki zablokowanego obszaru
pełny adres URL z https://; puste = pominięte
sekund
przerwa między żądaniami; Google ją ignoruje, inne boty uwzględniają
Moje narzędziaWpisane dane są zapisywane tylko w tej przeglądarce.

Wynik

Twój robots.txt
User-agent: * Disallow: /prywatne/ Disallow: /tmp/ Sitemap: https://www.example.com/sitemap.xml
Kontrola
  • Brak uwag.
Gdzie go umieścić?
Zapisz jako plik tekstowy o nazwie robots.txt (UTF-8) w katalogu głównym domeny, dostępny pod adresem https://twoja-domena.pl/robots.txt – każda subdomena ma własny plik.
Plik robots.txt steruje tylko indeksowaniem zawartości przez roboty (crawlowaniem), a nie jej indeksem: zablokowana strona może mimo to znaleźć się w indeksie. Aby wykluczyć ją z wyników, użyj noindex. Plik jest publiczny – nie wpisuj tajnych ścieżek.

Jak to obliczamy

Plik robots.txt to mały plik tekstowy w katalogu głównym witryny, który mówi robotom, które obszary mogą pobierać. Opiera się na protokole wykluczania robotów (RFC 9309): każda grupa zaczyna się od User-agent i zawiera reguły Allow i Disallow.

Co zapisuje generator

Warto wiedzieć

Plik musi być dostępny pod /robots.txt domeny i jest publiczny; nie jest kontrolą dostępu. Aby strona nie pojawiała się w Google, użyj noindex zamiast blokady, bo zablokowane strony mogą być wyświetlane bez treści. Po wgraniu tester robots.txt sprawdzi, czy roboty czytają reguły tak, jak chcesz, a podgląd SERP pokaże wygląd tytułu i opisu w wyszukiwarce.

Najczęściej zadawane pytania

Jak stworzyć plik robots.txt?

Wybierz szablon, dodaj zablokowane ścieżki i mapę witryny, skopiuj tekst i zapisz jako robots.txt w katalogu głównym domeny. Następnie otwórz twoja-domena.pl/robots.txt i sprawdź.

Gdzie ma leżeć plik robots.txt?

W katalogu głównym domeny, czyli pod adresem https://twoja-domena.pl/robots.txt. Plik w podfolderze jest ignorowany. Każda subdomena potrzebuje własnego pliku.

Czy robots.txt usuwa strony z Google?

Nie w sposób niezawodny. Zabrania tylko pobierania. Zablokowana strona może pojawić się w indeksie z adresem, ale bez treści, jeśli prowadzą do niej linki. Do wykluczenia użyj noindex.

Jak zablokować boty AI?

Osobną grupą dla każdego bota i Disallow: /. Narzędzie dodaje znane boty trenujące AI. Nie jest to prawnie wiążące, ale rzetelni dostawcy stosują się do pliku.

Czy w ogóle potrzebuję robots.txt?

Nie koniecznie: bez pliku roboty mogą pobierać wszystko. Warto go mieć, by wyłączyć z crawlowania mało ważne obszary, jak koszyk czy wyszukiwarka wewnętrzna, i podać mapę witryny.

Źródła i podstawa prawna

Stan na: · Zasady redakcyjne

Podobne narzędzia