DE

robots.txt erstellen

Eine robots.txt erstellen Sie hier in wenigen Klicken: Sie wählen eine Voreinstellung, ergänzen gesperrte Pfade und Ihre Sitemap und können KI-Crawler ausschließen. Die fertige Datei wird sofort angezeigt und auf typische Fehler geprüft.

Quelle: IETF RFC 9309 – Robots Exclusion Protocol (Gruppen, Allow/Disallow, Platzhalter * und $). Stand: .

ein Pfad pro Zeile, z. B. /intern/ oder /*.pdf$
ein Pfad pro Zeile; erlaubt Unterpfade eines gesperrten Bereichs
vollständige URL mit https://; leer = weglassen
Sekunden
Wartezeit zwischen Abrufen; Google ignoriert den Wert, andere Crawler beachten ihn
Meine ToolboxIhre Eingaben werden nur in diesem Browser gespeichert.

Ergebnis

Ihre robots.txt
User-agent: * Disallow: /intern/ Disallow: /tmp/ Sitemap: https://www.example.com/sitemap.xml
Prüfung
  • Keine Auffälligkeiten.
Wohin damit?
Als Textdatei mit dem Namen robots.txt (UTF-8) im Hauptverzeichnis der Domain speichern, erreichbar unter https://ihre-domain.de/robots.txt – für jede Subdomain eine eigene Datei.
robots.txt steuert nur das Crawlen, nicht die Indexierung: Eine gesperrte Seite kann trotzdem im Index stehen. Zum Ausschluss aus den Suchergebnissen dient die noindex-Angabe. Die Datei ist öffentlich lesbar – keine geheimen Pfade eintragen.

So wird gerechnet

Die robots.txt ist eine kleine Textdatei im Hauptverzeichnis einer Website, die Crawlern sagt, welche Bereiche sie abrufen dürfen. Sie folgt dem Robots Exclusion Protocol (RFC 9309): Jede Gruppe beginnt mit einem User-agent und enthält Allow- und Disallow-Regeln.

Was der Generator ausgibt

Wichtig zu wissen

Die Datei muss unter /robots.txt der Domain erreichbar sein und ist öffentlich; sie ersetzt keinen Zugriffsschutz. Wer verhindern will, dass eine Seite in Google erscheint, nutzt noindex statt einer Sperre, denn gesperrte Seiten können ohne Inhalt trotzdem gelistet werden. Nach dem Hochladen testet der robots.txt-Prüfer, ob Crawler die Regeln so lesen wie gedacht; wie Titel und Beschreibung in der Suche aussehen, zeigt die Google-Vorschau.

Häufige Fragen

Wie erstelle ich eine robots.txt?

Voreinstellung wählen, gesperrte Pfade und die Sitemap eintragen, den Text kopieren und als robots.txt im Hauptverzeichnis Ihrer Domain speichern. Danach unter ihre-domain.de/robots.txt aufrufen und prüfen.

Wo muss die robots.txt liegen?

Im Hauptverzeichnis der Domain, also unter https://ihre-domain.de/robots.txt. Eine Datei in einem Unterordner wird nicht beachtet. Jede Subdomain braucht eine eigene Datei.

Sperrt die robots.txt Seiten aus Google?

Nicht zuverlässig. Sie verbietet nur das Abrufen. Eine gesperrte Seite kann mit Adresse, aber ohne Inhalt im Index stehen, wenn andere Seiten auf sie verlinken. Für den Ausschluss nutzen Sie die noindex-Angabe.

Wie sperre ich KI-Crawler?

Mit eigenen Gruppen je Crawler und Disallow: /. Das Tool trägt die bekannten KI-Trainings-Crawler ein. Rechtlich bindend ist das nicht; seriöse Anbieter halten sich aber an die Datei.

Brauche ich überhaupt eine robots.txt?

Nicht zwingend: Fehlt die Datei, dürfen Crawler alles abrufen. Sie lohnt sich, um unwichtige Bereiche wie Warenkorb oder interne Suche vom Crawlen auszunehmen und die Sitemap bekanntzugeben.

Quellen und Rechtsgrundlagen

Stand: · So prüfen wir

Passende Werkzeuge