NL

robots.txt generator

Deze robots.txt generator maakt het bestand in een paar klikken: je kiest een voorinstelling, voegt geblokkeerde paden en je sitemap toe en sluit desgewenst AI-crawlers uit. Het bestand verschijnt direct en wordt gecontroleerd op veelvoorkomende fouten.

Bron: IETF RFC 9309 – Robots Exclusion Protocol (groepen, Allow/Disallow, jokertekens * en $). Bijgewerkt: .

één pad per regel, bijv. /intern/ of /*.pdf$
één pad per regel; staat subpaden van een geblokkeerd gebied toe
volledige URL met https://; leeg = weglaten
seconden
wachttijd tussen verzoeken; Google negeert het, andere crawlers houden er rekening mee
Mijn toolboxJe invoer wordt alleen in deze browser opgeslagen.

Resultaat

Je robots.txt
User-agent: * Disallow: /intern/ Disallow: /tmp/ Sitemap: https://www.example.com/sitemap.xml
Controle
  • Geen bijzonderheden.
Waar laat ik het?
Sla het op als tekstbestand met de naam robots.txt (UTF-8) in de hoofdmap van je domein, bereikbaar op https://jouw-domein.nl/robots.txt – elk subdomein heeft een eigen bestand nodig.
robots.txt stuurt alleen het crawlen, niet het indexeren: een geblokkeerde pagina kan toch in de index staan. Om een pagina uit de zoekresultaten te houden gebruik je noindex. Het bestand is openbaar leesbaar – zet er geen geheime paden in.

Zo wordt het berekend

Een robots.txt is een klein tekstbestand in de hoofdmap van een website dat crawlers vertelt welke delen ze mogen ophalen. Het volgt het Robots Exclusion Protocol (RFC 9309): elke groep begint met een User-agent en bevat Allow- en Disallow-regels.

Wat de generator schrijft

Goed om te weten

Het bestand moet bereikbaar zijn op /robots.txt van het domein en is openbaar; het is geen toegangscontrole. Wil je voorkomen dat een pagina in Google verschijnt, gebruik dan noindex in plaats van een blokkade, want geblokkeerde pagina’s kunnen zonder inhoud toch worden getoond. Na het uploaden test de robots.txt-checker of crawlers de regels lezen zoals bedoeld, en de SERP-simulator laat zien hoe titel en beschrijving in de zoekresultaten eruitzien.

Veelgestelde vragen

Hoe maak ik een robots.txt?

Kies een voorinstelling, voeg geblokkeerde paden en de sitemap toe, kopieer de tekst en sla hem op als robots.txt in de hoofdmap van je domein. Open daarna jouw-domein.nl/robots.txt en controleer het.

Waar moet de robots.txt staan?

In de hoofdmap van het domein, dus op https://jouw-domein.nl/robots.txt. Een bestand in een submap wordt genegeerd. Elk subdomein heeft een eigen bestand nodig.

Houdt robots.txt pagina’s uit Google?

Niet betrouwbaar. Het verbiedt alleen het ophalen. Een geblokkeerde pagina kan met adres maar zonder inhoud in de index staan als andere pagina’s ernaar linken. Gebruik noindex om uit te sluiten.

Hoe blokkeer ik AI-crawlers?

Met een aparte groep per crawler en Disallow: /. De tool voegt de bekende AI-trainingscrawlers toe. Het is niet juridisch bindend, maar serieuze aanbieders houden zich aan het bestand.

Heb ik wel een robots.txt nodig?

Niet per se: zonder bestand mogen crawlers alles ophalen. Het loont om onbelangrijke delen zoals de winkelwagen of interne zoekfunctie buiten het crawlen te houden en de sitemap bekend te maken.

Bronnen en wettelijke basis

Bijgewerkt op: · Redactioneel beleid

Vergelijkbare tools