Générateur robots.txt
Ce générateur robots.txt crée le fichier en quelques clics : choisissez un modèle, ajoutez les chemins bloqués et votre sitemap, et excluez au besoin les robots d’IA. Le fichier terminé s’affiche aussitôt et est contrôlé contre les erreurs courantes.
Source : IETF RFC 9309 – Robots Exclusion Protocol (groupes, Allow/Disallow, jokers * et $). Mise à jour : .
Comment le calcul est fait
Le fichier robots.txt est un petit fichier texte à la racine d’un site qui indique aux robots les zones qu’ils peuvent consulter. Il suit le protocole d’exclusion des robots (RFC 9309) : chaque groupe commence par un User-agent et contient des règles Allow et Disallow.
Ce que le générateur écrit
- Modèle : « Tout autoriser » écrit une ligne Disallow vide, WordPress bloque
/wp-admin/et autoriseadmin-ajax.php, le modèle boutique bloque les URL typiques de panier, de paiement et de filtres. - Vos chemins : les chemins commencent par
/. Le caractère*remplace n’importe quels caractères,$la fin de l’adresse. - Robots d’IA : sur demande, chaque robot d’entraînement d’IA connu reçoit son propre groupe avec
Disallow: /. Le respect de la règle dépend du fournisseur. - Sitemap : la ligne se place en dehors des groupes et donne l’adresse complète.
Bon à savoir
Le fichier doit être accessible à /robots.txt du domaine et il est public ; ce n’est pas un contrôle d’accès. Pour qu’une page n’apparaisse pas dans Google, utilisez noindex plutôt qu’un blocage, car des pages bloquées peuvent figurer dans les résultats sans contenu. Après la mise en ligne, le testeur robots.txt vérifie que les robots lisent les règles comme prévu, et le simulateur SERP montre l’aspect d’un titre et d’une description dans la recherche.
Questions fréquentes
Comment créer un fichier robots.txt ?
Choisissez un modèle, ajoutez les chemins bloqués et le sitemap, copiez le texte et enregistrez-le sous robots.txt à la racine de votre domaine. Ouvrez ensuite votre-domaine.fr/robots.txt pour vérifier.
Où placer le fichier robots.txt ?
À la racine du domaine, donc à https://votre-domaine.fr/robots.txt. Un fichier dans un sous-dossier est ignoré. Chaque sous-domaine a besoin de son propre fichier.
Le robots.txt retire-t-il des pages de Google ?
Pas de façon fiable. Il interdit seulement l’exploration. Une page bloquée peut figurer dans l’index avec son adresse mais sans contenu si d’autres pages la lient. Pour l’exclure, utilisez noindex.
Comment bloquer les robots d’IA ?
Avec un groupe distinct par robot et Disallow: /. L’outil ajoute les robots d’entraînement d’IA connus. Ce n’est pas juridiquement contraignant, mais les fournisseurs sérieux respectent le fichier.
Ai-je vraiment besoin d’un robots.txt ?
Pas obligatoirement : sans fichier, les robots peuvent tout consulter. Il est utile pour exclure de l’exploration des zones sans intérêt comme le panier ou la recherche interne, et pour indiquer le sitemap.
Sources et références juridiques
- IETF RFC 9309 – Robots Exclusion Protocol (groupes, Allow/Disallow, jokers * et $)
- Google Search Central – Create and submit a robots.txt file
- Google Search Central – robots.txt: règles prises en charge (crawl-delay n’est pas pris en charge)
Dernière mise à jour : · Principes éditoriaux
Outils similaires
- Tester robots.txt et le sitemap d’un siteTester robots.txt en ligne : une URL est-elle bloquée pour Googlebot, Bingbot ou les robots d’IA ? Règle décisive, erreurs de syntaxe et contrôle du sitemap.
- Simulateur SERP avec largeur en pixelsSaisissez la balise title et la meta description pour voir l’aperçu du résultat de recherche, avec largeur en pixels, nombre de caractères et risque de coupure.
- Générateur de lien UTMAjoutez des paramètres UTM à vos liens : utm_source, utm_medium, utm_campaign etc., bien encodés, paramètres existants conservés. Avec contrôle des fautes.
- Codes HTTPCodes HTTP expliqués : signification de 200, 301, 404, 500 et de plus de 40 autres codes, avec recherche par code ou mot-clé et filtre par classe.
- Quelle est mon adresse IP ?Affiche instantanément votre adresse IP publique, détecte IPv4 ou IPv6 et explique la différence. Gratuit – votre IP n’est pas stockée.
- Générateur de balises metaGénérateur de balises meta : title, meta description, canonical, Open Graph et cartes X pour l’en-tête de votre page – code à copier, longueurs contrôlées.
- Générateur JSON-LDGénérateur JSON-LD pour Schema.org : remplissez article, FAQ, produit, commerce local ou organisation et copiez le code prêt à l’emploi avec contrôle d’erreurs.
- Quel est mon user agent ?Affichez votre user agent et détectez navigateur, version, moteur, OS et type d’appareil, plus les Client Hints. Analysez aussi un autre user agent. En local.
- YAML vers JSON : convertisseur (et JSON vers YAML)YAML vers JSON et JSON vers YAML selon YAML 1.2 : listes, ancres, blocs de texte, commentaires. Les erreurs indiquent la ligne. Dans le navigateur, sans envoi.