Generatore robots.txt
Questo generatore robots.txt crea il file in pochi clic: scegli un modello, aggiungi i percorsi bloccati e la tua sitemap e, se vuoi, escludi i crawler IA. Il file finito compare subito e viene controllato contro gli errori più comuni.
Fonte: IETF RFC 9309 – Robots Exclusion Protocol (gruppi, Allow/Disallow, caratteri jolly * e $). Aggiornato al: .
Come si calcola
Il robots.txt è un piccolo file di testo nella radice di un sito che indica ai crawler quali aree possono richiedere. Segue il protocollo di esclusione dei robot (RFC 9309): ogni gruppo inizia con uno User-agent e contiene regole Allow e Disallow.
Cosa scrive il generatore
- Modello: «Consenti tutto» scrive una riga Disallow vuota, WordPress blocca
/wp-admin/e consenteadmin-ajax.php, il modello negozio blocca gli URL tipici di carrello, cassa e filtri. - I tuoi percorsi: i percorsi iniziano con
/. Il carattere*sta per caratteri qualsiasi,$per la fine dell’indirizzo. - Crawler IA: su richiesta ogni crawler di addestramento IA noto riceve un gruppo proprio con
Disallow: /. Se il fornitore lo rispetta dipende da lui. - Sitemap: la riga sta fuori dai gruppi e indica l’indirizzo completo.
Da sapere
Il file deve essere raggiungibile a /robots.txt del dominio ed è pubblico; non è un controllo degli accessi. Per non far comparire una pagina su Google usa noindex invece di un blocco, perché le pagine bloccate possono comunque essere elencate senza contenuto. Dopo il caricamento, il controllo robots.txt verifica se i crawler leggono le regole come previsto, e il simulatore SERP mostra l’aspetto di titolo e descrizione nella ricerca.
Domande frequenti
Come si crea un file robots.txt?
Scegli un modello, aggiungi i percorsi bloccati e la sitemap, copia il testo e salvalo come robots.txt nella radice del dominio. Poi apri tuo-dominio.it/robots.txt e controlla.
Dove va messo il robots.txt?
Nella radice del dominio, cioè su https://tuo-dominio.it/robots.txt. Un file in una sottocartella viene ignorato. Ogni sottodominio ha bisogno del proprio file.
Il robots.txt toglie le pagine da Google?
Non in modo affidabile. Vieta solo la scansione. Una pagina bloccata può comparire nell’indice con l’indirizzo ma senza contenuto se altre pagine la linkano. Per escluderla usa noindex.
Come blocco i crawler IA?
Con un gruppo separato per ogni crawler e Disallow: /. Lo strumento aggiunge i crawler di addestramento IA noti. Non è giuridicamente vincolante, ma i fornitori seri rispettano il file.
Mi serve davvero un robots.txt?
Non necessariamente: senza il file i crawler possono richiedere tutto. Conviene per escludere dalla scansione aree poco utili come il carrello o la ricerca interna e per segnalare la sitemap.
Fonti e riferimenti normativi
- IETF RFC 9309 – Robots Exclusion Protocol (gruppi, Allow/Disallow, caratteri jolly * e $)
- Google Search Central – Create and submit a robots.txt file
- Google Search Central – robots.txt: regole supportate (crawl-delay non è supportato)
Aggiornato al: · Principi editoriali
Strumenti correlati
- robots.txt checker con controllo della sitemaprobots.txt checker online: un URL è bloccato per Googlebot, Bingbot o i crawler di IA? Mostra la regola decisiva, gli errori di sintassi e controlla la sitemap.
- Simulatore SERP con larghezza in pixelInserisci title tag e meta description per vedere l’anteprima del risultato di ricerca – con larghezza in pixel, conteggio caratteri e avviso di troncamento.
- Generatore di link UTMAggiungi parametri UTM ai link: utm_source, utm_medium, utm_campaign e altri, codificati correttamente, parametri esistenti mantenuti. Con controllo refusi.
- Codici HTTPCodici HTTP spiegati: significato di 200, 301, 404, 500 e di oltre 40 altri codici, con ricerca per codice o parola chiave e filtro per classe.
- Qual è il mio indirizzo IP?Mostra subito il tuo indirizzo IP pubblico, rileva IPv4 o IPv6 e spiega la differenza. Gratis, senza registrazione – il tuo IP non viene mai salvato.
- Generatore di meta tagGeneratore di meta tag: crea title, meta description, canonical, Open Graph e card di X per l’head della tua pagina, pronto da copiare e con controllo.
- Generatore JSON-LDGeneratore JSON-LD per Schema.org: compila articolo, FAQ, prodotto, attività locale o organizzazione e copia il codice pronto, con controllo degli errori.
- Verifica redirect di un URLVerifica redirect online: ogni passaggio di un URL con codice (301, 302, 307, 308), destinazione e tempo. Segnala catene, loop ed errori HTTPS.
- Generatore tabelle MarkdownGeneratore tabelle Markdown: incolla dati da Excel, Google Sheets o CSV e copia una tabella Markdown, HTML o LaTeX allineata, tutto in locale nel browser.