Gerador de robots.txt

Este gerador de robots.txt cria o arquivo em poucos cliques: você escolhe um modelo, adiciona os caminhos bloqueados e o seu sitemap e, se quiser, exclui rastreadores de IA. O arquivo pronto aparece na hora e é conferido contra erros comuns.

Fonte: IETF RFC 9309 – Robots Exclusion Protocol (grupos, Allow/Disallow, curingas * e $). Atualizado em: 1 de outubro de 2026.

Modelo

Caminhos adicionais a bloquear

um caminho por linha, p. ex. /privado/ ou /*.pdf$

Exceções a permitir

um caminho por linha; permite subcaminhos de uma área bloqueada

Endereço do sitemap

URL completa com https://; vazio = omitido

Excluir rastreadores de treinamento de IA

Crawl-delay (opcional)

segundos

espera entre solicitações; o Google o ignora, outros rastreadores o respeitam

Minha caixa de ferramentasSeus dados ficam salvos só neste navegador.

Resultado

Seu robots.txt: User-agent: * Disallow: /privado/ Disallow: /tmp/ Sitemap: https://www.example.com/sitemap.xml
Conferência: Nenhum problema encontrado.
Onde colocar?: Salve como arquivo de texto chamado robots.txt (UTF-8) na raiz do domínio, acessível em https://seu-dominio.com.br/robots.txt – cada subdomínio precisa do seu próprio arquivo.
Rastreadores de IA excluídos: O robots.txt controla apenas o rastreamento, não a indexação: uma página bloqueada ainda pode aparecer no índice. Para tirá-la dos resultados, use noindex. O arquivo é público: não liste caminhos secretos.

Como o cálculo é feito

O robots.txt é um pequeno arquivo de texto na raiz de um site que diz aos rastreadores quais áreas eles podem acessar. Ele segue o Protocolo de Exclusão de Robôs (RFC 9309): cada grupo começa com um User-agent e contém regras Allow e Disallow.

O que o gerador escreve

Modelo: “Permitir tudo” escreve uma linha Disallow vazia, o WordPress bloqueia /wp-admin/ e permite admin-ajax.php, o modelo de loja bloqueia URLs típicas de carrinho, checkout e filtros.
Seus caminhos: caminhos começam com /. O caractere * vale por quaisquer caracteres, $ pelo fim do endereço.
Rastreadores de IA: se você pedir, cada rastreador de treinamento de IA conhecido recebe seu próprio grupo com Disallow: /. Se o provedor obedece, depende dele.
Sitemap: a linha fica fora dos grupos e informa o endereço completo.

Bom saber

O arquivo precisa estar acessível em /robots.txt do domínio e é público; não é controle de acesso. Para que uma página não apareça no Google, use noindex em vez de bloqueio, pois páginas bloqueadas podem ser listadas sem conteúdo. Depois de enviar, o validador de robots.txt testa se os rastreadores leem as regras como esperado, e o simulador de SERP mostra como título e descrição aparecem na busca.

Perguntas frequentes

Como criar um robots.txt?

Escolha um modelo, adicione os caminhos bloqueados e o sitemap, copie o texto e salve como robots.txt na raiz do seu domínio. Depois abra seu-dominio.com.br/robots.txt e confira.

Onde o robots.txt deve ficar?

Na raiz do domínio, ou seja, em https://seu-dominio.com.br/robots.txt. Um arquivo em uma subpasta é ignorado. Cada subdomínio precisa do seu próprio arquivo.

O robots.txt tira páginas do Google?

Não de forma confiável. Ele só proíbe o rastreamento. Uma página bloqueada pode aparecer no índice com o endereço, mas sem conteúdo, se outras páginas apontarem para ela. Para excluir, use noindex.

Como bloquear rastreadores de IA?

Com um grupo próprio para cada rastreador e Disallow: /. A ferramenta adiciona os rastreadores de treinamento de IA conhecidos. Não é juridicamente vinculante, mas provedores sérios respeitam o arquivo.

Preciso mesmo de um robots.txt?

Não necessariamente: sem o arquivo, os rastreadores podem acessar tudo. Vale a pena para tirar do rastreamento áreas sem importância, como carrinho ou busca interna, e para divulgar o sitemap.

Fontes e base legal

Última atualização: 1 de outubro de 2026 · Princípios editoriais