Generador de robots.txt
Este generador de robots.txt crea el archivo en pocos clics: eliges una plantilla, añades las rutas bloqueadas y tu sitemap, y puedes excluir rastreadores de IA. El archivo terminado aparece al instante y se revisa en busca de errores habituales.
Fuente: IETF RFC 9309 – Robots Exclusion Protocol (grupos, Allow/Disallow, comodines * y $). Actualizado: .
Cómo se calcula
El robots.txt es un pequeño archivo de texto en la raíz de un sitio que indica a los rastreadores qué zonas pueden consultar. Sigue el Protocolo de Exclusión de Robots (RFC 9309): cada grupo empieza con un User-agent y contiene reglas Allow y Disallow.
Qué escribe el generador
- Plantilla: «Permitir todo» escribe una línea Disallow vacía, WordPress bloquea
/wp-admin/y permiteadmin-ajax.php, la plantilla de tienda bloquea URL típicas de carrito, pago y filtros. - Tus rutas: las rutas empiezan por
/. El carácter*equivale a cualquier carácter y$al final de la dirección. - Rastreadores de IA: si lo pides, cada rastreador de entrenamiento de IA conocido recibe su propio grupo con
Disallow: /. Que el proveedor lo respete depende de él. - Sitemap: la línea va fuera de los grupos e indica la dirección completa.
Conviene saber
El archivo debe estar accesible en /robots.txt del dominio y es público; no es un control de acceso. Para que una página no aparezca en Google, usa noindex en lugar de un bloqueo, porque las páginas bloqueadas pueden listarse sin contenido. Tras subirlo, el validador de robots.txt comprueba si los rastreadores leen las reglas como esperas, y el simulador SERP muestra el aspecto de un título y una descripción en la búsqueda.
Preguntas frecuentes
¿Cómo creo un robots.txt?
Elige una plantilla, añade las rutas bloqueadas y el sitemap, copia el texto y guárdalo como robots.txt en la raíz de tu dominio. Después abre tu-dominio.com/robots.txt y compruébalo.
¿Dónde debe estar el robots.txt?
En la raíz del dominio, es decir, en https://tu-dominio.com/robots.txt. Un archivo en una subcarpeta se ignora. Cada subdominio necesita su propio archivo.
¿El robots.txt saca páginas de Google?
No de forma fiable. Solo prohíbe el rastreo. Una página bloqueada puede aparecer en el índice con su dirección pero sin contenido si otras páginas la enlazan. Para excluirla usa noindex.
¿Cómo bloqueo rastreadores de IA?
Con un grupo propio por rastreador y Disallow: /. La herramienta añade los rastreadores de entrenamiento de IA conocidos. No es jurídicamente vinculante, pero los proveedores serios respetan el archivo.
¿Necesito un robots.txt?
No necesariamente: sin archivo, los rastreadores pueden consultarlo todo. Merece la pena para excluir del rastreo zonas sin interés, como el carrito o la búsqueda interna, y para dar a conocer el sitemap.
Fuentes y base legal
- IETF RFC 9309 – Robots Exclusion Protocol (grupos, Allow/Disallow, comodines * y $)
- Google Search Central – Create and submit a robots.txt file
- Google Search Central – robots.txt: reglas admitidas (crawl-delay no es compatible)
Última actualización: · Principios editoriales
Herramientas relacionadas
- Validador robots.txt con revisión del sitemapValidador robots.txt online: ¿está bloqueada una URL para Googlebot, Bingbot o bots de IA? Muestra la regla decisiva, errores de sintaxis y revisa el sitemap.
- Simulador SERP con ancho en píxelesEscribe el title y la meta description para ver la vista previa del resultado de búsqueda, con ancho en píxeles, número de caracteres y aviso de corte.
- Generador UTMAñade parámetros UTM a tus enlaces: utm_source, utm_medium, utm_campaign y más, bien codificados, sin perder los parámetros existentes. Con aviso de errores.
- Códigos de estado HTTPCódigos de estado HTTP explicados: significado de 200, 301, 404, 500 y más de 40 códigos, con búsqueda por código o palabra clave y filtro por clase.
- Cuál es mi dirección IPMuestra al instante tu dirección IP pública, detecta si es IPv4 o IPv6 y explica la diferencia. Gratis: tu IP no se guarda.
- Generador JSON-LDGenerador JSON-LD para Schema.org: rellena artículo, FAQ, producto, negocio local u organización y copia el código listo con comprobación de errores.
- Generador de etiquetas metaGenerador de etiquetas meta: crea title, meta description, canonical, Open Graph y tarjetas de X para el head de tu página, listo para copiar y revisado.
- Comprobar redirecciones de una URLComprobar redirecciones online: cada salto de una URL con su código (301, 302, 307, 308), destino y tiempo. Detecta cadenas, bucles y errores de HTTPS.
- Combinar tipografías: pares para títulos y textoPares de fuentes para títulos y texto con vista previa en vivo, CSS para copiar y disponibilidad en Windows, Mac, iPhone y Android, solo fuentes del sistema.