Robots.txt: qué es, cómo crearlo y cómo configurarlo bien

El archivo robots.txt es un fichero de texto que se coloca en la raíz de un sitio web y que sirve para decir a los rastreadores (Googlebot, Bingbot, los bots de las IA) qué URLs pueden visitar y cuáles no. Controla el rastreo, no la indexación: una URL bloqueada puede seguir saliendo en Google.

En esta guía tienes la sintaxis que Google admite de verdad, ejemplos que funcionan, cómo se edita en cada CMS, cómo probarlo y los errores que más veo cuando reviso el fichero de una web.

Qué es el archivo robots.txt y para qué sirve

El archivo robots.txt es un fichero de texto plano, publicado en tudominio.com/robots.txt, que los rastreadores consultan antes de visitar el resto de URLs del sitio. Sirve para gestionar el rastreo: evitar que los bots gasten peticiones en zonas sin valor (carrito, buscador interno, filtros) y que saturen el servidor.

Su funcionamiento está recogido en un estándar oficial desde septiembre de 2022, el RFC 9309 (Robots Exclusion Protocol). Un robots.txt mínimo tiene este aspecto:

# Reglas para todos los rastreadores
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Dónde está el sitemap
Sitemap: https://www.tudominio.com/sitemap.xml

Hay tres cosas que conviene tener claras desde el principio:

• No es un sistema de seguridad. El propio RFC 9309 avisa de que estas reglas no son una forma de autorización de acceso. El fichero es público y los bots que no quieren cumplirlo no lo cumplen. Lo privado se protege con contraseña.
• No sirve para sacar páginas de Google. La introducción a robots.txt de Google Search Central dice que no es un mecanismo para mantener una página fuera de Google: si otras webs enlazan una URL bloqueada, puede aparecer en los resultados, solo que sin descripción.
• Para no indexar se usa noindex. Son dos herramientas distintas y no se deben mezclar en la misma URL. Lo explico con casos en noindex o robots.txt: cuál usar en cada caso.

Dónde se coloca el robots.txt y qué requisitos debe cumplir

El robots.txt debe estar en la raíz del host, llamarse exactamente robots.txt en minúsculas, estar codificado en UTF-8 y devolver un código 200. Cada combinación de protocolo, subdominio y puerto necesita su propio fichero, y Google solo procesa los primeros 500 KiB de contenido.

Estos requisitos salen de la documentación Cómo interpreta Google la especificación de robots.txt. En detalle:

• Ubicación: https://www.tudominio.com/robots.txt es válido. https://www.tudominio.com/blog/robots.txt no sirve de nada: los rastreadores no buscan el fichero en subdirectorios.
• Un fichero por host y protocolo: el de https://www.tudominio.com no se aplica a https://tienda.tudominio.com ni a http://www.tudominio.com.
• Formato: texto plano en UTF-8. Créalo con un editor de texto (Notepad++, VS Code, TextEdit en modo texto), nunca con Word.
• Tamaño: Google ignora todo lo que pase de 500 KiB (kibibytes, unos 512.000 bytes). Si te acercas a ese tamaño, el problema no es el límite, es que el fichero está mal planteado.
• Caché: Google suele guardar una copia hasta 24 horas, así que un cambio puede tardar un día en aplicarse.

Sintaxis del robots.txt: qué directivas admite Google

La sintaxis del robots.txt se compone de líneas con un campo, dos puntos y un valor. Google solo admite cuatro campos: user-agent, disallow, allow y sitemap. Cualquier otro (crawl-delay, noindex, host) lo ignora, según su documentación sobre la especificación de robots.txt.

Los nombres de los campos no distinguen mayúsculas (Disallow y disallow valen igual). Los valores de las rutas sí. Las líneas que empiezan por # son comentarios, y te recomiendo usarlos: dentro de un año agradecerás saber por qué se bloqueó cada cosa.

Cómo funcionan los grupos de user-agent

Las reglas se organizan en grupos. Cada grupo empieza con una o varias líneas User-agent y sigue con sus Disallow y Allow. Cada rastreador obedece a un solo grupo: el que lo nombra de forma más específica. Si no hay ninguno con su nombre, usa el de *.

Esto tiene una consecuencia que mucha gente no espera. Mira este fichero:

User-agent: *
Disallow: /carrito/
Disallow: /buscar/

User-agent: Googlebot
Disallow: /pruebas/

Aquí Googlebot solo obedece a su grupo, así que puede rastrear /carrito/ y /buscar/. Las reglas de * no se suman a las suyas. Si creas un grupo para un bot concreto, tienes que repetir dentro todas las reglas que quieras que cumpla.

Comodines del robots.txt: solo existen * y $

Google y el RFC 9309 solo reconocen dos comodines. El asterisco (*) equivale a cero o más caracteres cualesquiera. El dólar ($) marca el final de la URL. No hay expresiones regulares: ni ? como comodín, ni corchetes, ni rangos como [0-9].

Fíjate en la tercera fila. El signo ? en un robots.txt es un carácter normal: el que separa la ruta de los parámetros en una URL. Si el parámetro puede ir en segunda posición, necesitas otra regla con &: Disallow: /*&orden=.

Allow o Disallow: qué regla gana cuando chocan

Cuando una URL encaja con varias reglas, el orden en el fichero no importa. Gana la regla más específica, que es la que tiene la ruta más larga. Si un Allow y un Disallow tienen la misma longitud, gana la menos restrictiva, es decir, el Allow. Así lo establecen el RFC 9309 y Google.

Crawl-delay: qué es y por qué Google lo ignora

Crawl-delay es una directiva no estándar que pide a un rastreador que espere entre petición y petición. Sirve para frenar el rastreo, no para aumentarlo. Google la ignora por completo. Otros rastreadores, como Bingbot, sí la tienen en cuenta: cuanto más alto es el valor, más despacio rastrean.

Si lo que te preocupa es que Googlebot cargue demasiado tu servidor, el robots.txt no es el sitio. Mira primero qué está rastreando (en los logs del servidor o en las estadísticas de rastreo de Google Search Console) y corta ahí el problema: filtros infinitos, calendarios, URLs con parámetros de sesión.

Ejemplos de robots.txt que funcionan

Estos ejemplos de robots.txt cubren los casos más habituales: permitir todo, bloquear todo, bloquear una carpeta con una excepción, bloquear parámetros de URL, bloquear un tipo de archivo y dar reglas distintas a un rastreador. Todos usan únicamente la sintaxis que Google documenta.

Permitir el rastreo de toda la web

User-agent: *
Disallow:

Un Disallow vacío no bloquea nada. Es lo mismo que no tener robots.txt, pero evita errores 404 en los logs.

Bloquear toda la web

User-agent: *
Disallow: /

Cuidado con este. Es el típico fichero de un entorno de pruebas que acaba subiéndose a producción en una migración. Y ni siquiera es la mejor forma de proteger un entorno de pruebas: para eso, contraseña.

Bloquear una carpeta, salvo un archivo

User-agent: *
Disallow: /descargas/
Allow: /descargas/catalogo.pdf

Funciona porque la ruta del Allow es más larga que la del Disallow.

Bloquear filtros y ordenaciones por parámetro

User-agent: *
Disallow: /*?orden=
Disallow: /*&orden=
Disallow: /*?filtro_
Disallow: /*&filtro_

Bloquear un tipo de archivo

User-agent: *
Disallow: /*.xlsx$

Bloquear a un rastreador concreto

User-agent: AhrefsBot
Disallow: /

User-agent: *
Disallow: /carrito/

Un robots.txt completo para una tienda online

# robots.txt de www.tudominio.com

User-agent: *
# Zonas privadas o sin valor para buscadores
Disallow: /carrito/
Disallow: /mi-cuenta/
Disallow: /buscar/
# Ordenaciones y filtros
Disallow: /*?orden=
Disallow: /*&orden=

Sitemap: https://www.tudominio.com/sitemap.xml

Es un ejemplo, no una plantilla para copiar. Las rutas de tu web serán otras, y antes de bloquear nada hay que comprobar qué URLs reciben tráfico o enlaces.

Cómo crear un archivo robots.txt paso a paso

Para crear un archivo robots.txt necesitas un editor de texto plano y acceso a la raíz de tu web (por FTP, por el administrador de archivos del hosting o desde tu CMS). El proceso completo son cinco pasos y lo más importante es el último: probarlo antes de darlo por bueno.

1. Mira si ya existe. Abre tudominio.com/robots.txt en el navegador. Muchos CMS generan uno automáticamente.
2. Haz inventario de lo que no quieres que se rastree. Carrito, área de cliente, buscador interno, filtros, ordenaciones. Si tienes dudas con una sección, no la bloquees todavía.
3. Escribe el fichero en un editor de texto, guárdalo como robots.txt en UTF-8 y añade la línea Sitemap con la URL completa.
4. Súbelo a la raíz del dominio (y de cada subdominio que lo necesite).
5. Pruébalo con las herramientas del apartado «Cómo probar el robots.txt» de esta guía.

Cómo editar el robots.txt en WordPress, Shopify, PrestaShop y otros CMS

En casi todos los CMS el robots.txt se genera automáticamente y se edita desde el panel, sin subir ningún fichero. WordPress crea uno virtual que puedes modificar con un plugin SEO, Shopify usa una plantilla llamada robots.txt.liquid, y PrestaShop, Wix, Webflow y Magento tienen su propia opción en los ajustes.

Robots.txt en WordPress

WordPress genera un robots.txt virtual: no existe como fichero en el servidor, pero responde en /robots.txt. Por defecto bloquea /wp-admin/ y permite /wp-admin/admin-ajax.php. Tienes dos formas de cambiarlo:

• Con un plugin SEO. En Rank Math: Rank Math SEO > Ajustes generales > Editar robots.txt (con el modo avanzado activado). En Yoast SEO: Yoast SEO > Herramientas > Editor de archivos.
• Subiendo un fichero físico a la raíz por FTP o desde el administrador de archivos del hosting. Si existe un fichero físico, es el que se sirve; para usar el editor de Rank Math hay que borrar antes ese fichero.

Un detalle: la casilla «Disuadir a los motores de búsqueda de indexar este sitio» (Ajustes > Lectura) no toca el robots.txt desde WordPress 5.3. Lo que hace es añadir una etiqueta meta robots a las páginas. Tienes más sobre este CMS en la guía de SEO en WordPress.

Robots.txt en Shopify

Shopify genera un robots.txt por defecto que vale para la mayoría de las tiendas. Si necesitas cambiarlo, se hace con la plantilla robots.txt.liquid, tal como explica la ayuda de Shopify para editar robots.txt.liquid:

1. En el panel de control, entra en Tienda online.
2. En tu tema, abre el menú de los tres puntos y elige Editar código.
3. Haz clic en Agregar una nueva plantilla y selecciona robots.
4. Haz clic en Crear plantilla.
5. Añade tus cambios a la plantilla y guarda.

Shopify recomienda no sustituir la plantilla por reglas en texto plano, porque dejarías de recibir las actualizaciones de sus reglas por defecto, y avisa de que su soporte no ayuda con esta personalización. Para volver al fichero original basta con eliminar la plantilla. Si trabajas con esta plataforma, te interesa también la guía de SEO en Shopify.

Robots.txt en PrestaShop

PrestaShop genera el fichero desde el panel, en Parámetros de la tienda > Tráfico y SEO > SEO y URLs, con el botón Generar el archivo robots.txt. Ojo: según la documentación de PrestaShop, ese botón sustituye el fichero que hubiera. Si quieres añadir reglas propias, hazlo después de generarlo, y guarda una copia.

Para comprobar que se ha creado bien, abre tudominio.com/robots.txt: debe mostrarse el contenido (código 200). Si ves un 404, el fichero no se ha generado, normalmente por permisos de escritura en la raíz.

Robots.txt en Wix

1. En el panel de control del sitio, entra en SEO y GEO.
2. Baja hasta Herramientas y ajustes y selecciona Editor de robots.txt.
3. Haz clic en Ver archivo, escribe tus reglas y pulsa Guardar cambios.

En el mismo editor tienes la opción Restablecer ajustes predeterminados por si algo sale mal.

Robots.txt en Webflow

1. Ve a Site settings > SEO > Indexing.
2. Escribe las reglas en el campo del robots.txt.
3. Guarda y publica el sitio. Sin publicar, el cambio no se aplica.

Webflow añade por defecto la línea del sitemap al fichero.

Robots.txt en Squarespace

Squarespace genera y mantiene el robots.txt por su cuenta. Lo que sí ofrece es una casilla para bloquear a los rastreadores de IA conocidos, en Settings > Crawlers, que añade esas reglas al fichero. Para que una página concreta no salga en buscadores se usa la opción de ocultarla en los ajustes SEO de la página (un noindex), no el robots.txt.

Robots.txt en Magento (Adobe Commerce)

1. En el panel, ve a Content > Design > Configuration.
2. En la fila de la configuración global, haz clic en Edit.
3. Despliega la sección Search Engine Robots.
4. Escribe tus reglas en Edit custom instruction of robots.txt File y guarda con Save Configuration.

El desplegable Default Robots de esa misma pantalla no cambia el robots.txt: fija la etiqueta meta robots por defecto de las páginas (INDEX, FOLLOW; NOINDEX, FOLLOW, etc.).

Paginaciones, filtros, feeds y buscador interno: qué bloquear en el robots.txt

Como norma, en el robots.txt se bloquean las URLs que no aportan nada a un buscador y se generan en cantidad: buscador interno, filtros combinables, ordenaciones, carrito y área privada. Las paginaciones no se bloquean si son el camino por el que Google descubre productos o artículos.

• Paginaciones. Si bloqueas /categoria/page/2/ y los productos de esa página no están enlazados desde otro sitio, Google deja de encontrarlos. Solo tiene sentido bloquear paginaciones cuando el enlazado interno y el sitemap ya llevan a todo el contenido, y aun así es raro que compense.
• Filtros y ordenaciones. Aquí sí. Un catálogo con cinco filtros combinables puede generar miles de URLs casi iguales. Bloquéalos por parámetro o por ruta, salvo los filtros que tengan búsquedas propias y quieras posicionar.
• Buscador interno. Bloquéalo siempre: Disallow: /buscar/ o Disallow: /*?s= en WordPress.
• Feeds. Disallow: /feed/ impide rastrear el feed principal y Disallow: /*/feed/ los de cada entrada o categoría. No afecta a que se rastreen los artículos. En la mayoría de las webs no hace falta tocarlo.
• CSS y JavaScript. No los bloquees. Google necesita esos recursos para ver la página como la ve un usuario.
• Scroll infinito o carga con JavaScript. Asegúrate de que existen URLs de paginación enlazadas que el bot pueda seguir, porque Googlebot no hace scroll.

La forma fiable de decidir es mirar los datos: en los logs del servidor ves en qué URLs gasta Googlebot sus peticiones, y con un rastreo de Screaming Frog ves qué quedaría bloqueado antes de publicar el cambio.

Cómo bloquear o permitir los rastreadores de IA en el robots.txt

Los rastreadores de IA se controlan en el robots.txt igual que cualquier otro bot: con un grupo User-agent para cada uno. Lo importante es distinguir los bots que recogen contenido para entrenar modelos de los que alimentan los buscadores de IA, porque bloquear estos últimos te quita visibilidad en sus respuestas.

Por ejemplo, para no ceder contenido a entrenamiento sin desaparecer de los buscadores de IA:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

Tres aclaraciones que evitan sustos:

• Google-Extended no afecta a Google Search. Según la lista de rastreadores de Google, no influye en la inclusión del sitio en la búsqueda ni es una señal de posicionamiento. Tampoco es un bot aparte: es un token que solo existe en el robots.txt. Las respuestas con IA dentro del buscador dependen de Googlebot.
• Los accesos lanzados por un usuario van por otro lado. Agentes como ChatGPT-User o Perplexity-User visitan una página cuando alguien lo pide en el chat, y sus propias empresas indican que el robots.txt puede no aplicarse en ese caso.
• El archivo llms.txt no sustituye al robots.txt. Es una propuesta para orientar a los modelos sobre tu contenido, no un estándar, y no controla el acceso.

Qué conviene abrir y qué cerrar depende del negocio: no es lo mismo un medio que vive de su contenido que una empresa que quiere que las IA la recomienden. Si quieres decidirlo con criterio, es parte de lo que trabajamos en el servicio de SEO para LLM.

Qué hace Google si el robots.txt da error o no existe

Google decide qué hacer con tu web según el código de respuesta del robots.txt. Con un 200 aplica las reglas. Con un 4xx (salvo el 429) actúa como si no hubiera fichero y rastrea todo. Con un 5xx deja de rastrear el sitio durante las primeras 12 horas y después usa la última copia válida.

La consecuencia práctica: un robots.txt que devuelve errores 5xx es un problema serio, porque puede parar el rastreo de toda la web. Y en una migración, cuidado con redirigir el robots.txt del dominio antiguo al nuevo: Google aplicará al antiguo las reglas del fichero de destino.

Cómo probar el robots.txt antes y después de publicarlo

El robots.txt se prueba con el informe de robots.txt de Google Search Console, con la herramienta de inspección de URLs y con un rastreador como Screaming Frog. El antiguo probador de robots.txt de Google ya no existe: Google lo retiró y lo sustituyó por ese informe.

1. Ábrelo en una ventana de incógnito. Comprueba que carga, que devuelve un 200 y que el contenido es el que esperas.
2. Revisa el informe de robots.txt de Search Console (en Ajustes). Según la ayuda de Search Console sobre el informe de robots.txt, muestra los ficheros de los 20 hosts principales de la propiedad, cuándo los comprobó Google por última vez, el estado de obtención, las incidencias detectadas y las versiones de los últimos 30 días. Desde ahí puedes solicitar un nuevo rastreo del fichero después de un cambio.
3. Comprueba URLs concretas con la inspección de URLs. Te dice si el rastreo de esa URL está permitido o bloqueado por el robots.txt. En la guía de Google Search Console tienes cómo moverte por la herramienta.
4. Simula el cambio con Screaming Frog. En Configuration > Robots.txt puedes cargar un robots.txt personalizado y probarlo contra tus URLs sin tocar el fichero real. Las URLs bloqueadas aparecen en la pestaña Response Codes, filtro «Blocked by Robots.txt», con la línea exacta que las bloquea.
5. Vigila el informe de indexación de páginas los días siguientes. Si empiezan a subir las URLs con el motivo «El archivo robots.txt ha bloqueado la URL» y no era lo que querías, revisa la última regla que tocaste.

Para comprobar una regla suelta antes de subir el fichero también sirve un validador de robots.txt en línea: pegas las reglas, indicas una URL y un rastreador, y te dice si queda permitida o bloqueada y por qué línea.

Errores habituales en el robots.txt

Los errores más habituales en un robots.txt son bloquear toda la web sin querer, usarlo para intentar desindexar páginas, bloquear CSS y JavaScript, escribir comodines que no existen y olvidar que un grupo específico de user-agent anula el grupo general. Casi todos se detectan en minutos si se prueba el fichero.

• Dejar un Disallow: / heredado del entorno de pruebas. Es el primer control que hacemos después de cualquier migración.
• Bloquear una URL para «quitarla de Google». Si ya está indexada, bloquearla impide que Google vea el noindex y se queda ahí. Primero noindex, y cuando haya salido, si interesa, se bloquea.
• Bloquear recursos (/wp-includes/, carpetas de temas, CSS, JS). Google renderiza la página a medias y puede interpretar mal el contenido.
• Usar sintaxis inventada: corchetes, rangos, ? como comodín o rutas que no empiezan por / ni por *.
• Olvidar las mayúsculas. Disallow: /Privado/ no bloquea /privado/.
• Confiar en que oculta algo. El fichero es público: listar en él /backup-clientes/ es anunciarlo.
• Incluir en el sitemap URLs bloqueadas. Le dices a Google «rastrea esto» y «no rastrees esto» a la vez.
• Un solo fichero para varios subdominios. Cada host necesita el suyo.

En mi experiencia auditando webs desde 2008, el robots.txt rara vez es lo que más hace ganar, pero es de lo que más rápido hace perder: es una sola línea y afecta a toda la web. Por eso lo tratamos como un cambio que se prueba antes y se vigila después.

Preguntas frecuentes sobre el robots.txt

¿No está tu pregunta? Escríbeme a alberto@ingenieroseo.com y te contesto en menos de 24 horas.

¿Cuál es el tamaño máximo de un archivo robots.txt?

Google procesa como máximo 500 KiB (kibibytes) de un archivo robots.txt e ignora las reglas que queden por encima de ese límite. El RFC 9309 pide a los rastreadores que admitan al menos ese tamaño. Un robots.txt normal ocupa unos pocos KiB.

¿Dónde está el robots.txt en WordPress?

En WordPress el robots.txt se sirve en tudominio.com/robots.txt. Por defecto es virtual: lo genera WordPress y no aparece como fichero en el servidor. Puedes editarlo desde un plugin SEO como Rank Math o Yoast SEO, o subir un fichero robots.txt físico a la raíz, que sustituye al virtual.

¿El robots.txt impide que una página aparezca en Google?

No. El robots.txt impide el rastreo, no la indexación. Si otras páginas enlazan una URL bloqueada, Google puede indexarla y mostrarla sin descripción. Para que una página no aparezca en Google hay que usar la etiqueta noindex (y dejar que Google la rastree) o protegerla con contraseña.

¿Es obligatorio tener un archivo robots.txt?

No es obligatorio. Si el robots.txt no existe y la URL devuelve un 404, Google entiende que puede rastrear toda la web. Aun así conviene tenerlo, aunque sea mínimo, para indicar el sitemap y evitar el rastreo de zonas sin valor como el buscador interno o el carrito.

¿Cuánto tarda Google en aplicar un cambio en el robots.txt?

Google suele guardar en caché el robots.txt hasta 24 horas, así que un cambio puede tardar alrededor de un día en aplicarse. Para acelerarlo, puedes solicitar un nuevo rastreo del fichero desde el informe de robots.txt de Google Search Console.

Si tienes un caso que no encaja en ninguno de estos ejemplos, déjalo en los comentarios con la regla que estás usando y la URL que quieres bloquear o permitir, y lo vemos.