Los buscadores rastrean tu sitio de forma constante, siguiendo enlaces e indexando páginas. Pero no todas las páginas merecen indexarse. Tienes páginas privadas, áreas de administración, páginas de prueba y páginas duplicadas que malgastan presupuesto de rastreo. Robots.txt es un sencillo archivo de texto que indica a los buscadores qué páginas pueden rastrear y cuáles no. Es el guardián entre tu sitio y los bots de los buscadores.
Robots.txt es un archivo de texto plano que está en el directorio raíz de tu web (yoursite.com/robots.txt). Contiene instrucciones para los rastreadores de los buscadores sobre qué páginas y secciones de tu sitio pueden rastrear. No necesitas iniciar sesión para acceder a robots.txt. Es público. Cualquiera puede visitar yoursite.com/robots.txt y ver tus instrucciones.
Se supone que los buscadores siguen las reglas de robots.txt. La mayoría lo hace. Algunos no. Los rastreadores que se portan bien (Google y otros buscadores de reputación) respetan robots.txt. Los actores malintencionados y los bots maliciosos suelen ignorarlo.
¿Cómo es un archivo robots.txt?
Un archivo robots.txt sencillo tiene este aspecto:
User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /blog/
Sitemap: https://www.example.com/sitemap.xml
Esto indica a todos los bots (User-agent: *) que no pueden rastrear las secciones /admin/ ni /private/. Permite de forma explícita /blog/ (lo cual es útil si se bloquea una carpeta superior). También dirige a los bots a tu sitemap.
Aquí tienes otro ejemplo con reglas más específicas:
User-agent: Googlebot
Disallow: /temp/
User-agent: *
Disallow: /test/
Disallow: /*.pdf
Crawl-delay: 5
Esto bloquea solo el rastreador de Google en /temp/. Todos los demás bots quedan bloqueados en /test/ y en todos los archivos PDF. El crawl-delay indica a los bots que esperen 5 segundos entre solicitudes.
Cómo ayuda robots.txt al SEO
Robots.txt ayuda al SEO de una forma principal: conserva el presupuesto de rastreo. Los buscadores asignan una cantidad limitada de presupuesto de rastreo a cada sitio. En los sitios pequeños, el presupuesto de rastreo rara vez es un problema. En los sitios grandes con miles de páginas, importa.
Si tu sitio tiene 10,000 páginas pero solo 500 son importantes, quieres que los bots rastreen las 500 páginas importantes varias veces en lugar de repartir su presupuesto de rastreo entre las 10,000. Robots.txt impide que los bots pierdan el tiempo en páginas sin importancia.
Páginas habituales que conviene bloquear: áreas de administración, páginas de inicio de sesión, páginas de agradecimiento, páginas de prueba, contenido duplicado, páginas de sesión y contenido temporal. Bloquear estas páginas indica a los bots que se centren en el contenido que importa.
Qué no bloquear en robots.txt
No bloquees las páginas que quieres posicionar. No bloquees la sección de tu blog ni las áreas principales de contenido. No bloquees los archivos CSS, JavaScript o de imágenes necesarios para renderizar las páginas correctamente (a menos que quieras impedir específicamente la indexación).
Google recomienda no bloquear los archivos CSS, JavaScript e imágenes aunque no quieras que se indexen. Bloquear estos recursos puede impedir que Google renderice y entienda bien tus páginas.
No uses robots.txt para ocultar información sensible. Robots.txt es público. Cualquiera puede leer yoursite.com/robots.txt. Si quieres ocultar algo de verdad, usa protección con contraseña o autenticación en el servidor, no robots.txt.
Cómo crear un archivo robots.txt
Crear robots.txt es sencillo. Es un archivo de texto plano. La mayoría de los creadores de webs y plataformas CMS generan uno automáticamente.
Si tu CMS no ha creado uno, créalo a mano. Abre un editor de texto. Escribe tus reglas. Guárdalo como "robots.txt" (no "robots.txt.txt"). Súbelo al directorio raíz de tu sitio (yoursite.com/robots.txt).
Prueba tu archivo robots.txt. Ve a Google Search Console, selecciona tu propiedad, abre la herramienta Robots.txt Tester y pega tus reglas. Google te mostrará qué bloquea y qué permite el archivo. Así confirmas que tus reglas funcionan como querías.
Reglas habituales de robots.txt y ejemplos
Esta es la regla más habitual: bloquear a todos los bots el acceso a un directorio concreto.
User-agent: *
Disallow: /admin/
Así se bloquea un tipo de archivo concreto (como los PDF):
User-agent: *
Disallow: /*.pdf
Así se bloquea a todos los bots excepto a Google:
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow:
Así se añade un retraso de rastreo (esperar X segundos entre solicitudes):
User-agent: *
Crawl-delay: 10
Así se dirige a los bots a tu sitemap:
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap2.xml
Limitaciones importantes de robots.txt
Robots.txt no es una herramienta de seguridad. Es un sistema de cortesía. Los bots malos, los hackers y los rastreadores maliciosos ignoran robots.txt por completo. No lo uses para ocultar datos sensibles ni proteger páginas importantes. Para eso usa protección con contraseña.
Robots.txt no garantiza la exclusión de los resultados de búsqueda. Google a veces indexa páginas que aparecen en robots.txt si se enlazan desde otras páginas indexadas. El bloqueo impide el rastreo, pero no la indexación si la página está enlazada en otro sitio.
Robots.txt no es un noindex. Si quieres impedir la indexación por completo, usa una metaetiqueta robots o la cabecera X-Robots-Tag, no robots.txt. Robots.txt solo controla el rastreo, no la indexación.
Preguntas frecuentes
¿Afecta robots.txt al posicionamiento SEO?
De forma indirecta. Robots.txt no influye directamente en el posicionamiento. Sin embargo, al dirigir el presupuesto de rastreo a las páginas importantes, ayudas a los buscadores a rastrear e indexar tu mejor contenido con más frecuencia. Un mejor rastreo lleva a una mejor indexación, que lleva a un mejor potencial de posicionamiento. Así que robots.txt ayuda al posicionamiento de forma indirecta mediante la gestión del presupuesto de rastreo. Con el creador de webs de WEMASY, puedes montarlo directamente en tu web.
¿Puedo impedir que Google rastree mi sitio?
Sí, pero no deberías. Puedes bloquear a Googlebot en robots.txt, pero eso impide que Google indexe tu sitio. Tu sitio desaparecerá de la búsqueda de Google. El único motivo para hacerlo es si vas a dejar tu sitio sin conexión o a trasladarlo y no quieres que se indexe la versión antigua. En casi todos los casos, deberías permitir que Google rastree.
¿Distingue robots.txt entre mayúsculas y minúsculas?
En parte. Los comandos User-agent y Disallow no distinguen entre mayúsculas y minúsculas. Las rutas que bloqueas sí distinguen entre mayúsculas y minúsculas en la mayoría de los servidores. /Admin/ y /admin/ son rutas distintas. Prueba tus reglas en Google Search Console para asegurarte de que funcionan como quieres.
¿Debo bloquear las páginas duplicadas con robots.txt?
Depende. Robots.txt bloquea el rastreo, pero no la indexación. Si quieres impedir que se indexen páginas duplicadas, usa la etiqueta canonical o la metaetiqueta noindex en su lugar. Usa robots.txt para bloquear el rastreo de duplicados sin importancia que no te importa que Google llegue a encontrar.
¿Necesito avisar a Google cuando cambio robots.txt?
No. Google rastrea robots.txt con frecuencia. Los cambios suelen surtir efecto en cuestión de horas. No necesitas volver a enviar tu sitio ni avisar a nadie. Simplemente actualiza robots.txt y espera al siguiente rastreo.
¿Cuál es la diferencia entre robots.txt y las metaetiquetas robots?
Robots.txt bloquea el rastreo a nivel de archivo. Las metaetiquetas robots controlan la indexación a nivel de página. Robots.txt dice que una página no se puede rastrear. Las metaetiquetas robots (como noindex) dicen que una página se puede rastrear pero no debe indexarse. Usa robots.txt para secciones grandes que quieras bloquear. Usa metaetiquetas robots para páginas individuales que quieras que se rastreen pero no se indexen.