Tu archivo robots.txt es un archivo de texto que se encuentra en el directorio raíz de tu web. Indica a los rastreadores a qué páginas pueden acceder y cuáles están prohibidas. Para los buscadores tradicionales, robots.txt es opcional. Para los rastreadores de IA, es la herramienta principal para controlar si tu contenido se indexa o se bloquea.
La diferencia importa. Google respeta robots.txt, pero también rastrea páginas que bloqueas si otras webs las enlazan. Los rastreadores de IA respetan robots.txt de forma más estricta. Bloquea GPTBot en tu robots.txt y ChatGPT no citará tu contenido. Permítelo y tu contenido queda disponible para las citas de la IA. Este capítulo explica cómo se llama cada rastreador de IA importante, cómo bloquear bots concretos y qué estrategia tiene sentido para tu marca.
Cómo funciona robots.txt con los rastreadores de IA
Cuando un rastreador visita tu web, lo primero que hace es buscar un archivo robots.txt. Lo lee línea a línea en busca de reglas que le afecten. Si tu robots.txt dice "disallow: /", ningún rastreador puede acceder a ninguna página. Si dice "disallow: /admin/", los rastreadores pueden acceder a todo excepto a la carpeta admin.
Los rastreadores de IA siguen estas reglas con más coherencia que Googlebot. Si bloqueas ClaudeBot en robots.txt, Claude no indexará tu contenido. Punto. Googlebot todavía puede rastrear páginas que bloqueas si el contenido está enlazado desde otras webs, pero los rastreadores de IA se detienen en la directiva de robots.txt.
El formato es sencillo. Escribes reglas que indican qué user agents (nombres de rastreadores) se rigen por qué reglas y después enumeras a qué pueden acceder y a qué no. El archivo es texto plano. Sin marcado. Sin formato especial. Solo reglas.
Los principales rastreadores de IA y sus nombres de user agent
Cada rastreador tiene un nombre de user agent. Cuando visita tu web, se identifica con ese nombre. Usas ese nombre en tu archivo robots.txt para crear reglas específicas para ese rastreador.
Estos son los principales rastreadores de IA que conviene conocer:
GPTBot (OpenAI)
GPTBot es el rastreador de OpenAI. Indexa contenido para ChatGPT. Cuando una persona activa la búsqueda web en ChatGPT, el sistema toma datos de las páginas que GPTBot ha indexado. GPTBot rastrea de forma intensa pero respeta las reglas de robots.txt.
Para permitir GPTBot, no hagas nada. Rastrea por defecto. Para bloquearlo, añade estas líneas a tu robots.txt:
User-agent: GPTBot
Disallow: /
Esa regla dice "GPTBot, no puedes acceder a ninguna página de esta web". Si solo quieres bloquear secciones concretas, puedes ser más específico. Bloquea la carpeta /admin/ pero permite el resto:
User-agent: GPTBot
Disallow: /admin/
ClaudeBot (Anthropic)
ClaudeBot es el rastreador de Anthropic. Indexa contenido para la búsqueda web de Claude. ClaudeBot es más intenso que GPTBot. Hace más solicitudes y rastrea con más frecuencia. Si permites ClaudeBot, vigila los recursos de tu servidor.
ClaudeBot se identifica con este nombre de user agent. Úsalo en tu robots.txt igual que harías con GPTBot:
User-agent: ClaudeBot
Disallow: /
PerplexityBot (Perplexity)
PerplexityBot rastrea la web para Perplexity. Es uno de los rastreadores más frecuentes. Actualiza el contenido varias veces al día porque Perplexity da prioridad a la frescura. Si bloqueas PerplexityBot, tu contenido no aparecerá en las respuestas de Perplexity.
User-agent: PerplexityBot
Disallow: /
Googlebot-Extended (IA de Google)
Google tiene dos rastreadores. Googlebot rastrea para la búsqueda tradicional. Googlebot-Extended rastrea para los sistemas de IA de Google, como las AI Overviews y Gemini. Puedes bloquear Googlebot-Extended y permitir Googlebot.
User-agent: Googlebot-Extended
Disallow: /
Otros rastreadores
Otros buscadores, como los de Rusia, Corea o Microsoft, también tienen rastreadores. El principio es el mismo. Identifica el nombre del user agent y crea una regla.
La estrategia: ¿permitir o bloquear?
La mayoría de las marcas deberían permitir que los rastreadores de IA accedan a su contenido. Las citas de la IA generan tráfico de alta calidad. Las personas que llegan a tu contenido a través de ChatGPT o Perplexity ya han decidido que tu respuesta es valiosa. Hacen clic y convierten en mayor proporción que quienes llegan desde la búsqueda tradicional.
Hay excepciones. Si tienes información propia, secretos comerciales o contenido que quieres mantener en exclusiva, bloquear a los rastreadores de IA tiene sentido. Si tienes contenido de pago, puedes bloquear ciertos rastreadores para evitar el acceso gratuito mediante resúmenes de IA. Si tienes contenido que resulta embarazoso o está desactualizado, puedes bloquear a los rastreadores de IA hasta que lo actualices.
Pero para la mayoría del contenido, la cuenta es simple. La visibilidad en IA crea más oportunidades que riesgos. Permite a los rastreadores. Consigue que te citen. Genera tráfico.
Bloquear rastreadores concretos y permitir otros
No tienes que elegir entre todo o nada. Puedes permitir algunos rastreadores de IA y bloquear otros.
Permite a Perplexity y a GPTBot pero bloquea a ClaudeBot porque la frecuencia de rastreo de ClaudeBot satura tu servidor:
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow:
User-agent: PerplexityBot
Disallow:
El "Disallow:" en blanco significa que no hay restricción. Ese rastreador puede acceder a todo.
También puedes bloquear a los rastreadores de IA en secciones concretas. Permite GPTBot en todas partes excepto en tu panel de administración:
User-agent: GPTBot
Disallow: /admin/
Permítele rastrear tu blog pero no tus productos:
User-agent: GPTBot
Disallow: /products/
La regla comodín y el comportamiento por defecto
Puedes crear reglas para rastreadores concretos y una regla por defecto para todos los demás. El asterisco (*) es el comodín que se aplica a todos los rastreadores que no se mencionan de forma específica.
Esta regla bloquea a todos los rastreadores en /private/ pero permite todo lo demás:
User-agent: *
Disallow: /private/
Esta regla impide a todos los rastreadores acceder a cualquier cosa:
User-agent: *
Disallow: /
La directiva crawl-delay
Puedes decirles a los rastreadores que vayan más despacio. La directiva Crawl-delay indica a un rastreador que espere un número de segundos entre solicitudes. Si tu servidor va justo por el rastreo intenso de ClaudeBot, puedes decirle que reduzca el ritmo:
User-agent: ClaudeBot
Crawl-delay: 5
Eso significa que ClaudeBot debe esperar 5 segundos entre cada solicitud. Ralentiza el rastreo pero reduce la carga del servidor.
Cómo se relaciona robots.txt con tu sitemap
Tu archivo robots.txt puede hacer referencia a tu sitemap. Añade esta línea al final de tu robots.txt:
Sitemap: https://yoursite.com/sitemap.xml
Los rastreadores revisan tu robots.txt y ven la referencia al sitemap. Saben dónde encontrar el mapa de tu contenido. Esto acelera el descubrimiento. No cambia a qué pueden acceder los rastreadores. Solo les dice dónde mirar.
Cómo probar tu robots.txt
Puedes probar tu archivo robots.txt antes de publicarlo. Google Search Console incluye un probador de robots.txt. Introduces una URL y el nombre de un user agent y te dice si ese rastreador puede acceder a esa página según las reglas de tu robots.txt.
La mayoría de las plataformas de contenido, WEMASY incluido, generan un archivo robots.txt de forma automática. Revisa los ajustes de tu web. Si puedes editarlo, puedes añadir reglas personalizadas. Si no puedes, contacta con tu proveedor de hosting.
Preguntas frecuentes
Si bloqueo a todos los rastreadores de IA, ¿se posicionará mi web en Google?
Sí. Bloquear a los rastreadores de IA (GPTBot, ClaudeBot, etc.) no afecta al posicionamiento en Google. Google usa Googlebot para la búsqueda tradicional y Googlebot-Extended para las funciones de IA. Si quieres bloquear solo a los rastreadores de IA pero mantener el acceso de Google, bloquea específicamente los nombres de los rastreadores de IA y deja sin bloquear a Googlebot y Googlebot-Extended. Con el creador de webs de WEMASY, puedes configurarlo directamente en tu web.
¿Puedo bloquear los rastreadores de entrenamiento de IA pero permitir los de búsqueda con IA?
Las líneas entre rastreadores de entrenamiento y de búsqueda son difusas. La mayoría de las grandes empresas de IA usan ya los mismos rastreadores para ambos fines. Si bloqueas por completo un rastreador de IA, bloqueas tanto su acceso de entrenamiento como su acceso de búsqueda. Con robots.txt no puedes bloquear de forma selectiva solo el entrenamiento o solo la búsqueda. Bloqueas el rastreador por completo o lo permites.
¿Qué pasa si no tengo un archivo robots.txt?
Si no tienes un archivo robots.txt, los rastreadores asumen que pueden acceder a todo. Todos los rastreadores (el de Google, los de otros buscadores, GPTBot, ClaudeBot, todos) indexarán toda tu web. Para la mayoría de las webs, este es el comportamiento deseado. Si quieres bloquear rastreadores o secciones concretas, necesitas un archivo robots.txt.
¿Pueden los rastreadores de IA saltarse mi archivo robots.txt?
En teoría sí, pero no lo hacen. Los rastreadores de IA respetan robots.txt de forma más estricta que Googlebot. Si le dices a un rastreador de IA que no entre, no entra. Quienes desarrollan los rastreadores saben que ignorar robots.txt daña sus relaciones con los editores. Siguen las reglas.
¿Cada cuánto necesito actualizar mi archivo robots.txt?
Solo necesitas actualizarlo si cambian tus reglas de bloqueo. Si decides bloquear un rastreador nuevo o abrir el acceso a una sección bloqueada antes, actualízalo. Si no, una vez configurado, puedes dejarlo tal cual. Los rastreadores lo revisan cada vez que visitan tu web, así que los cambios surten efecto de inmediato.
¿Debo bloquear a los rastreadores de IA el acceso a mi análisis de la competencia o a mi investigación privada?
Sí. Si tienes páginas con investigación propia, análisis competitivo o contenido que no quieres que sea público, bloquea a todos los rastreadores en esas secciones. Añade una regla disallow para esa carpeta o esas páginas. Los rastreadores no las indexarán y los sistemas de IA no tendrán acceso para citarlas.