Controlar si ChatGPT puede encontrar y citar tu contenido implica tres mecanismos distintos: robots.txt, las meta tags y las cabeceras HTTP. La mayoría de la gente conoce uno. Entender los tres te permite elegir con criterio tu estrategia de visibilidad.
No se trata solo de bloquear o permitir. Se trata de hacerlo con intención. Cada directiva logra un resultado distinto. La combinación equivocada puede salirte mal.
Las tres capas de control
Tienes tres formas de comunicarte con los rastreadores de ChatGPT sobre tu contenido.
Capa 1: robots.txt
Este archivo, en la raíz de tu dominio, les dice a los rastreadores a qué pueden y a qué no pueden acceder en todo tu sitio o en secciones concretas. Controla el descubrimiento y el rastreo.
Capa 2: meta tags robots
Estas meta tags HTML, en cada página, les dicen a los rastreadores qué hacer una vez que han encontrado y leído la página. Controlan la indexación y el uso de esa página concreta.
Capa 3: cabeceras HTTP X-Robots-Tag
Esta cabecera, en la respuesta HTTP de tu servidor, cumple la misma función que las meta tags robots, pero se puede aplicar a todo el sitio o a ciertos tipos de contenido. Es útil para contenido que no es HTML, como los PDF.
La mayoría de la gente se centra en robots.txt y olvida las otras dos. Las tres funcionan juntas.
Capa 1: entender robots.txt y OAI-SearchBot
Tu archivo robots.txt se comunica con OAI-SearchBot (el rastreador de búsqueda de ChatGPT). ChatGPT respeta las directivas estándar de robots.txt.
Para permitir que OAI-SearchBot acceda a tu contenido
User-agent: OAI-SearchBot
Allow: /
Este es el valor por defecto. OAI-SearchBot rastreará todo tu sitio y tu contenido será visible en la búsqueda de ChatGPT.
Para bloquear OAI-SearchBot por completo
User-agent: OAI-SearchBot
Disallow: /
Esto impide que la búsqueda de ChatGPT encuentre tu contenido. Tus páginas no aparecerán en las respuestas de ChatGPT.
Para permitir OAI-SearchBot pero controlar la frecuencia de rastreo
User-agent: OAI-SearchBot
Allow: /
Crawl-delay: 1
La directiva Crawl-delay le dice al bot que espere 1 segundo entre solicitudes. Esto ayuda a controlar la carga del servidor si el rastreador de ChatGPT accede a tu servidor con demasiada frecuencia.
Para bloquear secciones concretas
User-agent: OAI-SearchBot
Disallow: /admin/
Disallow: /private/
Allow: /
Esto bloquea el rastreo de los directorios /admin/ y /private/ y permite el acceso a todo lo demás.
El principio clave: robots.txt controla el descubrimiento y el rastreo. Si bloqueas aquí a un rastreador, no puede acceder a la página en absoluto y, por tanto, no puede leer ninguna meta tag de esa página.
Capa 2: meta tags robots, control tras el descubrimiento
Cuando OAI-SearchBot ya ha rastreado tu página (es decir, no estaba bloqueado en robots.txt), las meta tags robots le dicen qué hacer con el contenido.
La estructura de la meta tag robots
<meta name="robots" content="directive1, directive2">
Directivas clave para rastreadores de IA
noindex: no indexes esta página ni la incluyas en resúmenes. El rastreador ve la página pero no la usa.
nofollow: no sigas los enlaces de esta página. El rastreador puede ver la página, pero no rastreará los enlaces que contiene.
noai: no uses este contenido para entrenar modelos de IA. La página puede aparecer en los resultados de búsqueda, pero OpenAI no puede usarla para entrenar modelos de lenguaje.
noimageai: no uses las imágenes de esta página para entrenar modelos de generación de imágenes.
Ejemplo
<meta name="robots" content="noindex">
Esto les dice a todos los rastreadores (Google, Bing, ChatGPT, etc.) que no indexen esta página. ChatGPT no la citará, Google no la mostrará y Bing no la incluirá.
Específico para OAI-SearchBot
<meta name="robots" content="noai">
Esto le dice específicamente a OAI-SearchBot que no use el contenido para entrenar. La página aún puede citarse en los resultados de búsqueda de ChatGPT, pero OpenAI no puede usarla para entrenar modelos.
Regla crítica: no combines robots.txt y noindex
Esta es la regla técnica más importante. Nunca hagas esto:
User-agent: OAI-SearchBot
Disallow: /article/
Y además poner esto en la página del artículo:
<meta name="robots" content="noindex">
Por qué: si bloqueas con robots.txt que OAI-SearchBot acceda a /article/, el rastreador nunca descarga esa página. Nunca lee la meta tag. La directiva noindex no tiene efecto porque el rastreador nunca la ve. Además, si otras webs enlazan tu página, algunos rastreadores podrían indexarla igualmente porque la descubrieron a través de enlaces, aunque tu robots.txt dijera que no.
La regla: usa robots.txt O las meta tags, no ambos para la misma directiva.
Buena práctica: usa robots.txt para controlar el rastreo de todo el sitio (permitir o bloquear secciones enteras). Usa las meta tags para el control a nivel de página (páginas concretas con reglas especiales).
Capa 3: cabeceras HTTP X-Robots-Tag
Si quieres controlar el comportamiento de los rastreadores con contenido que no es HTML (PDF, imágenes, etc.), o aplicar reglas a varias páginas sin editar cada una, usa la cabecera HTTP X-Robots-Tag.
Ejemplo:
X-Robots-Tag: noindex, nofollow
Se aplica a nivel de servidor y les dice a todos los rastreadores que no indexen ni sigan los enlaces de cualquier página servida con esta cabecera.
Puedes aplicarla de forma selectiva:
X-Robots-Tag: OAI-SearchBot: noai
Esto le dice solo a OAI-SearchBot que no use tu contenido para entrenar, y le permite usarlo en la búsqueda.
Decisiones estratégicas: qué quieres realmente
Tu elección depende de tu objetivo.
Objetivo 1: maximizar las citas en ChatGPT
Permite en robots.txt y no pongas meta tags noindex. Deja que OAI-SearchBot te encuentre y te cite.
User-agent: OAI-SearchBot
Allow: /
Sin meta tags restrictivas.
Objetivo 2: aparecer en la búsqueda de ChatGPT pero evitar el entrenamiento de modelos
Permite en robots.txt y usa la meta tag noai.
User-agent: OAI-SearchBot
Allow: /
<meta name="robots" content="noai">
Objetivo 3: ocultarte de ChatGPT pero permitir otros buscadores
Bloquea OAI-SearchBot y permite a los demás.
User-agent: OAI-SearchBot
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
Objetivo 4: ocultarte de todos los rastreadores de IA
Bloquea varios bots.
User-agent: OAI-SearchBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Googlebot
Allow: /
El problema del cumplimiento: no todos los rastreadores de IA respetan estas reglas
Esta es la verdad incómoda: los distintos rastreadores de IA cumplen las reglas en distinto grado.
Las pruebas muestran que ChatGPT respeta robots.txt y algunas meta tags. Perplexity respeta ambos de forma constante. Otros sistemas de IA cumplen de forma variable. Algunos scrapers de IA antiguos no respetan robots.txt en absoluto.
Puedes controlar con eficacia los rastreadores de OpenAI. No puedes controlar por completo todos los sistemas de IA que podrían copiar tu contenido.
Cómo te ayuda WEMASY a gestionar el acceso de los rastreadores
El creador de webs de WEMASY incluye un editor de robots.txt donde puedes configurar los permisos de OAI-SearchBot sin editar archivos en bruto. Puedes añadir meta tags robots a páginas concretas desde el panel de ajustes SEO. El creador preconfigura los ajustes recomendados: permite OAI-SearchBot para la visibilidad en la búsqueda y te deja añadir noai si no quieres el entrenamiento de modelos. Revisa los registros de rastreo para ver qué rastreadores acceden a tu sitio y ajusta los permisos en consecuencia. Consulta las herramientas de gestión de rastreadores de WEMASY.
Preguntas frecuentes
Si bloqueo OAI-SearchBot en robots.txt, ¿mi contenido puede aparecer igualmente en ChatGPT a través de enlaces?
Es poco probable. OAI-SearchBot es el rastreador de búsqueda principal de ChatGPT. Si está bloqueado, no tienes presencia en la búsqueda de ChatGPT. Aun así, si otro sistema enlaza tu contenido, otro rastreador podría descargarlo. Es impredecible. Con el creador de webs de WEMASY puedes configurarlo directamente en tu web.
¿Qué hace realmente la meta tag noai?
Le dice a OpenAI que no use tu contenido para entrenar sus modelos de lenguaje. Tu contenido puede seguir apareciendo en los resultados de búsqueda de ChatGPT con citas. Sin esta tag, OpenAI puede usar tu contenido para entrenar ChatGPT y otros modelos.
¿Debo usar noindex si no quiero aparecer en ChatGPT?
Sí, pero entiende lo que hace: noindex les dice a todos los rastreadores (Google, Bing, ChatGPT, etc.) que no indexen la página. Úsalo si quieres ocultarte de todos los resultados de búsqueda. Si quieres ocultarte solo de ChatGPT pero seguir visible en Google, no uses noindex. En su lugar, bloquea OAI-SearchBot en robots.txt.
¿Cuánto tardan en surtir efecto los cambios en robots.txt o en las meta tags?
Los cambios en robots.txt suelen respetarse en un plazo de 24 horas. Los cambios en las meta tags se respetan la próxima vez que el rastreador vuelva a visitar la página. Para probarlo de inmediato, puedes comprobarlo con la herramienta de prueba de rastreadores de OpenAI o con Bing Webmaster Tools.
¿Puedo bloquear todos los rastreadores de IA y permitir Google?
Sí. En tu robots.txt, bloquea GPTBot, OAI-SearchBot, ChatGPT-User y otros bots de IA, y permite Googlebot y Bingbot. Eso sí, esto no impide que accedan a tu contenido los sistemas de IA que no respetan robots.txt.
¿Qué pasa si mi rastreador ve un X-Robots-Tag y un robots.txt que se contradicen?
Primero se _blocked_úa robots.txt. Si robots.txt bloquea a un rastreador, este no descarga la página, así que nunca ve el X-Robots-Tag. Si robots.txt lo permite, entonces se aplican las directivas de X-Robots-Tag. Asegúrate de que coincidan.