Cómo hacer que los rastreadores de IA lean tu sitio

Conoce a los rastreadores

Las grandes empresas de IA publican los nombres de sus rastreadores, y varias usan más de uno. OpenAI documenta GPTBot (para reunir datos de entrenamiento), OAI-SearchBot (para las funciones de búsqueda de ChatGPT) y ChatGPT-User (cuando una persona le pide a ChatGPT abrir una página). Anthropic documenta ClaudeBot y agentes aparte para búsqueda y para consultas que pide el usuario. Perplexity documenta PerplexityBot y Perplexity-User.

Google AI Overviews se apoya en la Búsqueda de Google, así que ahí el rastreador que cuenta es el Googlebot de siempre. Google también documenta un control llamado Google-Extended, que decide si tu contenido se usa para mejorar los modelos de Gemini; según Google, no afecta tu presencia en la Búsqueda. Copilot de Microsoft usa Bing, así que Bingbot también importa.

• OpenAI: GPTBot, OAI-SearchBot, ChatGPT-User
• Anthropic: ClaudeBot y sus agentes de búsqueda y de usuario
• Perplexity: PerplexityBot, Perplexity-User
• Google: Googlebot (Búsqueda y AI Overviews), Google-Extended (control de entrenamiento de Gemini)
• Microsoft: Bingbot

Lee tu robots.txt con calma

Abre tusitio.com/robots.txt en el navegador. Busca cualquier línea 'User-agent' con alguno de los nombres de arriba seguida de 'Disallow: /'. Busca también un 'User-agent: *' con 'Disallow: /', que bloquea a todos los rastreadores que respetan el archivo. Las reglas olvidadas de un sitio de pruebas y las plantillas copiadas son una causa frecuente.

Bloquear es una decisión válida. Hay negocios que no quieren que su contenido se use para entrenar y bloquean GPTBot o Google-Extended, pero dejan pasar a los rastreadores de búsqueda. Esa separación existe justamente porque las empresas distinguen sus agentes. Lo que conviene evitar es bloquear sin querer, o bloquear el rastreador de búsqueda de una herramienta en la que te gustaría aparecer.

Revisa lo que hay debajo

Tu robots.txt puede decir 'permitir' y aun así tu proveedor de hosting o tu servicio de seguridad puede rechazar la visita. Muchos productos de protección contra bots, firewalls y configuraciones de CDN ponen a prueba o bloquean por defecto a los rastreadores desconocidos. El rastreador se queda en la página de verificación y tu analítica no te avisa.

Si usas un servicio así, busca la opción de bots verificados o conocidos y revisa si incluye a los de IA. Los registros de tu servidor, o el visor de registros de tu hosting, muestran las visitas de estos agentes y el código de respuesta que recibieron. Una serie de respuestas 403 es una señal clara de que algo los está frenando.

Que el texto esté en el HTML

Muchos rastreadores leen el HTML que envía tu servidor y procesan poco o nada de JavaScript. Si tus servicios, precios, horarios o reseñas aparecen solo después de que corre un script en el navegador, el rastreador puede ver una página vacía. Googlebot sí procesa JavaScript, pero no todos los rastreadores de IA lo tienen documentado, y es más seguro no depender de eso.

Una prueba rápida: abre el código fuente de la página (el código sin procesar, no el inspector) y busca una frase que veas en pantalla. Si no está, ese texto lo agrega JavaScript. El contenido dentro de pestañas, acordeones o botones de 'ver más' suele estar bien si aparece en el código fuente.

llms.txt: útil, pero no es un interruptor

llms.txt es una propuesta: un archivo de texto en la raíz de tu sitio que resume de qué trata y enlaza a tus páginas más útiles, pensado para modelos de lenguaje. Cuesta poco y no hace daño. Pero es una propuesta de la comunidad, no un estándar adoptado, y hay poca confirmación pública de que las principales herramientas de IA lo lean al responder.

Si publicas uno, que sea breve, correcto y que coincida con tu página de inicio. No lo uses como sustituto de páginas legibles y un robots.txt abierto.

Después, observa qué cambia

Destrabar un rastreador no cambia las respuestas de un día para otro. Los rastreadores vuelven cuando les toca y los modelos se actualizan a su ritmo. Found in AI no necesita que instales nada en tu sitio; lee lo que responden las herramientas. Mide tus preguntas antes y después del cambio y fíjate en la tendencia, no en un solo escaneo.