Los bots de los buscadores visitan tu web constantemente. Rastrean páginas, siguen enlaces y comprueban si hay actualizaciones. Pero no puedes ver esta actividad en Google Search Console. Solo puedes verla en los logs de tu servidor. Los logs del servidor registran cada solicitud que recibe, incluido qué bot la hizo, qué página rastreó, cuánto tardó y qué código de respuesta recibió. El análisis de logs revela cómo tratan realmente los buscadores a tu web.
¿Qué son los logs del servidor?
Los logs del servidor son registros de cada solicitud a tu servidor web. Cada línea representa una solicitud. El log muestra la dirección IP del visitante, qué pidió, cuándo lo pidió, qué código de respuesta devolvió el servidor y cuántos datos se enviaron.
Todos los proveedores de hosting guardan logs del servidor. Puedes acceder a ellos desde el panel de control de tu hosting o por FTP. Los formatos de log más habituales son los de los servidores web más usados. La mayoría de los proveedores de hosting te permiten descargar los logs para analizarlos.
Los archivos de log pueden ser enormes. Una web con mucho tráfico genera gigabytes de logs al día. Analizarlos requiere herramientas. No puedes leer a mano millones de entradas de log.
Entender los user-agents de los rastreadores
Cada bot se identifica con una cadena de user-agent. Googlebot es el rastreador de Google. Otros buscadores tienen sus propios rastreadores con su propio nombre.
Puedes filtrar los logs por user-agent para ver solo las solicitudes de rastreadores concretos. Esto te dice con qué frecuencia rastrea tu web cada buscador.
Ten cuidado con los user-agents falsos. Hay quien se hace pasar por un buscador. Una cadena de user-agent que dice "Googlebot" puede no ser realmente Googlebot. Verifica la dirección IP. Google publica las direcciones IP del auténtico Googlebot.
Qué puedes aprender de los logs
Frecuencia de rastreo: ¿con qué frecuencia rastrea tu web cada buscador? ¿A diario? ¿Cada semana? ¿Varias veces al día? La frecuencia de rastreo indica cuánto valora Google tu web.
Patrones de rastreo: ¿qué páginas visita el rastreador? ¿Rastrea con más frecuencia las páginas importantes? ¿Pierde el tiempo en páginas poco importantes? Esto revela cómo se reparte el presupuesto de rastreo.
Códigos de respuesta: ¿las páginas devuelven 200 (correcto) o errores? Muchos errores 4xx o 5xx indican problemas.
Velocidad de rastreo: ¿cuánto tiempo dedica el bot a rastrear? Los rastreos rápidos indican que las páginas cargan rápido. Los rastreos lentos indican problemas de rendimiento.
Comportamiento de los bots: ¿los bots siguen el robots.txt? ¿Respetan el nofollow? ¿Rastrean imágenes y CSS? Esto revela si tu configuración técnica es correcta.
Cómo analizar los logs
Descarga tus logs. Ve al panel de control de tu hosting, busca la sección de logs y descarga los logs de acceso del período que quieras analizar.
Usa herramientas de análisis de logs. Los analizadores de archivos de log pueden procesar los logs y extraer información. Estas herramientas filtran por user-agent, dirección IP, código de respuesta y más.
Filtra por rastreadores. Céntrate en las solicitudes de los bots de los buscadores. Descarta el tráfico de usuarios normales. Así aíslas el comportamiento de los rastreadores.
Analiza los patrones. Mira las tendencias de frecuencia de rastreo. ¿Los rastreos aumentan o disminuyen? ¿Sube la tasa de errores? ¿Los patrones de rastreo coinciden con lo que esperas?
Hallazgos habituales del análisis de logs
Se rastrean más las páginas poco importantes que las importantes. Indica un problema de estructura del sitio. Las páginas importantes deberían rastrearse con más frecuencia. Usa robots.txt o los enlaces internos para priorizar las páginas importantes.
Tasas de error altas. Muchas respuestas 4xx o 5xx indican páginas rotas o problemas del servidor. Corrige los errores para mejorar la rastreabilidad.
Baja frecuencia de rastreo. Si los buscadores rastrean tu web con poca frecuencia, puede indicar poca autoridad o contenido de baja calidad. Mejora el contenido y los backlinks para atraer más rastreos.
Bots que rastrean páginas bloqueadas. Si robots.txt bloquea páginas pero los rastreadores siguen solicitándolas, los bots ignoran tus reglas de bloqueo. Normalmente es inofensivo.
Limitaciones del análisis de logs
El análisis de logs muestra las solicitudes a tu servidor, pero no toda la actividad de los rastreadores. Algunos buscadores usan caché. Puede que no rastreen todas las URL cada vez. Los rastreos en caché no aparecen en los logs.
El análisis de logs no muestra las decisiones de indexación. Que se haya rastreado una página no significa que se haya indexado. Los buscadores rastrean y descartan páginas todo el tiempo.
Los archivos de log grandes son difíciles de gestionar. Una web con mucho tráfico genera logs enormes. Analizar gigabytes de datos requiere herramientas potentes y experiencia.
Los datos de log son técnicos. Requieren entender las respuestas HTTP, las cadenas de user-agent y el comportamiento del servidor. No es apto para principiantes.
Preguntas frecuentes
¿Dónde encuentro los logs de mi servidor?
Tu proveedor de hosting tiene los logs del servidor. Inicia sesión en el panel de control de tu hosting y busca una sección llamada Logs o Estadísticas. La mayoría de los proveedores te permiten descargar los logs sin procesar. Algunos ofrecen visores de logs. Si no los encuentras, contacta con tu proveedor de hosting. Con el creador de webs de WEMASY, puedes configurarlo directamente en tu web.
¿Hasta cuándo hacia atrás llegan los logs del servidor?
Depende del hosting. Algunos proveedores guardan los logs 30 días y otros 90 días. Los hostings para grandes empresas pueden guardar años de logs. Consulta la documentación de tu hosting. Si necesitas logs históricos, descárgalos y archívalos con regularidad.
¿Debería analizar los logs yo mismo o contratar a alguien?
Para la mayoría de los sitios, Google Search Console es suficiente. El análisis de logs es avanzado y técnico. Usa los logs solo si GSC no te da las respuestas que necesitas. Si analizas logs, usa un analizador de archivos de log específico. Si te falta experiencia, contrata a un consultor SEO.
¿Puedo usar los logs para detectar bots maliciosos?
Sí. Los logs muestran todas las solicitudes, incluidas las de bots maliciosos. Busca cadenas de user-agent raras, tasas de solicitudes altas o patrones de rastreo sin sentido. Los bots maliciosos suelen rastrear tu web mucho más rápido que los rastreadores legítimos. Puedes bloquearlos con robots.txt o con tu firewall.
¿Analizar los logs ayuda a mejorar mi posicionamiento?
De forma indirecta. El análisis de logs te ayuda a entender problemas de rastreo, de estructura del sitio y cuellos de botella de rendimiento. Corregirlos mejora tu web tanto para los rastreadores como para los usuarios, lo que puede mejorar el posicionamiento. Pero los logs son una herramienta de diagnóstico, no un factor de posicionamiento en sí mismos.
¿Cuál es la diferencia entre los logs y los datos de Search Console?
Los logs muestran cada solicitud a tu servidor. Search Console muestra lo que hizo Google con esas solicitudes (indexada, rechazada, etc.). Los logs son datos en bruto. Search Console es la interpretación que hace Google de los datos. Usa ambos juntos para tener una imagen completa.