Un informe publicado por Vercel destaca el creciente impacto de los robots de IA en el rastreo web.

GPTBot de OpenAI y Claude de Anthropic generan casi mil millones de solicitudes mensuales en la red de Vercel.

Los datos indican que GPTBot realizó 569 millones de solicitudes el mes pasado, mientras que Claude representó 370 millones.

Además, PerplexityBot contribuyó con 24,4 millones de recuperaciones y AppleBot agregó 314 millones de solicitudes.

Juntos, estos rastreadores de IA representan aproximadamente 28% del volumen total de Googlebot, que asciende a 4.500 millones de recuperaciones.

Esto es lo que esto podría significar para el SEO.

Hallazgos clave sobre los rastreadores de IA

El análisis analizó los patrones de tráfico en la red de Vercel y varias arquitecturas web. Encontró algunas características clave de los rastreadores de IA:

• Los principales rastreadores de IA no procesan JavaScript, aunque sí extraen archivos JavaScript.
• Los rastreadores de IA suelen ser ineficientes y ChatGPT y Claude gastan más 34% de sus solicitudes en 404 páginas.
• El tipo de contenido en el que se centran estos rastreadores varía. ChatGPT prioriza HTML (57,7%), mientras que Claude se centra más en las imágenes (35,17%).

Distribución geográfica

A diferencia de los motores de búsqueda tradicionales que operan desde múltiples regiones, los rastreadores de IA mantienen actualmente una presencia concentrada en EE. UU.:

• ChatGPT opera desde Des Moines (Iowa) y Phoenix (Arizona)
• Claude opera desde Columbus (Ohio)

Correlación del Almanaque Web

Estos hallazgos se alinean con los datos compartidos en el capítulo SEO del Web Almanac, que también señala la creciente presencia de rastreadores de IA.

Según el informe, los sitios web ahora utilizan archivos robots.txt para establecer reglas para los robots de IA, indicándoles qué pueden o no rastrear.

GPTBot es el bot más mencionado y aparece en 2,7% de sitios móviles estudiados. También se menciona con frecuencia el bot Common Crawl, que a menudo se utiliza para recopilar datos de entrenamiento para modelos de lenguaje.

Ambos informes enfatizan que los propietarios de sitios web deben adaptarse al comportamiento de los rastreadores de IA.

Tres formas de optimizar para rastreadores de IA

Según datos recientes de Vercel y Web Almanac, aquí hay tres formas de optimizar para los rastreadores de IA.

1. Representación del lado del servidor

Los rastreadores de IA no ejecutan JavaScript. Esto significa que cualquier contenido que dependa de la representación del lado del cliente puede ser invisible.

Acciones recomendadas:

• Implementar renderizado del lado del servidor para contenido crítico
• Asegúrese de que el contenido principal, la metainformación y las estructuras de navegación estén presentes en el HTML inicial.
• Utilice la generación de sitios estáticos o la regeneración estática incremental cuando sea posible

2. Estructura y entrega del contenido

Los datos de Vercel muestran distintas preferencias de tipo de contenido entre los rastreadores de IA:

ChatGPT:

• Prioriza el contenido HTML (57,70%)
• Gasta el 11,50% de las recuperaciones en archivos JavaScript

Claudio:

• Se centra mucho en las imágenes (35,17%)
• Dedica el 23,84% de las recuperaciones a archivos JavaScript

Recomendaciones de optimización:

• Estructurar el contenido HTML de forma clara y semántica.
• Optimice la entrega de imágenes y los metadatos
• Incluir texto alternativo descriptivo para las imágenes.
• Implementar una jerarquía de encabezados adecuada

3. Consideraciones técnicas

Las altas tasas 404 de los rastreadores de IA significan que debes tener en cuenta estas consideraciones técnicas:

• Mantener mapas de sitio actualizados
• Implementar cadenas de redireccionamiento adecuadas
• Utilice patrones de URL consistentes
• Auditoría periódica de errores 404

Mirando hacia el futuro

Para los especialistas en marketing de búsqueda, el mensaje es claro: los chatbots de IA son una nueva fuerza en el rastreo web y los sitios deben adaptar su SEO en consecuencia.

Aunque los robots de inteligencia artificial ahora pueden depender de información almacenada en caché o fechada, su capacidad para analizar contenido nuevo de toda la web crecerá.

Puede ayudar a garantizar que su contenido se rastree e indexe con representación del lado del servidor, estructuras de URL limpias y mapas de sitio actualizados.

Imagen destacada: tete_escape/Shutterstock