El defensor de búsqueda de Google, John Mueller, compartió información sobre cómo diagnosticar problemas de rastreo generalizados.

Esta guía se compartió en respuesta a una interrupción informada por Adrian Schmidt en LinkedIn. El rastreador de Google dejó de acceder a varios de sus dominios al mismo tiempo.

A pesar de la interrupción, Schmidt señaló que las pruebas en vivo a través de Search Console continuaron funcionando sin mensajes de error.

Las investigaciones no indicaron ningún aumento en los errores 5xx ni en los problemas con las solicitudes de robots.txt.

¿Cuál podría ser el problema?

La respuesta de Mueller

Al abordar la situación, Mueller señaló la infraestructura compartida como la causa probable:

“Si se comparte entre varios dominios y se centra en algo como el rastreo, probablemente sea un problema con una pieza compartida de infraestructura. Si ya se está recuperando, al menos ya no es urgente y tienes un poco de tiempo para revisar los cambios recientes/registros de infraestructura”.

Investigación de infraestructura

Todos los sitios afectados utilizaron Cloudflare como su CDN, lo que llamó la atención.

Cuando se le preguntó sobre la depuración, Mueller recomendó verificar los datos de Search Console para determinar si el DNS o las solicitudes fallidas estaban causando el problema.

Mueller declaró:

“Las estadísticas de rastreo en Search Console también mostrarán un poco más, tal vez ayuden a decidir entre, por ejemplo, DNS o solicitudes fallidas”.

También señaló que el momento era una pista clave:

“Si todo fuera exactamente al mismo tiempo, no sería robots.txt y probablemente tampoco DNS”.

Impacto en los resultados de búsqueda

En cuanto a las preocupaciones sobre la visibilidad de la búsqueda, Mueller aseguró que este tipo de interrupción no causaría ningún problema:

“Si esto es de hoy y solo duró unas pocas horas, no esperaría ningún problema visible en la búsqueda”.

Por qué esto importa

Cuando el robot de Google deja repentinamente de rastrear numerosos sitios simultáneamente, puede resultar complicado identificar la causa raíz.

Si bien es posible que las pausas temporales de rastreo no afecten inmediatamente las clasificaciones de búsqueda, pueden afectar la capacidad de Google para descubrir e indexar contenido nuevo.

El incidente pone de relieve una vulnerabilidad que las organizaciones podrían enfrentar sin darse cuenta, especialmente aquellas que dependen de una infraestructura compartida.

Cómo esto puede ayudarte

Si el robot de Google deja de rastrear sus sitios:

• Compruebe si el problema afecta a varios sitios a la vez
• Mire primero su infraestructura compartida
• Utilice los datos de Search Console para delimitar la causa
• No descarte DNS sólo porque el tráfico normal parece estar bien
• Vigila tus registros

Cualquiera que ejecute varios sitios detrás de una CDN, asegúrese de:

• Tener un buen registro configurado
• Vigila tus tasas de rastreo
• Sepa a quién llamar cuando las cosas van mal
• Controle a su proveedor de infraestructura

Imagen destacada: PeopleImages.com – Yuri A./Shutterstock