Google anunció una actualización de la documentación de su rastreador, agregando más información sobre el almacenamiento en caché, lo que debería ayudar a comprender mejor cómo optimizar para el rastreador de Google. Siguiendo las nuevas pautas sobre la implementación de encabezados de almacenamiento en caché HTTP adecuados, los SEO y los editores pueden mejorar la eficiencia del rastreo y optimizar los recursos del servidor.

Documentación actualizada del rastreador

La documentación del rastreador ahora tiene una sección que explica cómo los rastreadores de Google utilizan mecanismos de almacenamiento en caché HTTP que ayudan a conservar recursos informáticos tanto para los editores como para Google durante el rastreo.

Las adiciones a la documentación amplían significativamente la versión anterior.

Mecanismos de almacenamiento en caché

Google recomienda habilitar el almacenamiento en caché con encabezados como ETag y If-None-Match, así como opcionalmente Last-Modified y If-Modified-Since, para indicar si el contenido ha cambiado. Esto puede ayudar a reducir el rastreo innecesario y ahorrar recursos del servidor, lo cual es beneficioso tanto para los editores como para los rastreadores de Google.

La nueva documentación dice:

“La infraestructura de rastreo de Google admite el almacenamiento en caché HTTP heurístico según lo define el estándar de almacenamiento en caché HTTP, específicamente a través del encabezado de solicitud de respuesta ETag y If-None-Match, y el encabezado de solicitud Última modificación y If-Modified-Since”.

Preferencia de Google por la preferencia por ETag

Google recomienda usar ETag en lugar de Última modificación porque ETag es menos propenso a errores como problemas de formato de fecha y proporciona una validación de contenido más precisa. También explica qué sucede si se entregan los encabezados de respuesta ETag y Last-Modified:

“Si los campos de encabezado de respuesta ETag y Última modificación están presentes en la respuesta HTTP, los rastreadores de Google utilizan el valor ETag según lo exige el estándar HTTP”.

La nueva documentación también indica que no se admiten otras directivas de almacenamiento en caché HTTP.

Soporte variable entre rastreadores

La nueva documentación explica que la compatibilidad con el almacenamiento en caché difiere entre los rastreadores de Google. Por ejemplo, Googlebot admite el almacenamiento en caché para volver a rastrear, mientras que Storebot-Google tiene un soporte de almacenamiento en caché limitado.

Google explica:

“Los rastreadores y buscadores individuales de Google pueden o no utilizar el almacenamiento en caché, dependiendo de las necesidades del producto al que están asociados. Por ejemplo, Googlebot admite el almacenamiento en caché al volver a rastrear URL para la Búsqueda de Google, y Storebot-Google solo admite el almacenamiento en caché en determinadas condiciones”.

Orientación sobre la implementación

La nueva documentación de Google recomienda ponerse en contacto con proveedores de hosting o CMS para obtener ayuda. También sugiere (pero no exige) que los editores establezcan el campo de edad máxima del encabezado de respuesta de Cache-Control para ayudar a los rastreadores a saber cuándo rastrear URL específicas.

Publicación de blog completamente nueva

Google también ha publicado una nueva entrada de blog:

Rastreo de diciembre: almacenamiento en caché HTTP

Lea la documentación actualizada:

Almacenamiento en caché HTTP

Imagen destacada de Shutterstock/Asier Romero