Google ha lanzado una importante renovación de la documentación de su rastreador, reduciendo la página principal de descripción general y dividiendo el contenido en tres páginas nuevas y más enfocadas. Aunque el registro de cambios minimiza los cambios, hay una sección completamente nueva y básicamente una reescritura de toda la página de descripción general del rastreador. Las páginas adicionales permiten a Google aumentar la densidad de información de todas las páginas del rastreador y mejorar la cobertura temática.

¿Qué cambió?

El registro de cambios de la documentación de Google señala dos cambios, pero en realidad hay muchos más.

Éstos son algunos de los cambios:

• Se agregó una cadena de agente de usuario actualizada para el rastreador GoogleProducer.
• Información de codificación de contenido agregada.
• Se agregó una nueva sección sobre propiedades técnicas.

La sección de propiedades técnicas contiene información completamente nueva que no existía anteriormente. No hay cambios en el comportamiento del rastreador, pero al crear tres páginas temáticas específicas, Google puede agregar más información a la página de descripción general del rastreador y al mismo tiempo hacerla más pequeña.

Esta es la nueva información sobre codificación (compresión) de contenido:

“Los rastreadores y buscadores de Google admiten las siguientes codificaciones de contenido (compresiones): gzip, deflate y Brotli (br). Las codificaciones de contenido admitidas por cada agente de usuario de Google se anuncian en el encabezado Accept-Encoding de cada solicitud que realizan. Por ejemplo, Accept-Encoding: gzip, deflate, br.”

Hay información adicional sobre el rastreo a través de HTTP/1.1 y HTTP/2, además de una declaración sobre su objetivo de rastrear tantas páginas como sea posible sin afectar el servidor del sitio web.

¿Cuál es el objetivo de la renovación?

El cambio en la documentación se debió al hecho de que la página de descripción general se había vuelto grande. La información adicional del rastreador haría que la página de descripción general fuera aún más grande. Se tomó la decisión de dividir la página en tres subtemas para que el contenido específico del rastreador pudiera seguir creciendo y dejar espacio para más información general en la página de descripciones generales. Separar subtemas en sus propias páginas es una solución brillante al problema de cómo servir mejor a los usuarios.

Así es como el registro de cambios de la documentación explica el cambio:

“La documentación creció mucho, lo que limitó nuestra capacidad de ampliar el contenido sobre nuestros rastreadores y buscadores activados por el usuario.

…Se reorganizó la documentación para los rastreadores de Google y los buscadores activados por el usuario. También agregamos notas explícitas sobre a qué producto afecta cada rastreador y agregamos un fragmento de robots.txt para cada rastreador para demostrar cómo usar los tokens de agente de usuario. Por lo demás, no hubo cambios significativos en el contenido”.

El registro de cambios minimiza los cambios describiéndolos como una reorganización porque la descripción general del rastreador se reescribe sustancialmente, además de la creación de tres páginas nuevas.

Si bien el contenido sigue siendo sustancialmente el mismo, su división en subtemas facilita que Google agregue más contenido a las nuevas páginas sin seguir haciendo crecer la página original. La página original, llamada Descripción general de los rastreadores y buscadores de Google (agentes de usuario), ahora es realmente una descripción general con contenido más detallado trasladado a páginas independientes.

Google publicó tres nuevas páginas:

1. Rastreadores comunes
2. Rastreadores de casos especiales
3. Recuperadores activados por el usuario

1. Rastreadores comunes

Como dice el título, estos son rastreadores comunes, algunos de los cuales están asociados con GoogleBot, incluido Google-InspectionTool, que utiliza el agente de usuario de GoogleBot. Todos los bots enumerados en esta página obedecen las reglas de robots.txt.

Estos son los rastreadores de Google documentados:

• robot de Google
• Imagen del robot de Google
• Vídeo del robot de Google
• Noticias del robot de Google
• Bot de Google Store
• Herramienta de inspección de Google
• GoogleOtro
• GoogleOtra-Imagen
• GoogleOtro-Video
• Google-CloudVertexBot
• Google extendido

3. Rastreadores de casos especiales

Estos son rastreadores que están asociados con productos específicos y se rastrean mediante acuerdo con los usuarios de esos productos y operan desde direcciones IP que son distintas de las direcciones IP del rastreador GoogleBot.

Lista de rastreadores de casos especiales:

• AdSense
  Agente de usuario para Robots.txt: Mediapartners-Google
• AnunciosBot
  Agente de usuario para Robots.txt: AdsBot-Google
• Web móvil de AdsBot
  Agente de usuario para Robots.txt: AdsBot-Google-Mobile
• API-Google
  Agente de usuario para Robots.txt: API-Google
• Seguridad de Google
  Agente de usuario para Robots.txt: Google-Safety

3. Recuperadores activados por el usuario

La página de captadores activados por el usuario cubre los bots que se activan por solicitud del usuario, y se explica así:

“Los buscadores activados por el usuario son iniciados por los usuarios para realizar una función de búsqueda dentro de un producto de Google. Por ejemplo, Google Site Verifier actúa según la solicitud de un usuario, o un sitio alojado en Google Cloud (GCP) tiene una función que permite a los usuarios del sitio recuperar una fuente RSS externa. Debido a que la recuperación fue solicitada por un usuario, estos recuperadores generalmente ignoran las reglas de robots.txt. Las propiedades técnicas generales de los rastreadores de Google también se aplican a los buscadores activados por el usuario”.

La documentación cubre los siguientes bots:

• buscador de feeds
• Centro de editores de Google
• Google lee en voz alta
• Verificador de sitios de Google

Llevar:

La página de descripción general del rastreador de Google se volvió demasiado completa y posiblemente menos útil porque las personas no siempre necesitan una página completa, solo están interesadas en información específica. La página de descripción general es menos específica pero también más fácil de entender. Ahora sirve como punto de entrada donde los usuarios pueden profundizar en subtemas más específicos relacionados con los tres tipos de rastreadores.

Este cambio ofrece información sobre cómo actualizar una página que podría tener un rendimiento deficiente porque se ha vuelto demasiado completa. Dividir una página completa en páginas independientes permite que los subtemas aborden las necesidades específicas de los usuarios y posiblemente los hagan más útiles si se clasifican en los resultados de búsqueda.

No diría que el cambio refleja nada en el algoritmo de Google, solo refleja cómo Google actualizó su documentación para hacerla más útil y configurarla para agregar aún más información.

Lea la nueva documentación de Google

Descripción general de los rastreadores y buscadores de Google (agentes de usuario)

Lista de rastreadores comunes de Google

Lista de rastreadores de casos especiales de Google

Lista de buscadores activados por usuarios de Google

Imagen destacada de Shutterstock/Cast Of Thousands