Google ha introducido recientemente un nuevo rastreador web llamado “GoogleOther”, diseñado para aliviar la tensión en Googlebot, su rastreador de índice de búsqueda principal.

La adición de este nuevo rastreador finalmente ayudará a Google a optimizar y agilizar sus operaciones de rastreo.

Los rastreadores web, también conocidos como robots o arañas, descubren y escanean automáticamente los sitios web.

Googlebot es responsable de construir el índice para la Búsqueda de Google.

GoogleOther es un rastreador web genérico que utilizarán varios equipos de productos dentro de Google para obtener contenido de acceso público de los sitios web.

En una publicación de LinkedIn, el analista de búsqueda de Google, Gary Illyes, comparte más detalles.

División de responsabilidades entre Googlebot y GoogleOther

El objetivo principal del nuevo rastreador GoogleOther es hacerse cargo de las tareas no esenciales que actualmente realiza Googlebot.

Al hacerlo, Googlebot ahora puede concentrarse únicamente en crear el índice de búsqueda utilizado por la Búsqueda de Google.

Mientras tanto, GoogleOther se encargará de otros trabajos, como los rastreos de investigación y desarrollo (I+D), que no están directamente relacionados con la indexación de búsqueda.

Illyes afirma en LinkedIn:

“Agregamos un nuevo rastreador, GoogleOther, a nuestra lista de rastreadores que, en última instancia, le quitarán algo de tensión a Googlebot. Este es un cambio sin operaciones para usted, pero creo que es interesante.

A medida que optimizamos cómo y qué rastrea Googlebot, una cosa que queríamos asegurar es que los trabajos de rastreo de Googlebot solo se usan internamente para crear el índice que usa la Búsqueda. Para esto, agregamos un nuevo rastreador, GoogleOther, que reemplazará algunos de los otros trabajos de Googlebot, como rastreos de I+D, para liberar algo de capacidad de rastreo para Googlebot”.

GoogleOther hereda la infraestructura de Googlebot

GoogleOther comparte la misma infraestructura que Googlebot, lo que significa que posee las mismas limitaciones y características, incluidas las limitaciones de carga del host, robots.txt (aunque con un token de agente de usuario diferente), la versión del protocolo HTTP y el tamaño de recuperación.

Esencialmente, GoogleOther es Googlebot que opera con un nombre diferente.

Implicaciones para SEO y propietarios de sitios

La introducción de GoogleOther no debería afectar significativamente a los sitios web, ya que funciona con la misma infraestructura y limitaciones que Googlebot.

No obstante, es un desarrollo digno de mención en los esfuerzos continuos de Google para optimizar y agilizar sus procesos de rastreo web.

Si le preocupa GoogleOther, puede monitorearlo de las siguientes maneras:

• Analizar los registros del servidor: revise regularmente los registros del servidor para identificar las solicitudes realizadas por GoogleOther. Esto lo ayudará a comprender con qué frecuencia rastrea su sitio web y qué páginas visita.
• Actualizar robots.txt: asegúrese de que su archivo robots.txt esté actualizado para incluir reglas específicas para GoogleOther si es necesario. Esto lo ayudará a controlar su acceso y comportamiento de rastreo en su sitio web.
• Supervise las estadísticas de rastreo en Google Search Console: Esté atento a las estadísticas de rastreo en Google Search Console para observar cualquier cambio en la frecuencia de rastreo, el presupuesto de rastreo o la cantidad de páginas indexadas desde la introducción de GoogleOther.
• Seguimiento del rendimiento del sitio web: Supervise periódicamente las métricas de rendimiento de su sitio web, como los tiempos de carga, las tasas de rebote y la participación de los usuarios, para identificar posibles correlaciones con las actividades de rastreo de GoogleOther. Esto lo ayudará a detectar si el nuevo rastreador está causando problemas imprevistos en su sitio web.

Fuente: Google

Imagen destacada: BestForBest/Shutterstock