Google ha publicado una nueva entrega de su serie de videos educativos “Cómo funciona la búsqueda”, que explica cómo su motor de búsqueda descubre y accede a páginas web mediante el rastreo.

Proceso de rastreo de detalles del ingeniero de Google

En el episodio de siete minutos presentado por el analista de Google Gary Illyes, la compañía ofrece una mirada en profundidad a los aspectos técnicos de cómo funciona el robot de Google, el software que utiliza Google para rastrear la web.

Illyes describe los pasos que sigue el robot de Google para encontrar contenido nuevo y actualizado en los billones de páginas web de Internet y hacer que se puedan buscar en Google.

Illyes explica:

“La mayoría de las URL nuevas que descubre Google provienen de otras páginas conocidas que Google rastreó anteriormente.

Puede pensar en un sitio de noticias con páginas de diferentes categorías que luego enlazan con artículos de noticias individuales.

Google puede descubrir la mayoría de los artículos publicados volviendo a visitar la página Categoría de vez en cuando y extrayendo las URL que conducen a los artículos “.

Cómo rastrea el robot de Google la Web

El robot de Google comienza siguiendo enlaces de páginas web conocidas para descubrir nuevas URL, un proceso llamado descubrimiento de URL.

Evita la sobrecarga de sitios rastreando cada uno a una velocidad única y personalizada basada en los tiempos de respuesta del servidor y la calidad del contenido.

El robot de Google procesa páginas utilizando una versión actual del navegador Chrome para ejecutar cualquier JavaScript y mostrar correctamente el contenido dinámico cargado mediante scripts. Además, solo rastrea las páginas disponibles públicamente, no las que se encuentran detrás de los inicios de sesión.

Mejora del descubrimiento y la capacidad de rastreo

Illyes destacó la utilidad de los mapas de sitio (archivos XML que enumeran las URL de un sitio) para ayudar a Google a encontrar y rastrear contenido nuevo.

Aconsejó a los desarrolladores que sus sistemas de gestión de contenidos generaran mapas de sitio automáticamente.

La optimización de los factores técnicos de SEO, como la arquitectura del sitio, la velocidad y las directivas de rastreo, también puede mejorar la capacidad de rastreo.

A continuación se muestran algunas tácticas adicionales para hacer que su sitio sea más rastreable:

• Evite el agotamiento del presupuesto de rastreo – Los sitios web que se actualizan con frecuencia pueden saturar el presupuesto de rastreo del robot de Google, impidiendo que se descubra contenido nuevo. Una configuración cuidadosa del CMS y las etiquetas rel= “next” / rel= “prev” pueden ayudar.
• Implementar buenos enlaces internos – Vincular contenido nuevo desde categorías y páginas centrales permite al robot de Google descubrir nuevas URL. Una estructura de enlaces internos eficaz ayuda a la capacidad de rastreo.
• Asegúrese de que las páginas se carguen rápidamente – Es posible que se reduzca la velocidad de rastreo de los sitios que responden lentamente a las búsquedas del robot de Google. La optimización del rendimiento de las páginas puede permitir un rastreo más rápido.
• Eliminar errores 404 suaves – La reparación de errores 404 causados ​​por configuraciones incorrectas del CMS garantiza que las URL conduzcan a páginas válidas, lo que mejora el éxito del rastreo.
• Considere los ajustes de robots.txt – Un archivo robots.txt ajustado puede bloquear páginas útiles. Una auditoría SEO puede descubrir restricciones que pueden eliminarse de forma segura.

Lo último en series de videos educativos

El último vídeo aparece después de que Google lanzara la semana pasada la serie educativa “Cómo funciona la búsqueda” para arrojar luz sobre los procesos de búsqueda e indexación.

El episodio recién publicado sobre rastreo proporciona información sobre una de las operaciones más fundamentales del motor de búsqueda.

En los próximos meses, Google producirá episodios adicionales que explorarán temas como indexación, evaluación de calidad y mejoras de búsqueda.

La serie está disponible en el canal de YouTube de Google Search Central.