Google atacó los raspadores web que recopilan datos de resultados de búsqueda, lo que provocó interrupciones globales en muchas herramientas populares de seguimiento de clasificaciones como SEMRush, que dependen de proporcionar datos nuevos de las páginas de resultados de búsqueda.

¿Qué pasa si las SERP de Google están completamente bloqueadas? Una cierta cantidad de datos proporcionados por los servicios de seguimiento se han extrapolado durante mucho tiempo mediante algoritmos de diversas fuentes de datos. Es posible que una forma de solucionar el bloqueo actual sea extrapolar los datos de otras fuentes.

Scraping SERP prohibido por Google

Las pautas de Google han prohibido durante mucho tiempo la verificación automática de clasificación en los resultados de búsqueda, pero aparentemente Google también ha permitido que muchas empresas eliminen sus resultados de búsqueda y cobren por acceder a los datos de clasificación con el fin de rastrear palabras clave y clasificaciones.

Según las directrices de Google:

“El tráfico generado por máquinas (también llamado tráfico automatizado) se refiere a la práctica de enviar consultas automatizadas a Google. Esto incluye la extracción de resultados con fines de verificación de clasificación u otros tipos de acceso automatizado a la Búsqueda de Google realizado sin permiso expreso. El tráfico generado por máquinas consume recursos e interfiere con nuestra capacidad de brindar un mejor servicio a los usuarios. Dichas actividades violan nuestras políticas de spam y los Términos de servicio de Google”.

Bloquear los raspadores es complejo

Bloquear raspadores consume muchos recursos, especialmente porque pueden responder a los bloqueos haciendo cosas como cambiar su dirección IP y su agente de usuario para superar cualquier bloqueo. Otra forma de bloquear los scrapers es apuntando a comportamientos específicos, como cuántas páginas solicita un usuario. Cantidades excesivas de solicitudes de página pueden provocar un bloqueo. El problema de ese enfoque es que puede requerir muchos recursos para realizar un seguimiento de todas las direcciones IP bloqueadas, que rápidamente pueden ascender a millones.

Informes en las redes sociales

Una publicación en el grupo privado de Facebook SEO Signals Lab anunció que Google estaba atacando duramente a los web scrapers, y un miembro comentó que la herramienta Scrape Owl no estaba funcionando para ellos, mientras que otros citaron que los datos de SEMRush no se habían actualizado.

Otra publicación, esta vez en LinkedIn, señaló múltiples herramientas que no actualizaban su contenido, pero también señaló que el bloqueo no afectó a todos los proveedores de datos, y señaló que Sistrix y MonitorRank todavía estaban funcionando. Alguien de una empresa llamada HaloScan informó que hicieron ajustes para reanudar la extracción de datos de Google y se recuperaron y alguien más informó que otra herramienta llamada MyRankingMetrics todavía está reportando datos.

Entonces, sea lo que sea que esté haciendo Google, actualmente no afecta a todos los scrapers. Puede ser que Google esté apuntando a ciertos comportamientos de scraping, aprendiendo de las respuestas y mejorando su capacidad de bloqueo. Las próximas semanas pueden revelar que Google está mejorando su capacidad para bloquear scrapers o que solo está apuntando a los más grandes.

Otra publicación en LinkedIn especuló que el bloqueo puede resultar en mayores recursos y tarifas cobradas a los usuarios finales de las herramientas SaaS SEO. Publicaron:

“Esta medida de Google está haciendo que la extracción de datos sea más desafiante y costosa. Como resultado, los usuarios pueden enfrentar tarifas de suscripción más altas. “

Ryan Jones tuiteó:

“Google parece haber realizado una actualización anoche que bloquea la mayoría de los raspadores y muchas API.

Google, solo danos una API paga para los resultados de búsqueda. En su lugar, te pagaremos”.

Sin anuncio de Google

Hasta ahora no ha habido ningún anuncio por parte de Google, pero es posible que las conversaciones en línea obliguen a alguien en Google a considerar hacer una declaración.

Imagen destacada de Shutterstock/Krakenimages.com