¿Cómo cambia el rápido crecimiento de los bots la web abierta?

Más de la mitad del tráfico web proviene de bots:

• El Bad Bot Report 2024 de Imperva revela que casi el 50% del tráfico total de Internet no fue humano en 2024. Tendencia: a la baja.
• El radar de Cloudflare muestra ~70% de tráfico humano y 30% de bots.
• Akami informa que el 42% del tráfico en la web proviene de bots.

Hasta ahora, los bots han recopilado información que hace que las aplicaciones sean mejores para los humanos. Pero una nueva especie crece en población: los robots agentes.

Durante dos décadas, optimizamos sitios para GoogleBot. Pronto podremos centrarnos en ayudantes de IA que actúen como intermediarios entre los humanos y la web abierta.

Ya hemos optimizado para BotNet con esquemas y feeds de productos en Merchant Center de Google. Los mapas de sitio XML se han convertido en algo fundamental hace décadas.

En el siguiente nivel, podríamos tener sitios web o API separados para robots agentes con un campo de juego de marketing completamente nuevo.

Web agente

A medida que nos acercamos a tener más tráfico de bots que de humanos en la web abierta, es esencial tener en cuenta que se estima que alrededor del 65% del tráfico de bots es malicioso.

Los buenos bots incluyen raspadores de motores de búsqueda, herramientas de SEO, defensa de seguridad y, por supuesto, rastreadores de inteligencia artificial. Ambos tipos de bots están creciendo en población, pero sólo los buenos son realmente útiles.

En comparación con los seis meses anteriores, los rastreadores de IA crecieron un 18%, mientras que los motores de búsqueda se desaceleraron un 10%. GoogleBot redujo específicamente la actividad en un -1,6%.

Sin embargo, el rastreador de inteligencia artificial de Google lo compensó con un aumento del 1,4%. GPT Bot fue el rastreador de IA más activo, con el 3,8% de todas las solicitudes, y creció un 12%.

El rastreador de inteligencia artificial de Google creció un 62 % y fue responsable del 3,7 % de todas las solicitudes de bots. Dada su tasa de crecimiento actual, el rastreador de inteligencia artificial de Google pronto debería ser el más activo en la web.

Crédito de la imagen: Kevin Indig

Hoy en día, los robots de IA tienen tres objetivos:

1. Recopilar datos de entrenamiento.
2. Cree un índice de búsqueda para fundamentar las respuestas de LLM (RAG).
3. Recopile datos en tiempo real para mensajes que exigen actualidad.

Pero actualmente, todos los grandes desarrolladores de IA trabajan en agentes que navegan por la web y toman medidas para los usuarios:

• Claude fue el primero en presentar su característica de producto “Uso de computadoras”: “Los desarrolladores pueden indicarle a Claude que use las computadoras como lo hacen las personas: mirando una pantalla, moviendo un cursor, haciendo clic en botones y escribiendo texto”.
• Jarvis de Google, “un compañero útil que navega por la web por usted”, se lanzó accidentalmente en la tienda de Chrome momentáneamente.
• OpenAI funciona como un “Operador”, que también es un agente que actúa por usted.

Veo tres resultados posibles:

1. Los agentes aumentan significativamente el tráfico de bots en la web abierta a medida que rastrean y visitan sitios web.
2. Los agentes utilizan API para obtener información.
3. Los agentes operan en su plataforma, lo que significa que el Operador utiliza sólo datos de ChatGPT en lugar de recopilar los suyos propios.

Creo que lo más probable es una combinación de los tres, con el resultado de que el tráfico de bots crecería significativamente.

Si eso resulta ser cierto, las empresas crearán cada vez más versiones separadas de su sitio para bots orientadas a la velocidad y los datos estructurados. “Solo concéntrate en el usuario” se convierte en “solo concéntrate en los agentes”.

En cierto modo, ChatGPT Search ya es un agente que navega y selecciona la web para humanos. Pero si los agentes cumplen su promesa, se puede esperar mucho más.

Sam Altman, director ejecutivo de OpenAI dijo en su reciente Reddit AMA, “Creo que lo que se sentirá como el próximo gran avance serán los agentes”.

Mientras los bots conquistan la web, ¿qué están haciendo los humanos?

Adopción de Internet

Crédito de la imagen: Kevin Indig

Es poco probable que los humanos dejen de navegar por la web por completo.

Incluso con las respuestas de IA en las funciones de búsqueda y búsqueda en los chatbots de IA, los humanos todavía quieren verificar las declaraciones de la IA, inspirarse aleatoriamente (serendipia) o buscar respuestas de otros humanos (Reddit).

Pero el acto de navegar para buscar probablemente se disolverá en mensajes si los robots se vuelven lo suficientemente buenos.

Hay margen para crecer en el tráfico de personas: el 70% de la población mundial tenía acceso a Internet en 2023. Al ritmo actual (~7% interanual), todo el mundo tendría acceso a Internet para 2030.

Sin embargo, a pesar de la creciente adopción de Internet, el tráfico humano se ha mantenido estable durante los últimos tres años (consulte las estadísticas de Cloudflare). Los rastreadores de IA crecen mucho más rápido (18%) y los agentes podrían acelerarlo aún más.

Crédito de la imagen: Kevin Indig

Las solicitudes humanas a Wikipedia, el sitio más grande de la web, se han estancado desde 2019.

La razón es que la atención humana se desplaza hacia las plataformas sociales, especialmente para las generaciones más jóvenes. A medida que los robots toman la red abierta, los humanos huyen a retiros de compromiso.

Marketing

Crédito de la imagen: Kevin Indig

En un futuro lejano, los buenos bots podrían convertirse en ciudadanos con igualdad de derechos en la nación de la web abierta a medida que más humanos pasen tiempo en plataformas sociales cerradas y los LLM agentes aumenten el ya rápido crecimiento del tráfico de bots. Si esta teoría se cumple, ¿qué significa para el marketing y específicamente para el SEO?

Imagínese reservar un viaje. En lugar de navegar por Google o Booking, le dices a tu agente dónde piensas ir y cuándo.

Según lo que sabe sobre sus preferencias, su agente selecciona tres opciones de vuelos y hoteles desde la plataforma de su elección.

Cuando eliges un vuelo, se agrega a tu calendario y los boletos están en tu bandeja de entrada. No es necesario realizar el pago. El agente hace todo por ti. Podría aplicar el mismo escenario al comercio electrónico o al software.

Dado que empresas como Google ya tienen las capacidades para construir esto hoy, vale la pena pensar en qué permanecería constante, qué cambiaría y qué sería cada vez menos importante en esta visión.

Constante

Los bots no necesitan CSS ni imágenes destacadas. No hay ningún inconveniente en ocultar su sitio para los rastreadores LLM, por lo que existe la posibilidad de que los sitios web muestren a los bots una versión básica.

Un conjunto de habilidades que permanece constante en este futuro es el SEO técnico: rastreabilidad, velocidad (del servidor), enlaces internos y datos estructurados.

Cambiar

Una web abierta y agente ofrece capacidades de orientación de anuncios mucho mejores, ya que los bots conocen a sus propietarios al dedillo.

Los humanos tomarán decisiones de compra mucho más rápido ya que sus agentes les brindan toda la información que necesitan y conocen sus preferencias.

Los costes publicitarios disminuyen significativamente y ofrecen rendimientos aún mayores que los actuales.

Dado que los bots pueden traducir cualquier cosa en segundos, la localización y las ventas internacionales ya no son un problema. Los seres humanos pueden comprarle a cualquier persona, en cualquier lugar, sólo con limitaciones de envío e inventario. La economía global se abre aún más.

Si lo hacemos bien, los agentes podrían ser los mejores guardianes de la privacidad: nadie tiene tantos datos sobre usted como ellos, pero usted puede controlar cuántos comparten.

Los agentes lo conocen pero no necesitan compartir esa información con otros. Podríamos compartir aún más datos con ellos, haciendo girar el volante de valor de datos → comprensión → resultados → datos → valor → resultados → etc.

En el lado negativo, necesitamos construir defensas contra los robots maliciosos redefiniendo lo que los robots pueden hacer en un formato similar a robots.txt 2.0. La ciberseguridad se ha vuelto aún más importante, pero también más compleja, ya que los robots malos pueden imitar mucho mejor a los buenos.

Tendremos que determinar el impacto ambiental de un mayor consumo de energía debido a un mayor tráfico de bots.

Con suerte, los bots serán más eficientes y, por lo tanto, generarán menos tráfico web total que los humanos. Esto compensaría al menos en cierta medida el despilfarro de energía que ya están causando los LLM.

Importante

El formato de información más amigable para los bots es el crudo y estructurado: canales XML, RSS y API. Ya hemos enviado feeds de productos y mapas de sitio XML a Google, pero los agentes querrán más.

El diseño web será menos importante en el futuro, y tal vez eso esté bien, ya que la mayoría de los sitios se ven muy similares de todos modos.

El diseño del feed se vuelve más importante: qué información incluir en el feed, cuánta, con qué frecuencia actualizarla y qué solicitudes enviar a los bots.

Los especialistas en marketing dedicarán mucho más tiempo a realizar ingeniería inversa sobre cómo se ven las conversaciones con chatbots. Los bots probablemente serán una caja negra como el algoritmo de Google, pero la publicidad podría arrojar luz sobre lo que la gente más pregunta.

Relaciones

En el futuro de la agencia, es difícil lograr que los clientes cambien una vez que se han decidido por una marca que les gusta hasta que tengan una mala experiencia.

Como resultado, una importante palanca de marketing será lograr que los clientes prueben su marca con campañas como descuentos y ofertas exclusivas.

Una vez que tenga convicción y señale que su producto es mejor, la búsqueda se convierte en persuadir a los usuarios para que lo prueben. Evidentemente, eso ya funciona hoy.

Con tantas oportunidades para publicitar e influenciar a los usuarios hacia un producto específico de forma orgánica antes de comprarlo, tenemos mucha más influencia en la compra.

Pero, en el futuro, los agentes podrían tomar esas decisiones por los usuarios. Los especialistas en marketing dedicarán más tiempo a establecer relaciones, generar conciencia de marca e influir en factores de marketing de la vieja escuela como los precios, la distribución (envío) y la diferenciación.

Informe de robots defectuosos de 2024

Radar de Cloudflare: tendencias de tráfico

Los bots representan el 42% del tráfico web general; Casi dos tercios son maliciosos

Radar Cloudflare: Explorador de datos

Presentamos el uso de la computadora, un nuevo Claude 3.5 Sonnet y Claude 3.5 Haiku

La existencia de la extensión Jarvis AI de Google se filtró en la tienda de Chrome

OpenAI se acerca al lanzamiento de la herramienta AI Agent para automatizar tareas para los usuarios

Análisis de vistas del sitio

Imagen de portada: Paulo Bobita/Search Engine Journal