- Por cada página vista por una persona, PatronView registró 214 solicitudes provenientes de bots.
- Claude-Searchbot consumió 420,680 páginas en una semana y generó únicamente 12 visitas al sitio.
- El problema ya impacta costos, rendimiento y medición: durante uno de los picos, la factura mensual del sitio aumentó cerca de 500%.
Nick Gray, creador de PatronView, lleva año y medio midiendo lo que los rastreadores de IA hacen con su sitio. En una sola semana, su servidor sirvió 1.28 millones de páginas. Las visitas reales fueron 5,977. Por cada página vista por un humano, 214 venían de bots.
Los números por rastreador son más específicos.
Claude-Searchbot, el rastreador de Anthropic, solicitó 420,680 páginas en una semana y envió 12 usuarios a la web de Gray. La ratio: 35,000 páginas consumidas por cada usuario generado. Gray bloqueó el bot con un código, Anthropic respetó el bloqueo y las decenas de miles de solicitudes diarias cayeron a unos pocos intentos.
Amzn-SearchBot fue peor. El rastreador de Amazon accedía a 117,000 páginas de PatronView al día. Visitas enviadas a cambio: cero. La ratio entre páginas consumidas y lectores recibidos era literalmente infinita.
¿Tu tráfico es realmente humano? La expansión de los crawlers de IA está cambiando las reglas de medición, distribución y monetización de contenidos. Forma parte de la Comunidad y entiende estos cambios desde la industria.
Los bots que no se identifican como bots
En abril, PatronView recibió 3.6 millones de accesos en un solo día, procedentes de 361,844 direcciones IP distintas, la mayoría ubicadas en China. Después llegaron oleadas desde Vietnam y Singapur, navegadores Chrome automatizados alojados en AWS y Azure, y redes de proxies residenciales, las más difíciles de identificar porque los accesos provienen de conexiones domésticas aparentemente normales.
Julieta Ruiz
El costo de defenderse
Gray usó las detecciones de ejecución de JavaScript de Cloudflare para distinguir humanos de máquinas. El sistema añadía 2.875 segundos de procesamiento en un móvil de gama media, lo que redujo su puntuación en Lighthouse de 99 a 58. Al desactivar la protección, un scraper alojado en Azure descargó 23,000 páginas en una hora a través de más de 80 direcciones IP para evitar los límites de velocidad.
Su factura mensual habitual era de 90 dólares. Durante uno de los peores picos de bots, la factura creció cerca del 500%.
Julieta Ruiz
La solución que Gray propone
Gray construyó un mecanismo que bloquea ciertos países y rastreadores, usa CAPTCHAs si detecta grandes centros de datos, filtra navegadores sospechosamente antiguos y aplica límites de velocidad. Cloudflare activó 106,437 CAPTCHAs en 48 horas. Solo 252 se resolvieron, o sea, el 0.24%.
La propuesta a largo plazo es cobrar por rastrear. Cloudflare trabaja en un sistema pay-per-crawl que permitirá a los propietarios de sitios poner precio al acceso de los bots. Hasta entonces, Gray aplica una regla más simple: si un rastreador no le envía visitantes, lo bloquea.
Para los equipos de marketing y medios que dependen de la analítica web para tomar decisiones de inversión, la advertencia de Gray tiene una consecuencia directa: Google Analytics, Plausible y herramientas similares no distinguen de forma confiable entre tráfico humano y tráfico de bots. Para saber quién consume realmente una web, hay que revisar los logs del servidor.
Únete a la Comunidad y sigue las conversaciones que están redefiniendo la relación entre inteligencia artificial, publishers, data y publicidad digital.
