- Cloudflare actualiza robots.txt en millones de webs para controlar el uso de su contenido por la IA de Google.
- La medida busca presionar a Google para que separe el rastreo para búsquedas tradicionales del uso para entrenamiento y generación de resúmenes de IA.
- La iniciativa surge ante las quejas de editores por la caída del tráfico web y los ingresos publicitarios debido a las 'AI Overviews' de Google.
Cloudflare, una compañía clave en la infraestructura de internet, ha implementado cambios significativos en los archivos robots.txt de millones de sitios web con el objetivo de influir en cómo Google rastrea y utiliza el contenido para sus herramientas de inteligencia artificial. Esta acción, denominada "Content Signals Policy", responde a las crecientes preocupaciones de editores y empresas que dependen del tráfico web, quienes denuncian que las "AI Overviews" (resúmenes generados por IA) de Google están reduciendo drásticamente el tráfico hacia sus fuentes originales, afectando sus ingresos.
La política de Cloudflare introduce un nuevo formato para robots.txt que permite a los administradores web especificar si consienten el uso de su contenido para diferentes propósitos: búsqueda tradicional, alimentación de modelos de IA ('ai-input') y entrenamiento de modelos de IA ('ai-train'). Matthew Prince, CEO de Cloudflare, ha señalado que el objetivo es crear una presión legal sobre Google, obligándole a distinguir entre el rastreo para resultados de búsqueda convencionales y el uso de ese mismo contenido para generar respuestas de IA. La empresa ha actualizado automáticamente los archivos de los dominios que utilizan su servicio de gestión de robots.txt, configurando por defecto la búsqueda como permitida, el entrenamiento de IA como no permitido y dejando en blanco la entrada para 'ai-input', indicando una postura neutral.