·
·
Saturday, 31 October 2026dailybeirut.com
IA
Cuatro gigantes tecnológicos se comprometen a respetar una señal única en robots.txt que impide la recolección de datos para entrenar modelos generativos.
Google, Anthropic, OpenAI y Microsoft han confirmado su adhesión a una nueva instrucción dentro del archivo robots.txt. Esta medida otorga a los editores web la capacidad de restringir explícitamente la extracción de sus contenidos con fines de entrenamiento de inteligencia artificial generativa. La iniciativa responde a una propuesta técnica redactada por Kevin Kelley, líder de estándares en Anthropic, actualmente bajo revisión en la IETF, la organización abierta que define las normas de internet.
Hasta ahora, los propietarios de sitios debían identificar cada rastreador individualmente y configurar reglas separadas para cada proveedor de IA. El nuevo enfoque simplifica este proceso al establecer una señal común reconocida simultáneamente por múltiples empresas tecnológicas. Los editores deben definir un nuevo agente de usuario específico para el entrenamiento de IA dentro de su archivo robots.txt.
La estructura de esta directiva permite bloquear el acceso general mediante la línea "Disallow: /", pero ofrece flexibilidad a través de la sección "Allow". Esto habilita excepciones para partes concretas de una página, como kits de prensa, manteniendo el bloqueo sobre el resto del contenido destinado a la recopilación de datos para modelos generativos.
Es crucial entender que esta restricción no detiene la indexación general ni elimina el contenido de los resultados de búsqueda. En el caso de Google, la interpretación se centra específicamente en el agente "Google-Extended", encargado de rastrear materiales para entrenar los modelos Gemini. Por lo tanto, el sitio sigue visible en el buscador, pero queda protegido frente a la ingesta automática para desarrollo de IA.
Otro aspecto fundamental es que la directiva carece de efecto retroactivo. Si las compañías ya habían rastreado una página previamente, conservan ese contenido en sus bases de datos. La nueva norma solo previene futuras extracciones de información desde el momento de su implementación efectiva.
El despliegue técnico varía según la empresa. Anthropic ha comenzado ya a soportar la nueva directiva. Microsoft anunció que activará el soporte el 1 de febrero de 2027. Google indicó que implementará la función a principios de 2027, mientras que OpenAI se comprometió a integrar la señal en los próximos meses.
