OpenAI y Google anunciaron el 30 de octubre que respaldarán una señal común en `robots.txt` para que los responsables de sitios web comuniquen, con una sola regla, que no autorizan el uso de su contenido en el entrenamiento de modelos generativos. Microsoft y Anthropic también apoyan la iniciativa, según informó *The Verge*. El cambio busca sustituir la tarea de configurar instrucciones separadas para cada proveedor por una preferencia que varias compañías puedan interpretar de la misma manera.[1][2][4]

La propuesta utiliza el token de política `__usage_ai-training`. En términos prácticos, un sitio podría añadir ese identificador a su archivo `robots.txt` y bloquear el acceso a todo el dominio o permitir rutas específicas. El borrador técnico fue presentado por Kevin Kelley, de Anthropic, dentro del trabajo relacionado con el grupo AI Preferences (AIPREF) del Internet Engineering Task Force.[3]

Conviene precisar el estado de la iniciativa: todavía no es un estándar aprobado por el IETF. El registro oficial la clasifica como un Internet-Draft individual, sin respaldo formal del organismo ni posición de RFC asignada. Esa diferencia importa porque el anuncio representa un compromiso voluntario de proveedores concretos, no una regla universal ni una obligación legal para todos los desarrolladores de IA.[3]

Los calendarios tampoco son simultáneos. OpenAI afirma que pretende implementar la señal “en los próximos meses”. Google proyecta incorporarla en 2027. *The Verge* reporta que Anthropic ya la adoptó y que Microsoft planea respaldarla el próximo año. Mientras esos cambios llegan a producción, los controles existentes continúan vigentes.[1][2][4]

Google explicó que, cuando encuentre el nuevo token de exclusión y el sitio no haya establecido una instrucción específica para Google-Extended, lo interpretará como si Google-Extended estuviera bloqueado. Los responsables de una web todavía podrán combinar la señal común con reglas particulares para permitir o denegar proveedores individuales. Google también indicó que autorizar Google-Extended puede hacer que un sitio sea elegible para aparecer como fuente enlazada en respuestas de Gemini.[2]

OpenAI, por su parte, dijo que la nueva señal no reemplazará sus controles actuales para rastreadores. La compañía seguirá respetando las reglas específicas que ya ofrece y presenta la opción compartida como una capa adicional para reducir el trabajo administrativo de editores y operadores de sitios.[1]

La señal se limita a expresar preferencias sobre entrenamiento de modelos generativos fundacionales. No retira datos que ya hayan sido recopilados, no obliga a proveedores que no participen y no demuestra por sí sola que un rastreador desconocido obedecerá la instrucción. Tampoco debe confundirse automáticamente con controles sobre indexación en buscadores, recuperación de información o “grounding” en respuestas: esos usos pueden tener reglas distintas según el proveedor y la configuración del sitio.[1][2][3]

El avance es material porque reúne a cuatro de las compañías de IA más influyentes alrededor de una sintaxis común, pero su eficacia dependerá de la implementación verificable y de una adopción más amplia. Para los editores, la ventaja inmediata es conceptual y operativa: una preferencia uniforme reduce configuraciones fragmentadas. La limitación central permanece intacta: `robots.txt` comunica una política; no funciona como una barrera técnica contra actores que decidan ignorarla.

Por ahora, la lectura prudente es que la industria dio un paso de interoperabilidad, no que resolvió la disputa sobre consentimiento, licencias o compensación por datos. El borrador abre una vía más simple para declarar una elección. Las próximas pruebas serán cuándo cada proveedor la active, cómo documente su cumplimiento y si otros desarrolladores se suman.

Fuentes

[1] Leer Más — Making it easier for websites to express AI training preferences — OpenAI
[2] Leer Más — Supporting a shared AI training control for websites — Google
[3] Leer Más — Machine-Readable Training Preference Signal — IETF Datatracker
[4] Leer Más — The biggest names in AI are backing a new way to opt out of scraping — The Verge