Google и другие гиганты ИИ внедряют единый стандарт запрета на скрейпинг

Крупнейшие игроки в сфере искусственного интеллекта — Google, Anthropic, OpenAI и Microsoft — приняли обязательства по соблюдению новой директивы robots.txt. Данный механизм позволит издателям четко обозначать свои предпочтения относительно сбора их контента для целей обучения генеративных моделей ИИ.

Единый сигнал вместо индивидуальных правил

Компании поддержали предложение, рассматриваемое в рамках IETF (открытой организации интернет-стандартов), автором которого является технический руководитель Anthropic по стандартам Кевин Келли. Как пояснили представители OpenAI и Google, текущая практика требует от владельцев сайтов идентифицировать каждого отдельного краулера и прописывать уникальные правила для каждого провайдера.

Инициатива Келли меняет этот подход, заставляя несколько ИИ-компаний распознавать и уважать единый общий сигнал. Издателям необходимо будет настроить в файле robots.txt специальный user-agent, предназначенный исключительно для обучения ИИ. Конструкция выглядит следующим образом:

• User-Agent: __usage_ai-training
• Disallow: /
• Allow: /press-kit/

Механизм действия и ограничения

Такая конфигурация блокирует работу краулеров, чья цель — сбор данных для обучения ИИ. Секция «Allow» предоставляет операторам сайтов возможность разрешить скрейпинг для конкретных разделов страницы, например, если там размещен пресс-кит. При этом важно отметить, что новая директива не запрещает индексацию полностью и не влияет на отображение контента в результатах поиска Google.

В частности, Google будет трактовать эту запись как стоп-сигнал специально для user-agent «Google-Extended», который собирает материалы для обучения моделей Gemini. Дополнительным ограничением является то, что директива не может отменить уже выполненные ранее операции по сбору данных. Если страница была просканирована раньше, компании уже располагают ее контентом; новые правила предотвращают только будущий скрейпинг сайтов или отдельных страниц.

График внедрения поддержки

Anthropic уже начала поддерживать новую директиву. Microsoft заявил, что внедрение начнется 1 февраля 2027 года. Google также планирует обеспечить поддержку в начале 2027 года, тогда как OpenAI обязалась реализовать новый сигнал в ближайшие месяцы.