Cloudflare предприняла масштабную инициативу по изменению правил сканирования веб-контента для ИИ-систем Google. Компания автоматически обновила файлы robots.txt для миллионов сайтов, пытаясь регулировать использование контента в AI Overviews и подобных системах.
Фон конфликта
Новая политика, названная Content Signals Policy, стала ответом на жалобы издателей и компаний, зависящих от веб-трафика. Они утверждают, что AI Overviews и аналогичные системы ИИ-ответов резко сокращают их доходы, поскольку не отправляют трафик обратно к источнику информации.
Cloudflare занимает уникальную позицию в этом конфликте — её продукты и сервисы поддерживают около 20% веба, включая значительную часть сайтов, появляющихся в результатах поиска или питающих большие языковые модели.
Ситуация напоминает классическую дилемму цифровой эпохи: кто владеет инфраструктурой, тот и устанавливает правила. Cloudflare использует свою рыночную власть как рычаг против доминирования Google, что делает этот конфликт особенно интересным — это битва инфраструктурных гигантов.
Изменяющиеся нормы веба
С 2023 года Google предлагает администраторам сайтов возможность отказаться от использования их контента для обучения больших языковых моделей, таких как Gemini. Однако разрешение индексации страниц поисковыми роботами Google автоматически означает их использование для генерации AI Overviews через процесс retrieval-augmented generation (RAG).
Исследование Pew Research Center показало, что AI Overviews сокращают переходы по ссылкам почти вдвое. Пользователи кликали на ссылки на страницах с AI Overviews всего в 8% случаев против 15% на страницах без таких сводок.
В августе глава поискового подразделения Google Лиз Рейд оспорила эти данные, заявив, что общий объем органических переходов остаётся стабильным. Однако издатели продолжают настаивать на обратном.
Массовое обновление robots.txt
Инициатива Content Signals Policy представляет собой новый формат для файлов robots.txt, который позволяет владельцам сайтов явно указывать разрешения для трёх вариантов использования:
- search: построение поискового индекса и предоставление результатов поиска
- ai-input: использование контента в ИИ-моделях для генерации ответов
- ai-train: обучение или дообучение ИИ-моделей
Cloudflare автоматически обновила robots.txt для 3,8 миллиона доменов, использующих её управляемую функцию robots.txt. По умолчанию установлены значения: search — да, ai-train — нет, ai-input — нейтрально.
Угроза судебных разбирательств
В сентябре Penske Media Corporation, владелец брендов The Hollywood Reporter и Rolling Stone, подала иск против Google из-за AI Overviews. В иске утверждается, что доход от партнёрских ссылок упал более чем на треть за последний год, во многом из-за сводок Google.
Как отмечает генеральный директор Cloudflare Мэттью Принс: «Почти все разумные ИИ-компании говорят, что если это честные условия игры, то они готовы платить за контент. Проблема в том, что все они боятся Google, потому что если Google получает контент бесплатно, а они должны платить, то они всегда будут в невыгодном положении».
Этот конфликт демонстрирует фундаментальное изменение в экономике веба, где традиционная модель реферального трафика сталкивается с новой реальностью ИИ-генерации контента.
По материалам Ars Technica