Cloudflare напишет robots.txt за вас — и это важно
Если у вас есть сайт, вы наверняка сталкивались с этим: в панели управления появляется всё больше тумблеров с загадочными именами вроде GPTBot, Bytespider или ClaudeBot. Каждый — отдельный ИИ-краулер, и по каждому нужно решить: пускать его на сайт или нет. Через полгода таких настроек становится столько, что разобраться без бутылки кофе уже сложно.
Cloudflare предложил другой подход. В компании заметили простую вещь: настраивать доступ ботов по одному — это как выдавать пропуска каждому гостю на свадьбе вручную. Логичнее группировать их по категориям. Так появилась функция Bot Preference Sync — политика доступа задаётся не для конкретного краулера, а для целой категории.
В чём суть нового подхода
Раньше настройка выглядела так: разрешить GPTBot, заблокировать Bytespider, разрешить ClaudeBot, подумать про остальных. Cloudflare резонно замечает: в такой схеме нет никакого правила, которое описывало бы, что вы вообще делаете. Вы просто перебираете ботов по одному.
Bot Preference Sync меняет логику. Вы выбираете категорию — например, «поисковые ИИ-агенты», «обучающие краулеры», «скраперы данных» — и задаёте политику для всей группы сразу. Cloudflare берёт на себя задачу поддерживать актуальный список ботов в каждой категории и синхронизировать его с вашим robots.txt.
| Подход | Как работает | Что это значит на практике |
|---|---|---|
| Старый способ | Настройка каждого бота отдельно | Десятки тумблеров, легко запутаться |
| Bot Preference Sync | Политика по категориям ботов | Одно решение — для целой группы |
| Robots.txt вручную | Пишете правила сами | Нужно следить за новыми ботами |
Почему это касается малого бизнеса
Может показаться, что это тема для крупных медиа и издателей. Но это не так. Если ваш сайт — интернет-магазин, студия или локальный сервис, вы точно так же попадаете в поле зрения ИИ-краулеров. Одни из них приносят пользу: благодаря им ваш сайт может появляться в ответах ИИ-поисковиков, а значит — в рекомендациях потенциальным клиентам. Другие просто забирают контент, ничего не давая взамен.
Разница между «пустить всех» и «пустить правильных» может быть существенной. Судя по направлению, в котором движется рынок, в ближайшее время категорийный подход к управлению ботами станет нормой, а не экзотикой. Если у вас ещё нет никакой политики — самое время её завести.
Что делать уже сейчас
- Проверьте, какие ИИ-боты сейчас имеют доступ к вашему сайту.
- Определите, какие из них полезны для вас (например, те, что формируют ответы в ИИ-поиске).
- Задайте понятные правила: кого пускаем, кого нет — и зафиксируйте их в robots.txt.
- Если пользуетесь Cloudflare — посмотрите на Bot Preference Sync как на способ не перебирать ботов вручную.
Главное — не оставлять эту зону без внимания. ИИ-краулеры приходят на ваш сайт каждый день, и вопрос только в том, на каких условиях.
Частые вопросы
Если я заблокирую обучающих ИИ-ботов, не потеряю ли я позиции в Google?
Это зависит от того, каких именно ботов вы блокируете. Поисковые краулеры и обучающие боты — разные категории. Категорийный подход как раз помогает не рубить сплеча: вы можете оставить доступ для тех, кто влияет на видимость в поиске, и закрыть тех, кто просто собирает данные.
Мне обязательно пользоваться Cloudflare, чтобы это настроить?
Нет. Bot Preference Sync — это инструмент Cloudflare, но саму идею категорий можно реализовать и через robots.txt вручную. Важно понимать, каких ботов вы пускаете и зачем, а не просто копировать чужие правила.