AI-боты и нейросети на сайте: закрывать или пускать
В логах всё чаще встречаются GPTBot, ClaudeBot и PerplexityBot, а Яндекс отвечает на вопросы нейросетью прямо в поиске. Владельцы сайтов спрашивают одно и то же: закрывать сайт от нейросетей или нет. Короткий ответ: закрывать стоит не всех подряд, а по назначению бота.
Содержание
Коротко
- AI-боты бывают трёх видов: для обучения моделей, для ИИ-поиска и по запросу пользователя.
- Обучающих можно закрыть без потерь для обычного поиска.
- Поисковые AI-боты приводят посетителей из ответов нейросетей — их закрывать стоит осознанно.
- Нейроответы Яндекса запрещаются отдельным именем YandexAdditional, а не YandexBot.
Три вида AI-ботов
У крупных компаний теперь не один робот, а несколько — с разными задачами. От этого зависит, что вы потеряете, если закроете его.
| Назначение | Что делает | Примеры | Если закрыть |
|---|---|---|---|
| Обучение моделей | Собирает тексты, на которых учат нейросети | GPTBot, ClaudeBot, CCBot, Bytespider | Тексты сайта не попадут в будущие обучающие наборы. Посетителей вы почти не теряете |
| ИИ-поиск | Индексирует страницы, чтобы ссылаться на них в ответах | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Сайт перестанет появляться в ответах этих ИИ-поисковиков и переходах из них |
| Запрос пользователя | Открывает страницу, когда человек сам просит ИИ её прочитать | ChatGPT-User, Claude-User | ИИ не сможет пересказать страницу по просьбе пользователя |
Отдельно стоят «имена без робота» — Google-Extended, Applebot-Extended и YandexAdditional. Это не краулеры, а метки для robots.txt: страницы обходит обычный поисковый робот, а метка говорит, можно ли использовать тексты в нейросетевых ответах.
Что с Яндексом
Яндекс использует тексты сайтов в быстрых ответах, которые генерирует YandexGPT. Запретить это можно отдельно от индексации: правило для YandexAdditional или YandexAdditionalBot в robots.txt. По справке Вебмастера изменения вступают в силу за 2–14 дней — по мере обновления поисковой базы.
Главное — не перепутать: правило для Yandex или YandexBot уберёт сайт из обычного поиска. Для запрета нейроответов нужно именно отдельное имя.
Закрывать или нет: как решить
Для большинства коммерческих сайтов разумный вариант такой: обучающих ботов — на ваше усмотрение, поисковых и пользовательских — пускать. Люди всё чаще спрашивают у ИИ «какой сервис выбрать» или «где заказать», и ссылка в ответе приводит живого клиента. Закрыть стоит то, что создаёт нагрузку и ничего не даёт: например, Bytespider известен частыми запросами.
Как закрыть в robots.txt
Каждому боту — своя секция. Пример: закрыть обучение моделей и нейроответы Яндекса, но оставить ИИ-поиск и обычный поиск.
# Обучение моделей — закрыть
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Google-Extended
Disallow: /
# Нейроответы Яндекса — закрыть (обычный поиск не затрагивает)
User-agent: YandexAdditional
Disallow: /
# ИИ-поиск — оставить
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /Robots.txt — это просьба, а не замок. Её соблюдают боты крупных компаний, которые подписываются своим именем. OpenAI прямо пишет, что для ChatGPT-User правила robots.txt могут не применяться: страницу открывает человек через ИИ. А парсеры, которые собирают тексты «для нейросетей» под видом обычного браузера, robots.txt не читают вовсе.
Генератор правил блокировкиОтметьте ботов — получите готовые строки для robots.txt, nginx и .htaccess.ОткрытьПоддельные AI-боты
Имя в User-Agent может написать кто угодно. Если «GPTBot» приходит сотни раз в минуту с домашних адресов или из случайных дата-центров — это не OpenAI, а парсер, который прикрывается чужим именем. Настоящие боты приходят из диапазонов адресов, которые компании публикуют, а поисковые роботы проверяются по обратному DNS. Подделку можно блокировать без сомнений: настоящий бот от этого не пострадает.
Проверка поискового робота по IPУзнайте, настоящий ли робот пришёл к вам или парсер с чужим именем.ОткрытьА нужен ли llms.txt
llms.txt — файл в корне сайта с кратким описанием и списком главных страниц для нейросетей. Это предложение энтузиастов, а не стандарт: поисковики не обещают его учитывать, и для SEO он не нужен. Сделать его несложно и не вредно — но ждать от него трафика не стоит. Гораздо важнее, чтобы страницы были открыты для поисковых ИИ-ботов и отвечали на вопрос в первых абзацах.
Частые вопросы
Как закрыть сайт от ChatGPT?
Чтобы тексты не использовались для обучения, закройте GPTBot. Чтобы сайт не появлялся в поиске ChatGPT, закройте OAI-SearchBot. ChatGPT-User открывает страницы по запросу человека, и OpenAI предупреждает, что robots.txt для него может не применяться.
Повлияет ли запрет AI-ботов на позиции в Яндексе и Google?
Нет, если не трогать основных поисковых роботов. Запрет GPTBot, ClaudeBot или YandexAdditional не влияет на обычный поиск. Опасно только закрыть Yandex, YandexBot или Googlebot.
Что такое YandexAdditional?
Это имя для robots.txt, которым Яндекс разрешает запретить показ контента сайта в быстрых ответах YandexGPT. На индексацию в обычном поиске правило не влияет — для этого есть отдельные имена роботов.
Можно ли запретить нейросетям пересказывать мой сайт?
Честным ботам — да, через robots.txt: закройте ботов обучения и поиска нужных компаний и YandexAdditional. Но запрет не убирает тексты из уже собранных данных и не действует на парсеры, которые не представляются.
Нужно ли закрывать AI-ботов для SEO?
Нет, на позиции в Яндексе и Google это не влияет. Решение зависит от того, хотите ли вы, чтобы ИИ-сервисы ссылались на сайт и пересказывали его.
Как узнать, какие AI-боты ходят на мой сайт?
Посмотрите логи сервера и найдите в User-Agent имена GPTBot, ClaudeBot, PerplexityBot, Bytespider и другие. Удобнее всего — через анализатор логов: он сам выделит AI-ботов в отдельную группу.