Cloudflare, DDoS и инфраструктура

Нагрузка на сервер от ботов: как найти виновника и снизить

«Превышен лимит нагрузки», «сайт открывается по 10 секунд», а в Метрике обычный день. Почти всегда виноваты боты: Метрика их не видит, а сервер обслуживает каждый запрос. Разбираем, как найти, кто грузит сайт, и что с этим делать в каждом случае.

Обновлено 18 ноября 20263 мин чтенияКоманда nbots

Содержание
  1. Почему в Метрике этого не видно
  2. Как найти, кто грузит сайт
  3. Кто обычно грузит сайт и что с ним делать
  4. Поисковые роботы: снижать, а не закрывать
  5. Лимиты частоты на сервере
  6. Кэш снижает любую нагрузку
  7. Частые вопросы

Коротко

  • Боты без JavaScript не видны в Метрике, но нагружают сервер — смотрите логи.
  • Поисковых роботов не блокируют: Яндексу снижают скорость обхода в Вебмастере.
  • SEO-краулеры и обучающие AI-боты можно закрыть без вреда для позиций.
  • Против парсеров — лимит частоты в nginx, против любой нагрузки — кэш.

Почему в Метрике этого не видно

Метрика считает визиты, в которых браузер выполнил её скрипт. Большинство ботов не выполняют JavaScript: они запрашивают страницу, картинки, фиды и уходят. Для Метрики их нет, а сервер тратит на них процессор, память и запросы к базе. Поэтому смотреть нужно не в аналитику, а в логи сервера.

Как найти, кто грузит сайт

В логе доступа (access.log) каждая строка — один запрос: адрес, время, страница, код ответа, User-Agent. Чтобы найти виновника, отсортируйте запросы за последний час по User-Agent и по IP-адресу. Обычно сразу видно одного-двух лидеров с тысячами запросов.

# 20 самых активных User-Agent за последние 10 000 запросов
tail -n 10000 /var/log/nginx/access.log | awk -F'"' '{print $6}' | sort | uniq -c | sort -rn | head -20

# 20 самых активных IP-адресов
tail -n 10000 /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head -20

Если не хочется работать в консоли, загрузите кусок лога в анализатор логов — он сам разложит запросы по ботам, поисковым роботам и людям.

Кто обычно грузит сайт и что с ним делать

КтоПризнаки в логахЧто делать
Робот ЯндексаYandexBot, YandexRenderResourcesBot; адреса ЯндексаНе блокировать. Снизить скорость обхода в Вебмастере
GooglebotGooglebot, адреса GoogleНе блокировать. В экстренном случае — временно отвечать 503 или 429
SEO-краулерыAhrefsBot, SemrushBot, MJ12bot, DotBotЗакрыть в robots.txt, если не пользуетесь этими сервисами для своего сайта
AI-ботыGPTBot, ClaudeBot, Bytespider, CCBotРешить, нужны ли они. Обучающих можно закрыть без потерь для поиска
Парсеры и сканерыОбычный браузерный User-Agent, но сотни запросов в минуту с одного адреса или подсети, запросы к /wp-login.php, /.envЛимит частоты на сервере, блокировка подсети, проверка посетителя
Поддельные поисковики«YandexBot» или «Googlebot» с чужих адресовПроверить по обратному DNS и блокировать подделку

Поисковые роботы: снижать, а не закрывать

Если сервер грузит сам Яндекс, закрывать его нельзя — сайт выпадет из поиска. Вместо этого в Вебмастере откройте «Индексирование» → «Скорость обхода» и задайте значение вручную. Яндекс учитывает его как рекомендацию, а для каждого поддомена скорость задаётся отдельно. Директиву Crawl-delay в robots.txt Яндекс не поддерживает.

Инструмент ограничения скорости обхода в Google Search Console отключён с января 2024 года. Если Googlebot перегружает сервер, Google советует временно отвечать кодами 500, 503 или 429 — и только на несколько часов или дней: если ошибки держатся долго, страницы могут выпасть из индекса.

Проверка поискового робота по IPУзнайте, настоящий ли YandexBot или Googlebot грузит сайт, или это подделка.Открыть

Лимиты частоты на сервере

Против парсеров и сканеров лучше всего работает ограничение частоты запросов с одного адреса. В nginx это директивы limit_req_zone и limit_req: человек не открывает 10 страниц в секунду, а бот открывает. Готовую конфигурацию под ваш сайт можно собрать в генераторе лимитов nginx. Поисковые роботы при этом стоит исключить из лимита или дать им запас.

Генератор правил блокировкиГотовые правила для robots.txt, nginx и .htaccess против SEO-краулеров, AI-ботов и сканеров.Открыть

Кэш снижает любую нагрузку

Самая тяжёлая часть ответа — сборка страницы: PHP, запросы к базе. Если страница отдаётся из кэша, бот получает её почти бесплатно для сервера. Кэш страниц для незалогиненных посетителей часто снижает нагрузку сильнее, чем любые блокировки. Тяжёлые адреса — поиск по сайту, фильтры каталога, корзина — стоит закрыть в robots.txt и ограничить по частоте.

Частые вопросы

Как понять, что сайт грузят боты, а не посетители?

Сравните логи сервера с Метрикой. Если запросов в логах резко больше, а визитов в Метрике столько же — это боты. Отсортируйте запросы по User-Agent и адресам, и виновник обычно будет в первых строках.

Работает ли Crawl-delay в robots.txt?

Яндекс эту директиву не поддерживает: скорость обхода задаётся в Вебмастере. Google тоже её не использует. Некоторые другие боты её учитывают — например, Anthropic пишет, что её боты поддерживают Crawl-delay.

Можно ли заблокировать AhrefsBot и SemrushBot?

Да, на позиции в Яндексе и Google это не влияет. Вы только перестанете видеть данные о своём сайте в этих сервисах. Закрыть можно в robots.txt — эти боты его соблюдают.

Почему хостинг пишет о превышении нагрузки, а посещаемость не выросла?

Нагрузку создают боты, которых нет в аналитике: краулеры, парсеры, сканеры уязвимостей. Их видно только в логах сервера.

Можно ли закрыть сайт от YandexRenderResourcesBot?

Не стоит: он загружает скрипты и стили, чтобы Яндекс видел страницу как пользователь. Если он создаёт нагрузку, снизьте общую скорость обхода в Вебмастере.

Поможет ли Cloudflare или CDN от нагрузки ботов?

CDN снимает нагрузку от статики и кэшируемых страниц, но не от запросов к динамике: поиску, фильтрам, корзине. Для них нужны лимиты частоты и проверка посетителей. О Cloudflare в России — в статье о его аналогах.

Читайте также