Нагрузка на сервер от ботов: как найти виновника и снизить
«Превышен лимит нагрузки», «сайт открывается по 10 секунд», а в Метрике обычный день. Почти всегда виноваты боты: Метрика их не видит, а сервер обслуживает каждый запрос. Разбираем, как найти, кто грузит сайт, и что с этим делать в каждом случае.
Содержание
Коротко
- Боты без JavaScript не видны в Метрике, но нагружают сервер — смотрите логи.
- Поисковых роботов не блокируют: Яндексу снижают скорость обхода в Вебмастере.
- SEO-краулеры и обучающие AI-боты можно закрыть без вреда для позиций.
- Против парсеров — лимит частоты в nginx, против любой нагрузки — кэш.
Почему в Метрике этого не видно
Метрика считает визиты, в которых браузер выполнил её скрипт. Большинство ботов не выполняют JavaScript: они запрашивают страницу, картинки, фиды и уходят. Для Метрики их нет, а сервер тратит на них процессор, память и запросы к базе. Поэтому смотреть нужно не в аналитику, а в логи сервера.
Как найти, кто грузит сайт
В логе доступа (access.log) каждая строка — один запрос: адрес, время, страница, код ответа, User-Agent. Чтобы найти виновника, отсортируйте запросы за последний час по User-Agent и по IP-адресу. Обычно сразу видно одного-двух лидеров с тысячами запросов.
# 20 самых активных User-Agent за последние 10 000 запросов
tail -n 10000 /var/log/nginx/access.log | awk -F'"' '{print $6}' | sort | uniq -c | sort -rn | head -20
# 20 самых активных IP-адресов
tail -n 10000 /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head -20Если не хочется работать в консоли, загрузите кусок лога в анализатор логов — он сам разложит запросы по ботам, поисковым роботам и людям.
Кто обычно грузит сайт и что с ним делать
| Кто | Признаки в логах | Что делать |
|---|---|---|
| Робот Яндекса | YandexBot, YandexRenderResourcesBot; адреса Яндекса | Не блокировать. Снизить скорость обхода в Вебмастере |
| Googlebot | Googlebot, адреса Google | Не блокировать. В экстренном случае — временно отвечать 503 или 429 |
| SEO-краулеры | AhrefsBot, SemrushBot, MJ12bot, DotBot | Закрыть в robots.txt, если не пользуетесь этими сервисами для своего сайта |
| AI-боты | GPTBot, ClaudeBot, Bytespider, CCBot | Решить, нужны ли они. Обучающих можно закрыть без потерь для поиска |
| Парсеры и сканеры | Обычный браузерный User-Agent, но сотни запросов в минуту с одного адреса или подсети, запросы к /wp-login.php, /.env | Лимит частоты на сервере, блокировка подсети, проверка посетителя |
| Поддельные поисковики | «YandexBot» или «Googlebot» с чужих адресов | Проверить по обратному DNS и блокировать подделку |
Поисковые роботы: снижать, а не закрывать
Если сервер грузит сам Яндекс, закрывать его нельзя — сайт выпадет из поиска. Вместо этого в Вебмастере откройте «Индексирование» → «Скорость обхода» и задайте значение вручную. Яндекс учитывает его как рекомендацию, а для каждого поддомена скорость задаётся отдельно. Директиву Crawl-delay в robots.txt Яндекс не поддерживает.
Инструмент ограничения скорости обхода в Google Search Console отключён с января 2024 года. Если Googlebot перегружает сервер, Google советует временно отвечать кодами 500, 503 или 429 — и только на несколько часов или дней: если ошибки держатся долго, страницы могут выпасть из индекса.
Проверка поискового робота по IPУзнайте, настоящий ли YandexBot или Googlebot грузит сайт, или это подделка.ОткрытьЛимиты частоты на сервере
Против парсеров и сканеров лучше всего работает ограничение частоты запросов с одного адреса. В nginx это директивы limit_req_zone и limit_req: человек не открывает 10 страниц в секунду, а бот открывает. Готовую конфигурацию под ваш сайт можно собрать в генераторе лимитов nginx. Поисковые роботы при этом стоит исключить из лимита или дать им запас.
Кэш снижает любую нагрузку
Самая тяжёлая часть ответа — сборка страницы: PHP, запросы к базе. Если страница отдаётся из кэша, бот получает её почти бесплатно для сервера. Кэш страниц для незалогиненных посетителей часто снижает нагрузку сильнее, чем любые блокировки. Тяжёлые адреса — поиск по сайту, фильтры каталога, корзина — стоит закрыть в robots.txt и ограничить по частоте.
Частые вопросы
Как понять, что сайт грузят боты, а не посетители?
Сравните логи сервера с Метрикой. Если запросов в логах резко больше, а визитов в Метрике столько же — это боты. Отсортируйте запросы по User-Agent и адресам, и виновник обычно будет в первых строках.
Работает ли Crawl-delay в robots.txt?
Яндекс эту директиву не поддерживает: скорость обхода задаётся в Вебмастере. Google тоже её не использует. Некоторые другие боты её учитывают — например, Anthropic пишет, что её боты поддерживают Crawl-delay.
Можно ли заблокировать AhrefsBot и SemrushBot?
Да, на позиции в Яндексе и Google это не влияет. Вы только перестанете видеть данные о своём сайте в этих сервисах. Закрыть можно в robots.txt — эти боты его соблюдают.
Почему хостинг пишет о превышении нагрузки, а посещаемость не выросла?
Нагрузку создают боты, которых нет в аналитике: краулеры, парсеры, сканеры уязвимостей. Их видно только в логах сервера.
Можно ли закрыть сайт от YandexRenderResourcesBot?
Не стоит: он загружает скрипты и стили, чтобы Яндекс видел страницу как пользователь. Если он создаёт нагрузку, снизьте общую скорость обхода в Вебмастере.
Поможет ли Cloudflare или CDN от нагрузки ботов?
CDN снимает нагрузку от статики и кэшируемых страниц, но не от запросов к динамике: поиску, фильтрам, корзине. Для них нужны лимиты частоты и проверка посетителей. О Cloudflare в России — в статье о его аналогах.