Анализатор логов сервера
Загрузите access.log — инструмент разделит запросы на людей, поисковых роботов, SEO- и AI-краулеров и скрипты, покажет самые активные адреса, попытки взлома и ошибки. Лог обрабатывается прямо в браузере и никуда не отправляется.
Кто ходит на сайт
Самые активные адреса
| IP | Запросов | Пик в минуту | Ошибок | Кто это |
|---|
Называют себя поисковиком
Проверьте эти адреса: настоящий робот Яндекса или Google проходит обратный и прямой DNS-запрос.
Попытки взлома и поиск уязвимостей
| Что искали | Запросов | Адресов |
|---|
Чаще всего не найдено (404)
Содержание
Что покажет анализатор
- Кто ходит на сайт — доля запросов от поисковых роботов, SEO-сервисов, AI-краулеров, скриптов и обычных браузеров.
- Самые активные адреса — сколько запросов сделал каждый IP, какой у него пик в минуту и сколько ошибок он получил.
- Кто называет себя поисковиком — адреса с User-Agent Яндекса, Google и Bing со ссылкой на проверку по DNS.
- Попытки взлома — запросы к wp-login.php, .env, .git, phpMyAdmin, бэкапам и веб-шеллам.
- Ошибки 404 — страницы, которых нет, но которые часто запрашивают.
- Кандидаты на блокировку — готовые строки
denyдля nginx.
Где взять лог сервера
| Где сайт | Где лог |
|---|---|
| Свой сервер с nginx | /var/log/nginx/access.log, старые — access.log.1, access.log.2.gz |
| Свой сервер с Apache | /var/log/apache2/access.log или /var/log/httpd/access_log |
| Виртуальный хостинг | В панели хостинга, раздел «Логи» или «Статистика». Часто их нужно сначала включить |
| Конструктор сайтов | Логи сервера обычно недоступны — смотрите статистику и антибот |
Чтобы быстро взять последние 50 000 строк на сервере, выполните tail -n 50000 /var/log/nginx/access.log > last.log и загрузите получившийся файл.
Как читать результат
Поисковые роботы — нормальная часть трафика. Если их доля большая, а сайт небольшой, проверьте, не называют ли себя поисковиками чужие адреса.
SEO-сервисы и AI-краулеры сами по себе не вредят, но могут создавать заметную нагрузку. Если пользы от них нет, закройте их в robots.txt — правила можно собрать в генераторе блокировки ботов.
Скрипты и запросы без User-Agent почти всегда боты: парсеры, сканеры уязвимостей, проверки. Обычный браузер всегда передаёт User-Agent.
Пик в минуту помогает найти тех, кто нагружает сайт. Человек редко делает больше 20–30 запросов в минуту, даже с учётом картинок и скриптов, если они пишутся в лог.
Чего лог не покажет
Лог видит только то, что бот о себе рассказал: адрес и User-Agent. Современные боты работают в настоящем браузере и пишут в лог обычный Chrome — по логам их не отличить от людей. Их выдают противоречия в браузере и поведение на странице, а это видно только скриптом на сайте. Поэтому лог хорош для поиска грубых ботов и атак, а для накрутки, скликивания и спама нужен антибот.
Частые вопросы
Безопасно ли загружать лог?
Да. Лог разбирается прямо в браузере и никуда не отправляется. Но в логах бывают адреса посетителей и параметры ссылок, поэтому не публикуйте их в открытом доступе.
Какой формат лога нужен?
Стандартный формат combined, который по умолчанию используют nginx и Apache: IP, дата в квадратных скобках, запрос в кавычках, код ответа, размер, Referer и User-Agent. Строки в другом формате инструмент пропустит и сообщит, сколько их было.
Почему поисковый робот получил много ошибок 404?
Он обходит старые ссылки, которые где-то сохранились. Если это важные страницы, настройте 301-редирект на актуальные адреса. Если нет — ошибка 404 нормальна.
Стоит ли блокировать всех из списка кандидатов?
Сначала проверьте: адреса, которые искали .env или wp-login.php на сайте без WordPress, почти наверняка сканеры. Но блокировка по IP помогает ненадолго — боты меняют адреса.
Как отличить настоящего Googlebot от подделки?
Нажмите «проверить» рядом с адресом в разделе «Называют себя поисковиком». Настоящий робот проходит обратный и прямой DNS-запрос: имя хоста принадлежит поисковику и ведёт на тот же IP.
Можно ли загрузить лог за месяц?
Можно загрузить файл до 50 МБ, в том числе сжатый .gz. Для больших логов возьмите последние 50–100 тысяч строк — этого хватает, чтобы увидеть основных ботов.
Почему в логе мало ботов, а в Метрике много?
Боты в настоящих браузерах выглядят в логе как обычные посетители. Метрика и антибот видят их по поведению и признакам браузера, которых в логе нет.