Разбор User-Agent
Вставьте одну или несколько строк User-Agent — расшифруем браузер, систему и устройство, узнаем поисковых роботов, SEO- и AI-краулеров и скрипты, подсветим признаки подделки. Ваш собственный User-Agent уже подставлен.
Как читать результат
- Браузер и версия — из названия в конце строки. Chrome, Яндекс Браузер, Edge и Opera работают на одном движке и различаются по дополнительному слову: YaBrowser, Edg, OPR.
- Система — из скобок в начале. Windows 10 и 11 пишут одинаково: Windows NT 10.0.
- Устройство — по словам Mobile, iPhone, iPad, Android.
- Робот — если в строке есть имя известного бота. Для поисковых роботов мы подскажем, как проверить, что это не подделка.
Какие боты встречаются в логах
| Категория | Примеры | Что с ними делать |
|---|---|---|
| Поисковые роботы | YandexBot, Googlebot, Bingbot | Пускать. Проверять по DNS тех, кто ведёт себя странно |
| SEO-сервисы | AhrefsBot, SemrushBot, MJ12bot | Можно закрыть в robots.txt, если не пользуетесь этими сервисами |
| AI-краулеры | GPTBot, ClaudeBot, CCBot | Решать самим: закрыть в robots.txt или оставить |
| Превью ссылок | TelegramBot, vkShare, WhatsApp | Пускать — иначе ссылки в мессенджерах будут без картинки |
| Скрипты | curl, python-requests, Go-http-client | Обычно парсеры и сканеры. Ограничивать |
Признаки подделки
Инструмент отмечает противоречия, которых не бывает у настоящих браузеров: свежий Chrome на Windows 7 (его поддержку прекратили на версии 109), одновременно iOS и Windows в одной строке, очень старые версии браузеров. Но маскирующийся бот пишет строку обычного браузера без ошибок, поэтому отсутствие замечаний — ещё не доказательство, что это человек. Подробнее — в статье о User-Agent.
Частые вопросы
Где взять User-Agent из логов?
В логе nginx или Apache в формате combined это последняя строка в кавычках. Удобнее загрузить лог в анализатор логов — он сам сгруппирует запросы по User-Agent.
Почему мой Яндекс Браузер показывает слово Chrome?
Яндекс Браузер построен на Chromium и пишет Chrome в строке ради совместимости с сайтами. Отличает его слово YaBrowser.
Почему не видно модели телефона?
Chrome на Android больше не передаёт модель в User-Agent: вместо неё пишет «K». Модель доступна только через Client Hints, если сайт её запросил.
Что за бот HeadlessChrome?
Это Chrome без окна, которым управляет программа. Им пользуются для тестов и мониторинга, но и для парсинга и накрутки. Маскирующиеся боты убирают слово Headless из строки.
Нужно ли блокировать AI-краулеров?
Решать вам. Если не хотите, чтобы тексты сайта использовались для обучения моделей, закройте их в robots.txt. Честные краулеры это правило соблюдают.
Можно ли по User-Agent отличить бота от человека?
Только честного бота, который представился. Маскирующиеся боты пишут строку обычного браузера, их выдают противоречия в браузере и поведение на странице.
Отправляется ли строка на сервер?
Нет, разбор работает в браузере.