Безголовые браузеры: как боты притворяются людьми
Современный бот — это не скрипт с запросами, а настоящий браузер под управлением программы. Рассказываем, как работают такие боты, как они маскируются и по каким признакам их всё равно можно отличить.
Содержание
Коротко
- Современные боты — настоящие браузеры под управлением программ.
- Каждый признак отдельно можно подделать, но противоречия между ними выдают бота.
- Надёжная защита смотрит на браузер, сеть и поведение одновременно.
Что такое безголовый браузер
Безголовый (headless) браузер — обычный браузер, например Chrome, запущенный без окна. Им управляет программа: открывает страницы, кликает, заполняет формы. Изначально это инструмент для автоматического тестирования сайтов, но его активно используют боты.
Чем управляют ботами
- Selenium — старейший инструмент автоматизации браузеров.
- Puppeteer — библиотека для управления Chrome.
- Playwright — управляет Chrome, Firefox и Safari.
- Антидетект-браузеры — специальные сборки, которые подменяют отпечаток браузера и выдают каждого бота за отдельного «человека».
Как они выдают себя
- Флаги автоматизации — например, navigator.webdriver = true. Продвинутые боты его скрывают.
- Несоответствия — браузер называет себя Chrome на Windows, а возможности у него как у Linux-сервера; программная видеокарта вместо настоящей.
- Сеть — адреса дата-центров и прокси, частая смена IP при одинаковом отпечатке.
- Поведение — слишком ровные движения мыши или их отсутствие, мгновенное заполнение форм, одинаковые сценарии визитов.
Посмотреть часть этих проверок на своём браузере можно в тесте на бота.
Тест на ботаПроверьте свой браузер теми же признаками, по которым отличают безголовые браузеры.ОткрытьПочему одной проверки мало
Каждый признак по отдельности можно подделать: убрать флаг, подставить видеокарту, купить мобильный прокси, записать движения мыши человека. Поэтому надёжная защита смотрит на всё сразу и ищет противоречия между признаками, а не проверяет один флажок.
Частые вопросы
Что значит headless браузер?
Это браузер без графического окна, которым управляет программа. Он загружает страницы и выполняет JavaScript, как обычный браузер.
Можно ли определить Puppeteer или Playwright?
Простые настройки — да, по флагам автоматизации и несоответствиям в браузере. Хорошо замаскированных ботов видно только по совокупности признаков браузера, сети и поведения.
Что такое антидетект-браузер?
Браузер, который подменяет отпечаток — видеокарту, шрифты, экран, часовой пояс — чтобы каждый профиль выглядел как отдельный человек. Их используют для мультиаккаунтов и ботов.
Чем Playwright отличается от Puppeteer?
Puppeteer управляет в основном Chrome, Playwright — Chrome, Firefox и Safari. Для сайта оба выглядят как автоматизированный браузер, если их не маскировать.
Зачем ботам настоящий браузер?
Чтобы выполнять JavaScript, проходить простые проверки и выглядеть как человек для счётчиков и рекламных систем.
Можно ли запретить безголовые браузеры совсем?
Простые — да, по признакам автоматизации. Замаскированные ловятся только по совокупности признаков и поведению.
Используют ли безголовые браузеры честные сервисы?
Да: поисковики для рендеринга страниц, сервисы мониторинга и тестирования. Поэтому важно не блокировать проверенных поисковых роботов.