VPN и прокси: как сайт их видит
Боты почти никогда не ходят со своих адресов. Раньше это были серверы и VPN, которые легко распознать, теперь — резидентные и мобильные прокси, то есть адреса обычных людей. Разбираем, какие бывают прокси, как сайт их видит и что с этим делать.
Содержание
Коротко
- VPN и прокси дата-центров легко распознать по владельцу адреса.
- Резидентные и мобильные прокси выглядят как обычные домашние пользователи.
- Блокировка по IP бьёт по людям и почти не мешает ботам.
- Надёжнее оценивать посетителя по сочетанию признаков и проверять подозрительных.
Какие бывают VPN и прокси
| Тип | Откуда адрес | Как видит сайт |
|---|---|---|
| VPN | Сервер в дата-центре | Адрес принадлежит хостингу. С него ходит много людей сразу |
| Прокси дата-центров | Аренда серверов, облака | Тоже хостинг, часто целыми подсетями |
| Резидентные прокси | Домашние устройства, на которых стоит программа-посредник | Обычный домашний провайдер. По адресу не отличить от человека |
| Мобильные прокси | Сим-карты в модемах | Мобильный оператор. С одного адреса выходят тысячи настоящих абонентов |
| Tor | Добровольные узлы сети | Список выходных узлов открыт, их легко распознать |
Как сайт распознаёт VPN и прокси
- По владельцу адреса — автономная система принадлежит хостингу или облаку, а не провайдеру.
- По спискам — известные VPN-сервисы, выходные узлы Tor, облака.
- По противоречиям — часовой пояс браузера не совпадает со страной адреса, язык системы — с регионом.
- По поведению адреса — с одной подсети за час приходят десятки «новых» устройств.
Почему боты перешли на резидентные прокси
Адреса дата-центров блокировать просто, поэтому для накрутки и скликивания используют резидентные и мобильные прокси. Это адреса обычных людей: программа-посредник стоит на их компьютерах, роутерах или телефонах — иногда с их согласия, иногда в составе бесплатных приложений. Для сайта такой бот приходит из того же домашнего интернета, что и ваши клиенты.
Через один адрес мобильного оператора в интернет выходят тысячи абонентов. Если бот пришёл с такого адреса и вы его заблокировали, вместе с ним сайт перестанет открываться у множества обычных людей в этом районе.
Почему блокировка по IP не работает
- Адреса меняются. Резидентный прокси может выдавать новый адрес на каждый запрос.
- Адреса общие. Мобильные операторы выпускают тысячи абонентов через один адрес — заблокировав его, вы закроете сайт для людей.
- VPN пользуются люди. В России многие сидят через VPN постоянно, а среди них есть и ваши клиенты.
- Списки устаревают. Сегодня адрес чистый, завтра на нём бот, послезавтра снова человек.
Что делать вместо этого
IP — лишь один признак из многих. Надёжнее оценивать посетителя целиком: адрес, браузер, согласованность настроек, поведение на странице. VPN сам по себе не делает посетителя ботом — в nbots это добавляет небольшой вес, а решение принимается по сочетанию признаков. Подозрительных посетителей лучше не блокировать, а просить пройти короткую проверку: человек нажмёт кнопку, а программа застрянет.
Частые вопросы
Видит ли сайт, что я через VPN?
Часто — да: адрес VPN принадлежит хостингу, и с него ходит много людей. Кроме того, может не совпадать часовой пояс браузера со страной адреса. Проверить, как выглядит ваш адрес, можно в инструменте «Мой IP».
Что такое резидентный прокси?
Прокси, который выходит в интернет через устройство обычного пользователя у домашнего провайдера. Для сайта такой посетитель выглядит как обычный домашний пользователь, поэтому такие прокси популярны у ботов.
Стоит ли запрещать доступ с VPN?
Обычно нет: VPN пользуется много обычных людей. Лучше учитывать VPN как один из признаков и показывать подозрительным посетителям короткую проверку, а не закрывать сайт.
Чем прокси отличается от VPN?
VPN шифрует и пропускает через сервер весь трафик устройства. Прокси обычно работает для отдельной программы или браузера. Для сайта оба выглядят как запрос с чужого адреса.
Откуда берутся резидентные прокси?
Из программ-посредников на домашних устройствах: иногда люди ставят их за вознаграждение, иногда они встроены в бесплатные приложения и расширения.
Можно ли отличить мобильного бота от человека по IP?
Нет. Мобильный адрес общий у тысяч абонентов. Отличить можно только по браузеру и поведению на странице.
Что такое утечка WebRTC?
Ситуация, когда браузер через технологию WebRTC раскрывает настоящий адрес в обход VPN. Современные браузеры и VPN-клиенты обычно её закрывают.