Бесплатный инструмент

Каталог ботов

Нашли в логах или статистике незнакомого бота? Найдите его здесь: чей он, зачем приходит на сайт и стоит ли его пускать. Для тех, кого можно закрыть, есть готовое правило robots.txt.

Без регистрацииРаботает в браузереДанные никуда не отправляются

  • YandexBotПускать
    Яндекс · Поисковые

    Основной робот поиска Яндекса: скачивает страницы для индекса.

  • YandexImagesПускать
    Яндекс · Поисковые

    Индексирует картинки для Яндекс Картинок.

  • YandexMobileBotПускать
    Яндекс · Поисковые

    Определяет страницы с мобильной вёрсткой.

  • YandexRenderResourcesBotПускать
    Яндекс · Поисковые

    Загружает скрипты и стили, чтобы отрисовать страницу.

  • YandexMetrikaПускать
    Яндекс · Служебные

    Робот Метрики: проверяет доступность страниц и сохраняет стили для Вебвизора.

  • YaDirectFetcherПускать
    Яндекс · Служебные

    Загружает посадочные страницы объявлений Директа.

  • YandexDirectПускать
    Яндекс · Служебные

    Изучает содержание сайтов-партнёров РСЯ для подбора рекламы.

  • YandexAccessibilityBotПускать
    Яндекс · Служебные

    Проверяет, открываются ли страницы у пользователей.

  • YandexFaviconsПускать
    Яндекс · Служебные

    Загружает фавикон для выдачи.

  • YandexAdditionalРешать вам
    Яндекс · ИИ

    Не ходит на сайт: имя для robots.txt, которым можно запретить показ текстов сайта в быстрых ответах YandexGPT и Поиске с Алисой.

  • GooglebotПускать
    Google · Поисковые

    Основной робот поиска Google.

  • Googlebot-ImageПускать
    Google · Поисковые

    Индексирует картинки для Google Картинок.

  • Google-InspectionToolПускать
    Google · Служебные

    Проверка URL и расширенных результатов в Search Console.

  • GoogleOtherРешать вам
    Google · Служебные

    Общий робот Google для разовых задач и исследований.

  • AdsBot-GoogleПускать
    Google · Служебные

    Проверяет качество посадочных страниц рекламы Google.

  • Mediapartners-GoogleПускать
    Google · Служебные

    Подбирает рекламу AdSense для страниц сайта.

  • Storebot-GoogleРешать вам
    Google · Поисковые

    Обходит страницы товаров для Google Покупок.

  • Google-ExtendedРешать вам
    Google · ИИ

    Не ходит на сайт: имя для robots.txt, которым можно запретить использовать тексты сайта для обучения и ответов Gemini.

  • bingbotПускать
    Microsoft · Поисковые

    Робот поиска Bing. От Bing зависят и некоторые ИИ-поисковики.

  • ApplebotПускать
    Apple · Поисковые

    Поиск Apple: Siri и Spotlight.

  • Applebot-ExtendedРешать вам
    Apple · ИИ

    Не ходит на сайт: имя для robots.txt, которым можно запретить использовать тексты для обучения моделей Apple.

  • DuckDuckBotПускать
    DuckDuckGo · Поисковые

    Робот поиска DuckDuckGo.

  • Mail.RU_BotПускать
    VK · Поисковые

    Робот поиска Mail.ru.

  • BaiduspiderМожно закрыть
    Baidu · Поисковые

    Китайский поисковик. Русскоязычному сайту обычно не нужен.

  • PetalBotМожно закрыть
    Huawei · Поисковые

    Поиск Petal для устройств Huawei. Бывает агрессивным, трафика в рунете приносит мало.

  • SeznamBotМожно закрыть
    Seznam · Поисковые

    Чешский поисковик. Русскоязычному сайту обычно не нужен.

  • AhrefsBotМожно закрыть
    Ahrefs · SEO-сервисы

    Собирает ссылки и страницы для SEO-сервиса Ahrefs.

  • SemrushBotМожно закрыть
    Semrush · SEO-сервисы

    Собирает данные для SEO-сервиса Semrush.

  • SiteAuditBotРешать вам
    Semrush · SEO-сервисы

    Аудит сайта в Semrush — по запросу владельца проекта.

  • MJ12botМожно закрыть
    Majestic · SEO-сервисы

    Строит базу ссылок для сервиса Majestic.

  • DotBotМожно закрыть
    Moz · SEO-сервисы

    Собирает ссылки для сервисов Moz.

  • rogerbotМожно закрыть
    Moz · SEO-сервисы

    Аудит сайтов в Moz по запросу владельцев проектов.

  • BLEXBotМожно закрыть
    WebMeUp · SEO-сервисы

    Собирает базу ссылок.

  • SerpstatBotМожно закрыть
    Serpstat · SEO-сервисы

    Собирает данные для SEO-сервиса Serpstat.

  • DataForSeoBotМожно закрыть
    DataForSEO · SEO-сервисы

    Собирает данные для SEO-API.

  • BarkrowlerМожно закрыть
    Babbar · SEO-сервисы

    Собирает граф ссылок для SEO-сервиса.

  • MegaIndex.ruМожно закрыть
    MegaIndex · SEO-сервисы

    Собирает ссылки для российского SEO-сервиса.

  • Screaming Frog SEO SpiderРешать вам
    Screaming Frog · SEO-сервисы

    Программа SEO-аудита: её запускают вручную вы, подрядчик или конкурент.

  • GPTBotРешать вам
    OpenAI · ИИ

    Собирает тексты для обучения моделей OpenAI.

  • OAI-SearchBotРешать вам
    OpenAI · ИИ

    Индексирует сайты для поиска в ChatGPT. Может приводить посетителей.

  • ChatGPT-UserРешать вам
    OpenAI · ИИ

    Открывает страницу, когда пользователь ChatGPT сам просит её прочитать.

  • ClaudeBotРешать вам
    Anthropic · ИИ

    Собирает тексты для обучения моделей Claude.

  • Claude-UserРешать вам
    Anthropic · ИИ

    Открывает страницу по запросу пользователя Claude.

  • Claude-SearchBotРешать вам
    Anthropic · ИИ

    Индексирует сайты для поиска в Claude.

  • PerplexityBotРешать вам
    Perplexity · ИИ

    Индексирует сайты для ИИ-поисковика Perplexity.

  • CCBotРешать вам
    Common Crawl · ИИ

    Собирает открытый архив интернета, на котором обучают многие модели.

  • BytespiderМожно закрыть
    ByteDance · ИИ

    Собирает данные для моделей ByteDance. Известен высокой нагрузкой.

  • AmazonbotРешать вам
    Amazon · ИИ

    Собирает данные для сервисов и моделей Amazon.

  • meta-externalagentРешать вам
    Meta · ИИ

    Собирает данные для моделей Meta.

  • cohere-aiРешать вам
    Cohere · ИИ

    Собирает данные для моделей Cohere.

  • DiffbotМожно закрыть
    Diffbot · ИИ

    Извлекает структурированные данные со страниц для своих баз.

  • TelegramBotПускать
    Telegram · Превью ссылок

    Делает превью ссылки, когда её отправляют в Telegram.

  • vkShareПускать
    VK · Превью ссылок

    Делает превью ссылки во ВКонтакте.

  • WhatsAppПускать
    Meta · Превью ссылок

    Делает превью ссылки в WhatsApp.

  • facebookexternalhitПускать
    Meta · Превью ссылок

    Делает превью ссылки в соцсетях Meta.

  • TwitterbotПускать
    X · Превью ссылок

    Делает превью ссылки в X.

  • SlackbotПускать
    Slack · Превью ссылок

    Делает превью ссылки в Slack.

  • DiscordbotПускать
    Discord · Превью ссылок

    Делает превью ссылки в Discord.

  • LinkedInBotПускать
    LinkedIn · Превью ссылок

    Делает превью ссылки в LinkedIn.

  • UptimeRobotПускать
    UptimeRobot · Служебные

    Мониторинг доступности — если вы его подключили.

  • Pingdom.com_botПускать
    SolarWinds · Служебные

    Мониторинг доступности и скорости — если вы его подключили.

  • archive.org_botРешать вам
    Internet Archive · Служебные

    Сохраняет копии страниц в веб-архив.

  • curlОграничивать
    — · Скрипты и сканеры

    Программа для запросов из командной строки. Так ходят скрипты, проверки и парсеры.

    robots.txt не читает — ограничивайте на сервере
  • WgetОграничивать
    — · Скрипты и сканеры

    Программа для скачивания файлов и целых сайтов.

    robots.txt не читает — ограничивайте на сервере
  • python-requestsОграничивать
    — · Скрипты и сканеры

    Библиотека Python — типичный парсер.

    robots.txt не читает — ограничивайте на сервере
  • Go-http-clientОграничивать
    — · Скрипты и сканеры

    Стандартный клиент языка Go — сканеры и парсеры.

    robots.txt не читает — ограничивайте на сервере
  • ScrapyОграничивать
    — · Скрипты и сканеры

    Фреймворк для парсинга сайтов.

    robots.txt не читает — ограничивайте на сервере
  • HeadlessChromeОграничивать
    — · Скрипты и сканеры

    Chrome без окна под управлением программы: тесты, парсинг, накрутка.

    robots.txt не читает — ограничивайте на сервере
  • zgrabОграничивать
    — · Скрипты и сканеры

    Сканер интернета: ищет открытые сервисы и уязвимости.

    robots.txt не читает — ограничивайте на сервере
  • NucleiОграничивать
    — · Скрипты и сканеры

    Сканер уязвимостей.

    robots.txt не читает — ограничивайте на сервере
  • sqlmapОграничивать
    — · Скрипты и сканеры

    Программа для поиска SQL-инъекций.

    robots.txt не читает — ограничивайте на сервере
  • WPScanОграничивать
    — · Скрипты и сканеры

    Сканер уязвимостей WordPress.

    robots.txt не читает — ограничивайте на сервере
  • NiktoОграничивать
    — · Скрипты и сканеры

    Сканер уязвимостей веб-серверов.

    robots.txt не читает — ограничивайте на сервере
Содержание
  1. Как пользоваться каталогом
  2. Имя бота можно подделать
  3. Как закрыть сразу многих
  4. Кого нет в каталоге
  5. Частые вопросы

Как пользоваться каталогом

  • Пускать — бот нужен сайту: поиск, реклама, превью ссылок. Закрыв его, вы потеряете трафик или функции.
  • Решать вам — бот честный, но польза зависит от ваших целей. Например, ИИ-краулеры: одни сайты хотят попадать в ответы нейросетей, другие — нет.
  • Можно закрыть — бот работает на чужой сервис и почти не приносит пользы сайту, зато создаёт нагрузку.
  • Ограничивать — скрипты и сканеры, которые не читают robots.txt. Их ограничивают лимитами на сервере и проверкой браузера.

Имя бота можно подделать

Любая программа может назвать себя YandexBot или Googlebot. Поисковых роботов проверяют по адресу: обратным и прямым DNS-запросом. Сделать это можно в проверке поискового робота. Если «Googlebot» пришёл не из сети Google — это бот, который маскируется, и его можно ограничивать.

Как закрыть сразу многих

Если хотите закрыть всех SEO- или ИИ-ботов разом, соберите правила в генераторе блокировки ботов — он сделает robots.txt и правила для nginx. А проверить, что получилось, можно в проверке robots.txt.

Кого нет в каталоге

В каталоге — боты, которые представляются своим именем. Вредные боты так не делают: они пишут в User-Agent строку обычного Chrome или Safari. В логах они выглядят как люди, и найти их можно только по противоречиям в браузере и поведению — это задача антибота.

Частые вопросы

Что за бот PetalBot?

Робот поисковой системы Petal от Huawei, которая работает на устройствах компании. В рунете он приносит мало трафика, а обходит сайты активно, поэтому его часто закрывают в robots.txt.

Что такое GPTBot и нужно ли его блокировать?

Робот OpenAI, который собирает тексты для обучения моделей. Блокировать или нет — решение владельца сайта: если не хотите, чтобы тексты использовались для обучения, закройте его в robots.txt.

Что такое CCBot?

Робот некоммерческого проекта Common Crawl, который собирает открытый архив интернета. На этом архиве обучают многие языковые модели.

Что за бот Bytespider?

Робот компании ByteDance, собирает данные для её сервисов и моделей. Известен большой нагрузкой на сайты, поэтому его часто закрывают.

Нужно ли пускать AhrefsBot и SemrushBot?

Только если вы сами пользуетесь этими сервисами для своего сайта. Иначе они собирают данные для чужих отчётов и создают нагрузку — их можно закрыть.

Почему бот не слушается robots.txt?

Честные боты его соблюдают, но правила применяются не мгновенно. Если бот игнорирует robots.txt долго или представляется чужим именем, ограничивайте его на сервере.

Как найти ботов в своих логах?

Загрузите кусок access.log в анализатор логов — он разделит запросы на поисковиков, SEO- и ИИ-ботов, скрипты и браузеры.

Полезно по теме

Проверка на бота: как сайты видят ваш браузерБесплатная проверка на бота: узнайте, похож ли ваш браузер на бота и почему сайты показывают вам проверки. Признаки автоматизации, безголового…Без регистрацииОткрытьЧто такое бот в интернете простыми словамиБот — это программа, которая действует в интернете вместо человека. Объясняем простыми словами, какие бывают боты: чат-боты, поисковые роботы,…3 мин чтенияЧитатьБот-трафик: что это и как его отсечьЧто такое бот-трафик, сколько его в интернете и на обычных сайтах, какой бот-трафик полезен, а какой вредит статистике, рекламе и SEO, как его…3 мин чтенияЧитать