Привет, друзья! Павел Гречко на связи, и в этой статье я расскажу вам про прямые заходы в Яндекс.Метрике и как бороться с ботами, которые маскируются под реальный трафик.

Содержание

В феврале 2024 года мы запустили обновлённый сайт после шести месяцев работы. Первые недели после редизайна — критически важны: любая ошибка в настройках, DNS или скриптах может ударить по позициям и конверсии. Но вместо роста трафика мы увидели странное: резкий скачок «прямых заходов» в Яндекс.Метрике — ещё до официального запуска!

Оказалось, сайт атаковали боты. И не просто сканировали — они маскировались под пользователей, искажая аналитику и мешая оценить реальную эффективность. В этой статье я расскажу, как мы их выявили, проанализировали и заблокировали — без вреда для поисковых роботов и живых пользователей.

Что такое «прямые заходы» и когда они подозрительны?

В Яндекс.Метрике «прямой заход» — это визит без реферера: пользователь ввёл URL вручную, перешёл из закладок или из мессенджера. Это нормально.

Но тревожные сигналы:

  • Резкий рост доли прямых заходов (например, с 20% до 60% за неделю).
  • Аномальная активность на одной странице из десятков тысяч.
  • Сессии по 2–3 секунды, глубина просмотра = 1, нет кликов.

В нашем случае всё это совпало — и мы поняли: это не люди.

Как боты попадают в «прямые заходы»?

Боты не передают HTTP-заголовок Referer, поэтому Метрика считает их «прямыми». Некоторые даже подделывают UTM-метки или имитируют переходы из Яндекс.Директа — чтобы выглядеть как рекламный трафик.

Цели таких ботов:

  • Парсинг цен и контента.
  • Поиск уязвимостей.
  • Накрутка трафика.
  • Сбор email или телефонов.

Как отличить бота от человека?

Через Яндекс.Метрику

  • Сессия < 5 секунд.
  • Нет скролла, кликов, отправки форм.
  • Высокая частота заходов с одного IP.

Через серверные логи (access.log)

Пример записи:

5.255.231.43 - - [20/Mar/2024:06:39:09 +0000] "GET /products/skandi-0-75/ HTTP/1.1" 200 105373 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

Здесь:

  • 5.255.231.43 — IP,
  • YandexBot/3.0 — User-Agent.

Важно: это полезный бот! Его нельзя блокировать.

Подозрительные признаки:

  • IP из Китая, Индии при русскоязычном сайте.
  • User-Agent вроде Python-urllib/2.6, Bytespider, MJ12bot.
  • 100+ запросов в минуту с одного IP.

Как бороться с ботами: 3 рабочих метода

1. Блокировка по ASN (Autonomous System Number)

ASN — это номер сети провайдера. Например, весь дата-центр в Китае может иметь один ASN.

Как найти ASN:

  1. Перейдите на 2ip.ru.
  2. Введите подозрительный IP.
  3. Найдите строку «ASN».

Мы собрали список вредоносных ASN и добавили их в файрволл (у нас сайт на Bitrix).
⚠️ Осторожно: можно заблокировать реальных пользователей. Используйте только при массовых атаках.

2. Правила в robots.txt

Добавьте запреты для известных ботов:

User-agent: Bytespider
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: MegaIndex
Crawl-delay: 5

Это не остановит всех, но отсеет большинство «парсеров».

3. Неожиданное решение: отключить рекламу

Один из ботов атаковал только одну страницу и имитировал клики из Яндекс.Директ.
Мы отключили рекламу для этой страницы — и боты исчезли через сутки.

Вывод: боты часто цепляются за рекламные кампании. Проверяйте UTM и источники при аномалиях.

Что НЕ делать

  • ❌ Блокировать IP без проверки — можно отключить Googlebot или YandexBot.
  • ❌ Игнорировать проблему — боты искажают аналитику и тратят ресурсы сервера.
  • ❌ Полагаться только на один метод — комбинируйте логи, robots.txt и фильтры в Метрике.

Как проверить, что боты ушли?

  • В Метрике: доля прямых заходов вернулась к норме (20–30%).
  • Глубина просмотра выросла, время на сайте увеличилось.
  • В логах нет подозрительных IP и User-Agent.

Чек-лист: борьба с ботами после запуска сайта

  • [ ] Проанализировать access.log за первую неделю
  • [ ] Сравнить поведение «прямых заходов» с историей
  • [ ] Проверить геолокацию и User-Agent подозрительных IP
  • [ ] Добавить правила в robots.txt
  • [ ] При необходимости — заблокировать ASN (осторожно!)
  • [ ] Настроить фильтры в Метрике
  • [ ] Проверить, не имитируют ли боты рекламный трафик

Заключение

Боты — часть интернета. Но вредоносные боты — это угроза для вашей аналитики, безопасности и SEO. Игнорируя их, вы принимаете решения на основе испорченных данных.

Правильный подход:
✅ выявлять через логи и Метрику,
✅ блокировать точечно,
✅ не трогать полезных роботов,
✅ регулярно мониторить.

Главное: даже лучшая защита не заменит качественный контент. Боты приходят и уходят. А реальные пользователи остаются — если им есть ради чего.

P.S. Сталкивались с похожей проблемой? Делитесь своим опытом в комментариях — вместе найдём решение!

Автор статьи
Павел Гречко
Павел Гречко

Эксперт по привлечению клиентов
Сайты, SEO, Маркетинг

По вопросам сотрудничества
Мои контакты

Оцените эту статью