Разработали ClickShield — сервис анализа рекламного трафика, выявления ботов и продуктовой аналитики. Он объединяет оценку качества визитов, отчёты по источникам и кампаниям, анализ действий посетителей и просмотр записей сессий в одной панели.
Система помогает разобраться, кто приходит на сайт, как посетители взаимодействуют со страницами и какие рекламные источники приводят подозрительный трафик. Каждый результат проверки сопровождается оценкой риска и объяснением причин.
Задача
Создать самостоятельный инструмент для контроля качества трафика и анализа поведения пользователей, который можно развернуть на собственной инфраструктуре и подключить к нескольким сайтам.
- Различать обычные визиты, подозрительную активность, автоматизированные посещения и известных краулеров.
- Показывать причины оценки, чтобы специалист мог проверить решение системы.
- Связывать качество трафика с рекламными источниками, кампаниями и результатами заявок.
- Анализировать события, цели, воронки и маршруты пользователей.
- Предоставить запись сессий с маскированием полей и настройками хранения.
- Поддержать интеграции с рекламной аналитикой и доступ к отчётам через API.
Проблема
Количество посещений само по себе не показывает качество рекламного трафика. Страницы могут открывать реальные покупатели, поисковые роботы, сервисы мониторинга и автоматизированные скрипты. При этом подозрительный визит не всегда означает бота: посетитель может использовать VPN, открыть страницу на телефоне или оставить вкладку в фоне.
Для проверки нужны несколько связанных представлений: источник визита, поведение на страницах, признаки автоматизации и результат заявки. Мы объединили их в одном сервисе, чтобы можно было перейти от общей статистики кампании к конкретной сессии и понять, из чего складывается оценка.
Решение
Создали браузерный трекер, сервер обработки событий и защищённую панель. Для каждого сайта заводится отдельный проект с публичным ключом, списком разрешённых адресов и собственными настройками оценки риска.
Трекер передаёт события посещения, сервер рассчитывает поведенческие признаки и классифицирует сессию. В панели доступны четыре класса: человек, подозрительный визит, бот и известный краулер. Специалист может открыть карточку, изучить причины оценки, просмотреть поведение и добавить ручную метку.
Что реализовали
Оценку риска с объяснением причин
Система анализирует признаки автоматизации, частоту посещений, последовательность кликов, движения мыши, прокрутку и активное время. Дополнительно учитываются сети хостингов и повторные рекламные визиты. Пороговые значения и веса правил настраиваются для каждого проекта.
Мобильные устройства оцениваются с учётом касаний и прокрутки. Один слабый признак не переводит визит в категорию ботов. Для части известных краулеров проверяется соответствие IP-адреса опубликованным диапазонам оператора; поддельное представление поисковым роботом выделяется отдельной причиной.
Отчёты по трафику и рекламным кампаниям
В панели собраны источники, каналы, кампании, UTM-метки, страницы входа, устройства, браузеры и география при наличии настроенного источника геоданных. Доступны фильтры, сравнение периодов, временные графики и экспорт в CSV.
Из отчёта можно перейти к визитам выбранной кампании и проверить их классификацию. На графике можно одновременно сравнивать до 20 выбранных строк отчёта.
Бизнес-события, цели и воронки
Добавили отправку бизнес-событий через JavaScript и HTML-атрибуты: например, нажатия на кнопку звонка, регистрации или выбора тарифа. Отчёты показывают срабатывания, визиты, посетителей и параметры событий.
Цели и воронки связывают открытия страниц и события в последовательности шагов. Дополнительно реализованы маршруты пользователей, карты кликов и прокрутки, а также отчёты по удержанию.
Запись и воспроизведение сессий
Интегрировали запись действий на странице на основе rrweb. В карточке визита можно воспроизвести сессию, поставить её на паузу, перемотать, изменить скорость и переключаться между посещёнными страницами.
Запись включается отдельно для проекта и по умолчанию выключена. Поля маскируются, приватные блоки можно исключить, а доля записываемых визитов и срок хранения настраиваются. Фрагменты хранятся в S3-совместимом хранилище и удаляются фоновым процессом по правилам хранения.
Интеграции с рекламной аналитикой
Реализовали отправку событий antifraud_bot и antifraud_human в Яндекс Метрику, Google Analytics 4 и VK Рекламу. Доставка проходит через очередь с повторными попытками при временных ошибках. Для VK используются рекламный идентификатор клика и события пикселя.
Интеграции дают данные для настройки аудиторий и проверки качества рекламы. Исключения аудиторий настраиваются в рекламных кабинетах отдельно. Чтение отчётов Метрики доступно после настройки OAuth-доступа.
Контроль качества заявок
Сервер сайта может передать идентификатор и статус заявки, связав её с сессией без отправки имени и телефона в ClickShield. В панели заявку можно отметить как качественную, спам или не состоявшуюся.
Такая разметка помогает оценивать ошибки автоматических правил по устройствам и источникам трафика. Ручная классификация сохраняется отдельно от исходной автоматической оценки.
Режимы работы
Новый проект начинает с мониторинга: сервис собирает данные и оценивает визиты. После проверки правил можно включить отправку результатов в подключённые системы аналитики или режим, возвращающий решение о блокировке подтверждённых ботов.
Применение решения к форме или другому действию выполняется на стороне сайта. Для критичных операций нужна серверная проверка. ClickShield не управляет ставками и блокировками в Яндекс Директе или Google Ads автоматически.
Инструменты и доступ к аналитике
Добавили короткие ссылки, пиксели и отметки на временном графике. Они помогают отслеживать переходы и фиксировать запуск кампаний или изменения страницы. Статистика пикселей учитывает запросы, включая обращения сканеров, поэтому не подменяет число уникальных пользователей.
Для внешних систем предусмотрены приватные ключи чтения с ограничением по проекту и сроку действия, JavaScript/TypeScript SDK и опциональный MCP endpoint. Через MCP ИИ-инструменты могут читать агрегированные отчёты в пределах прав ключа.
Техническая основа
- Go — HTTP API, обработка событий и фоновые задачи.
- PostgreSQL — сессии, оценки риска, очередь доставки и аналитические проекции.
- JavaScript — браузерный трекер и интерфейс панели.
- rrweb — запись и воспроизведение действий посетителей.
- MinIO / S3 — хранение фрагментов записей.
- Docker Compose — развёртывание компонентов.
- JavaScript/TypeScript SDK и MCP — программный доступ к аналитике.
Приём событий и фоновые вычисления разделены на отдельные процессы. Отчёты читают аналитические проекции, которые обновляются через очередь в PostgreSQL. Повторная доставка событий обрабатывается без повторного добавления тех же данных.
Автоматическая оценка сохраняет версию алгоритма и снимки использованных настроек и признаков. Это позволяет воспроизвести конкретное решение и сравнить его с результатом пересчёта по новым правилам.
Безопасность и хранение данных
Доступ к панели защищён авторизацией, а проекты ограничивают допустимые адреса сайтов. Секреты интеграций хранятся на сервере в зашифрованном виде. Приватные ключи аналитики дают доступ только к выбранному проекту и могут быть отозваны.
Для событий, аналитики и записей предусмотрены сроки хранения. Резервное копирование охватывает базу данных и хранилище записей. Настройки приватности позволяют исключить чувствительные части страниц из воспроизведения; состав явно отправляемых бизнес-событий контролируется при подключении сайта.
Результат
ClickShield развёрнут на собственной инфраструктуре и подключён к сайту AI Рассвет. В одном рабочем пространстве доступны контроль рекламного трафика, объяснимые оценки риска, отчёты о поведении и просмотр записей сессий.
Маркетолог может оценивать источники по качеству визитов. Аналитик — изучать цели, воронки и маршруты. Разработчик — подключать события и получать агрегированные данные через API. Подозрительную активность можно проверить по конкретной сессии и сопоставить с результатом заявки.
Что получили
- Собственный сервис антифрода и продуктовой аналитики.
- Отдельные проекты для нескольких сайтов.
- Настраиваемую оценку риска с объяснением причин.
- Каталог ботов и проверку IP-диапазонов поддерживаемых краулеров.
- Отчёты по источникам, кампаниям и аудитории.
- События, цели, воронки, карты и удержание.
- Записи сессий с настройками приватности и хранения.
- Связь с качеством заявок и ручную разметку.
- Интеграции с Метрикой, GA4 и VK Рекламой.
- API, SDK и MCP для работы с агрегированной аналитикой.