Как сгруппировать отзывы по темам с BERTopic

BERTopic отзывы
группировка отзывов по темам
BERTopic русский язык
Как сгруппировать отзывы по темам с BERTopic

Чтобы сгруппировать отзывы по темам с BERTopic, подготовьте CSV с постоянными идентификаторами, получите смысловые представления текстов, выполните кластеризацию и проверьте содержание найденных групп. Затем сохраните таблицу «отзыв — тема» и дайте группам понятные названия. Отзывы с меткой -1 разбирайте отдельно: это не готовая тема «негатив» и не основание удалять записи.

Инструкция предназначена аналитику и руководителю продукта, которым нужно понять, о чём пишут покупатели: о доставке, комплектации, упаковке или других повторяющихся обстоятельствах. Для выполнения кода потребуется сотрудник, знакомый с Python. Подготовка ответов покупателям описана отдельно — в материале об автоматизации ответов на отзывы.

Порядок основан на официальной документации, сверенной 9 ноября 2026 года. Установка BERTopic и обработка корпуса в рамках подготовки статьи не выполнялись. Команды, настройки и вымышленные строки ниже — предлагаемый пример для адаптации; они не доказывают качество группировки на ваших данных. Ответственный издатель — AI студия Владимира Ломтева.

Содержание

Шаг 1. Определите, какую картину должны дать темы

BERTopic — библиотека тематического моделирования. В стандартном подходе она использует эмбеддинги, то есть числовые представления смысла текстов, объединяет близкие документы и описывает темы характерными словами через c-TF-IDF. Эти слова помогают интерпретировать группу, но сами по себе не являются её деловым названием. Механизм описан в официальном обзоре BERTopic.

Начните с вопроса команды: например, «Какие обстоятельства доставки упоминают покупатели этого магазина за выбранный месяц?» Запишите период, источники и товары, входящие в анализ. Смешивание отзывов о разных продуктах может дать группы по названиям товаров, хотя руководителю нужны причины недовольства.

Разделяйте тему и тональность. «Курьер приехал вовремя» и «Курьер опоздал» относятся к доставке, но оценивают её противоположно. BERTopic не следует считать готовым измерителем удовлетворённости. Если нужна раздельная статистика положительных и отрицательных отзывов, добавьте отдельную разметку тональности и проверьте её независимо.

Задача команды Подход
Обнаружить неизвестные повторяющиеся сюжеты Начать с тематической группировки и чтения примеров
Разнести отзывы по уже утверждённым причинам Готовить разметку и классификатор с заданными категориями
Найти срочные жалобы о безопасности Использовать отдельный маршрут проверки; размер темы не определяет срочность

Результат шага — один вопрос анализа и границы выборки. Если категории заранее известны, полезнее начать с подготовки человеческой разметки, чем заставлять обнаруженные кластеры совпадать с готовым справочником.

Шаг 2. Подготовьте CSV и сохраните смысл текста

Предлагаемая минимальная схема файла reviews.csv — review_id,text. Дополнительные поля, например дата, площадка, товар и оценка, сохраняйте в исходной выгрузке. Идентификатор нужен для обратного соединения результатов: порядок строк может измениться при очистке или экспорте.

review_id,text
r001,Курьер перенёс доставку на следующий день
r002,В коробке не оказалось крепления
r003,Упаковка целая и заказ привезли вовремя

Это иллюстрация формата, а не достаточный корпус для настройки модели. Подберите реальную согласованную выборку, в которой могут повторяться интересующие сюжеты. Универсального числа отзывов, гарантирующего полезные темы, здесь нет.

Уберите техническую разметку, пустые записи, подписи площадки и повторяющиеся служебные фразы. Сохраните отрицания, названия деталей и обстоятельства: «не положили крепление» и «положили другое крепление» ведут к разным действиям. Не удаляйте одинаковые тексты автоматически. Повторная загрузка одной записи — технический дубль; одинаковые слова разных покупателей могут отражать частоту жалобы. Правило работы с такими случаями зафиксируйте до подсчётов.

Работайте с разрешёнными данными и заранее уберите ненужные телефоны, адреса и другие персональные сведения. Для длинных отзывов проверьте ограничение входа выбранной модели: обрезанный конец может содержать основную претензию. У используемой ниже модели в карточке Sentence Transformers указан max_seq_length=128; это лимит последовательности токенов, а не 128 слов.

Результат шага — копия CSV с непустыми текстами, уникальными ID и понятным правилом отбора. Если разделяете длинный отзыв на фрагменты, храните также ID исходного отзыва: число фрагментов нельзя выдавать за число покупателей.

Шаг 3. Подготовьте окружение и явные настройки

Создайте отдельное окружение и установите зависимости. Следующие команды предложены для обычной оболочки Linux/macOS; установка и совместимость пакетов в вашей среде требуют проверки.

python3 -m venv .venv
. .venv/bin/activate
python -m pip install bertopic pandas sentence-transformers umap-learn hdbscan
python -m pip freeze > requirements-resolved.txt

Базовая установка описана в репозитории BERTopic. Сохранённый список версий нужен, чтобы понимать, в каком окружении получены файлы. Для повторяемого рабочего процесса дополнительно зафиксируйте ревизию модели и исходный набор данных.

В примере эмбеддинг-модель задана явно: paraphrase-multilingual-MiniLM-L12-v2. Это доступный многоязычный вариант для стартового исследования, а не доказанно лучший выбор для русских отзывов. В FAQ BERTopic выбор модели связывается с языком, данными и задачей. Не переносите удачный результат с чужого корпуса без проверки.

Настройки UMAP и HDBSCAN тоже указаны явно, чтобы не зависеть от скрытых значений по умолчанию. UMAP уменьшает размерность представлений, HDBSCAN выделяет плотные группы. Числа в коде — стартовые учебные настройки, а не найденный оптимум. Их смысл и влияние описаны в руководстве по параметрам.

Шаг 4. Получите две связанные таблицы

Сохраните код в group_reviews.py рядом с CSV. Скрипт оставляет технически нераспределённые записи в выгрузке и не генерирует ответы покупателям. Ниже нет готовых результатов или обещания определённого количества тем.

import pandas as pd
from bertopic import BERTopic
from sentence_transformers import SentenceTransformer
from sklearn.feature_extraction.text import CountVectorizer
from umap import UMAP
from hdbscan import HDBSCAN

frame = pd.read_csv("reviews.csv", dtype=str, keep_default_na=False)
if not {"review_id", "text"}.issubset(frame.columns):
    raise ValueError("Нужны столбцы review_id и text")
frame["review_id"] = frame["review_id"].str.strip()
frame["text"] = frame["text"].str.strip()
if (frame["review_id"] == "").any() or frame["review_id"].duplicated().any():
    raise ValueError("review_id должен быть непустым и уникальным")
if (frame["text"] == "").any():
    raise ValueError("Сначала разберите пустые тексты")

docs = frame["text"].tolist()
encoder = SentenceTransformer(
    "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
)
umap_model = UMAP(
    n_neighbors=15, n_components=5, min_dist=0.0,
    metric="cosine", random_state=42
)
cluster_model = HDBSCAN(
    min_cluster_size=10, min_samples=5,
    metric="euclidean", prediction_data=True
)
vectorizer = CountVectorizer(ngram_range=(1, 2))
model = BERTopic(
    embedding_model=encoder,
    umap_model=umap_model,
    hdbscan_model=cluster_model,
    vectorizer_model=vectorizer
)
topics, _ = model.fit_transform(docs)
frame["topic_id"] = topics
frame.to_csv("reviews_with_topics.csv", index=False, encoding="utf-8-sig")
model.get_topic_info().to_csv(
    "topic_summary.csv", index=False, encoding="utf-8-sig"
)
print(frame["topic_id"].value_counts(dropna=False).sort_index())

Запуск: python group_reviews.py. Перед большой выгрузкой убедитесь, что окружение может загрузить модель и имеет достаточно ресурсов. Три демонстрационные строки из предыдущего раздела не предназначены для запуска с этими параметрами: для слишком малого набора снизьте сложность отдельно или начните с ручного разбора.

Методы fit_transform и get_topic_info описаны в API BERTopic. Ожидаемые выходные файлы — reviews_with_topics.csv, связывающий запись с темой, и topic_summary.csv, содержащий сводку тем. После успешного выполнения проверьте, что каждая входная запись имеет один topic_id, а количество строк первой таблицы совпадает с входом. Отсутствие ошибки Python ещё не подтверждает полезность кластеров.

Шаг 5. Назовите темы по отзывам, а не только по словам

Откройте сводку, затем отфильтруйте исходные отзывы по выбранному topic_id. Прочитайте разные формулировки внутри группы, включая пограничные записи. Название «доставка_день_заказ» может скрывать перенос даты, опоздание курьера или просто благодарность за скорость.

Предлагаемый результат работы аналитика — отдельная таблица topic_id,business_label,comment. Например, «Перенос даты доставки» допустимо использовать только после чтения группы; это пример названия, а не результат исполнения скрипта. Сохраните машинные слова темы рядом: так другой сотрудник сможет понять, на чём основано название.

Если подписи заполнены словами «товар», «очень», «магазин», корректируйте представление темы. В BERTopic CountVectorizer влияет на слова, описывающие группы; изменение стоп-слов на этом этапе не равно пересчёту эмбеддингов и границ кластеров. Биграммы в примере позволяют получать сочетания слов. Работа с этими настройками описана в разделе Vectorizers.

Сначала попробуйте убрать подтверждённые служебные слова в согласованном списке. Не включайте в него отрицание «не» механически: оно может менять смысл формулировки. Если сама группа смешивает разные причины, красивое название проблему не исправит — пересмотрите данные, модель или кластеризацию.

Шаг 6. Разберите группу −1 и устраните типичные ошибки

Метка -1 обозначает выбросы, то есть документы, не отнесённые кластеризацией к обычным темам. Среди них могут быть короткие благодарности, редкие претензии, смешанные сюжеты и тексты с недостаточным контекстом. Причину нужно выяснять чтением; отдельная метка не определяет ценность отзыва.

Сохраните исходные назначения. BERTopic предлагает reduce_outliers с разными стратегиями, но принудительное уменьшение числа выбросов меняет распределение и требует повторного чтения. Новые назначения можно использовать для обновления представлений через update_topics; это отдельное действие, а не автоматическое следствие получения списка новых меток. Порядок описан в документации по выбросам.

Симптом Что проверить Следующее действие
Почти всё попало в -1 Короткие тексты, неоднородность, размер корпуса, параметры HDBSCAN Прочитать примеры; менять один фактор и сравнивать содержание групп
Слишком много мелких тем Не разделяет ли модель один сюжет по формулировкам Пересмотреть минимальный размер кластера; сохранить исходную версию
Темы читаются плохо, но отзывы внутри связаны Служебные слова в описании Настроить словарь представления темы
Группа большая, но причины разные Смешение товаров, длинные отзывы, чрезмерное объединение Разделить выборку по задаче или пересчитать кластеризацию
После нового запуска номера тем изменились Новый корпус, окружение и стохастические этапы Сопоставлять смысл и состав групп, а не только номера

При переданном hdbscan_model минимальный размер задаёт min_cluster_size этого объекта: изменение одного min_topic_size у BERTopic не перенастраивает ваш HDBSCAN. nr_topics используется для сокращения числа найденных тем; это не обещание обнаружить именно заданное число естественных причин. Эти различия отражены в API.

В сводке для руководителя укажите размер всей выбранной выгрузки, число распределённых записей и число -1. Долю каждой темы считайте с явно названным знаменателем. Если запись содержит несколько проблем, одиночная метка не отражает их все: для оценки каждого аспекта понадобится отдельное правило разметки или разделения текста.

Как AI студия Владимира Ломтева помогает с аналитикой отзывов

AI студия Владимира Ломтева занимается подготовкой данных, разработкой и интеграцией ИИ-решений. Для аналитики отзывов предметом работы могут стать три конкретных действия: подготовка согласованной выгрузки с устойчивыми ID, интеграция тематической сводки в рабочий процесс команды и настройка проверки групп на примерах сотрудников. Такой процесс не предполагает, что каждая найденная тема автоматически становится причиной жалобы.

Первый шаг — выбрать один источник отзывов, период, текущий способ разбора и критерий полезного результата: например, возможность проследить каждую тему до исходных текстов и передать её ответственному сотруднику. Обсудить задачу.

Итог: сохраните связь темы с исходными отзывами

Полезный результат BERTopic — таблица понятных повторяющихся сюжетов со ссылкой на каждую исходную запись и отдельно видимой группой -1. Начните с ограниченной согласованной выборки, сохраните параметры и версии, прочитайте содержимое групп и только затем используйте их в продуктовой работе. Изменение числа кластеров само по себе не показывает, что анализ стал лучше.

Оставить заявку

Заполните форму и мы свяжемся с вами

← Все статьи

Комментарии (0)

Пока нет комментариев. Будьте первым!

Оставить комментарий
Регистрация не требуется