Чтобы сгруппировать отзывы по темам с BERTopic, подготовьте CSV с постоянными идентификаторами, получите смысловые представления текстов, выполните кластеризацию и проверьте содержание найденных групп. Затем сохраните таблицу «отзыв — тема» и дайте группам понятные названия. Отзывы с меткой -1 разбирайте отдельно: это не готовая тема «негатив» и не основание удалять записи.
Инструкция предназначена аналитику и руководителю продукта, которым нужно понять, о чём пишут покупатели: о доставке, комплектации, упаковке или других повторяющихся обстоятельствах. Для выполнения кода потребуется сотрудник, знакомый с Python. Подготовка ответов покупателям описана отдельно — в материале об автоматизации ответов на отзывы.
Порядок основан на официальной документации, сверенной 9 ноября 2026 года. Установка BERTopic и обработка корпуса в рамках подготовки статьи не выполнялись. Команды, настройки и вымышленные строки ниже — предлагаемый пример для адаптации; они не доказывают качество группировки на ваших данных. Ответственный издатель — AI студия Владимира Ломтева.
Содержание
- Шаг 1. Определите, какую картину должны дать темы
- Шаг 2. Подготовьте CSV и сохраните смысл текста
- Шаг 3. Подготовьте окружение и явные настройки
- Шаг 4. Получите две связанные таблицы
- Шаг 5. Назовите темы по отзывам, а не только по словам
- Шаг 6. Разберите группу −1 и устраните типичные ошибки
Шаг 1. Определите, какую картину должны дать темы
BERTopic — библиотека тематического моделирования. В стандартном подходе она использует эмбеддинги, то есть числовые представления смысла текстов, объединяет близкие документы и описывает темы характерными словами через c-TF-IDF. Эти слова помогают интерпретировать группу, но сами по себе не являются её деловым названием. Механизм описан в официальном обзоре BERTopic.
Начните с вопроса команды: например, «Какие обстоятельства доставки упоминают покупатели этого магазина за выбранный месяц?» Запишите период, источники и товары, входящие в анализ. Смешивание отзывов о разных продуктах может дать группы по названиям товаров, хотя руководителю нужны причины недовольства.
Разделяйте тему и тональность. «Курьер приехал вовремя» и «Курьер опоздал» относятся к доставке, но оценивают её противоположно. BERTopic не следует считать готовым измерителем удовлетворённости. Если нужна раздельная статистика положительных и отрицательных отзывов, добавьте отдельную разметку тональности и проверьте её независимо.
| Задача команды | Подход |
|---|---|
| Обнаружить неизвестные повторяющиеся сюжеты | Начать с тематической группировки и чтения примеров |
| Разнести отзывы по уже утверждённым причинам | Готовить разметку и классификатор с заданными категориями |
| Найти срочные жалобы о безопасности | Использовать отдельный маршрут проверки; размер темы не определяет срочность |
Результат шага — один вопрос анализа и границы выборки. Если категории заранее известны, полезнее начать с подготовки человеческой разметки, чем заставлять обнаруженные кластеры совпадать с готовым справочником.
Шаг 2. Подготовьте CSV и сохраните смысл текста
Предлагаемая минимальная схема файла reviews.csv — review_id,text. Дополнительные поля, например дата, площадка, товар и оценка, сохраняйте в исходной выгрузке. Идентификатор нужен для обратного соединения результатов: порядок строк может измениться при очистке или экспорте.
review_id,text
r001,Курьер перенёс доставку на следующий день
r002,В коробке не оказалось крепления
r003,Упаковка целая и заказ привезли вовремя
Это иллюстрация формата, а не достаточный корпус для настройки модели. Подберите реальную согласованную выборку, в которой могут повторяться интересующие сюжеты. Универсального числа отзывов, гарантирующего полезные темы, здесь нет.
Уберите техническую разметку, пустые записи, подписи площадки и повторяющиеся служебные фразы. Сохраните отрицания, названия деталей и обстоятельства: «не положили крепление» и «положили другое крепление» ведут к разным действиям. Не удаляйте одинаковые тексты автоматически. Повторная загрузка одной записи — технический дубль; одинаковые слова разных покупателей могут отражать частоту жалобы. Правило работы с такими случаями зафиксируйте до подсчётов.
Работайте с разрешёнными данными и заранее уберите ненужные телефоны, адреса и другие персональные сведения. Для длинных отзывов проверьте ограничение входа выбранной модели: обрезанный конец может содержать основную претензию. У используемой ниже модели в карточке Sentence Transformers указан max_seq_length=128; это лимит последовательности токенов, а не 128 слов.
Результат шага — копия CSV с непустыми текстами, уникальными ID и понятным правилом отбора. Если разделяете длинный отзыв на фрагменты, храните также ID исходного отзыва: число фрагментов нельзя выдавать за число покупателей.
Шаг 3. Подготовьте окружение и явные настройки
Создайте отдельное окружение и установите зависимости. Следующие команды предложены для обычной оболочки Linux/macOS; установка и совместимость пакетов в вашей среде требуют проверки.
python3 -m venv .venv
. .venv/bin/activate
python -m pip install bertopic pandas sentence-transformers umap-learn hdbscan
python -m pip freeze > requirements-resolved.txt
Базовая установка описана в репозитории BERTopic. Сохранённый список версий нужен, чтобы понимать, в каком окружении получены файлы. Для повторяемого рабочего процесса дополнительно зафиксируйте ревизию модели и исходный набор данных.
В примере эмбеддинг-модель задана явно: paraphrase-multilingual-MiniLM-L12-v2. Это доступный многоязычный вариант для стартового исследования, а не доказанно лучший выбор для русских отзывов. В FAQ BERTopic выбор модели связывается с языком, данными и задачей. Не переносите удачный результат с чужого корпуса без проверки.
Настройки UMAP и HDBSCAN тоже указаны явно, чтобы не зависеть от скрытых значений по умолчанию. UMAP уменьшает размерность представлений, HDBSCAN выделяет плотные группы. Числа в коде — стартовые учебные настройки, а не найденный оптимум. Их смысл и влияние описаны в руководстве по параметрам.
Шаг 4. Получите две связанные таблицы
Сохраните код в group_reviews.py рядом с CSV. Скрипт оставляет технически нераспределённые записи в выгрузке и не генерирует ответы покупателям. Ниже нет готовых результатов или обещания определённого количества тем.
import pandas as pd
from bertopic import BERTopic
from sentence_transformers import SentenceTransformer
from sklearn.feature_extraction.text import CountVectorizer
from umap import UMAP
from hdbscan import HDBSCAN
frame = pd.read_csv("reviews.csv", dtype=str, keep_default_na=False)
if not {"review_id", "text"}.issubset(frame.columns):
raise ValueError("Нужны столбцы review_id и text")
frame["review_id"] = frame["review_id"].str.strip()
frame["text"] = frame["text"].str.strip()
if (frame["review_id"] == "").any() or frame["review_id"].duplicated().any():
raise ValueError("review_id должен быть непустым и уникальным")
if (frame["text"] == "").any():
raise ValueError("Сначала разберите пустые тексты")
docs = frame["text"].tolist()
encoder = SentenceTransformer(
"sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
)
umap_model = UMAP(
n_neighbors=15, n_components=5, min_dist=0.0,
metric="cosine", random_state=42
)
cluster_model = HDBSCAN(
min_cluster_size=10, min_samples=5,
metric="euclidean", prediction_data=True
)
vectorizer = CountVectorizer(ngram_range=(1, 2))
model = BERTopic(
embedding_model=encoder,
umap_model=umap_model,
hdbscan_model=cluster_model,
vectorizer_model=vectorizer
)
topics, _ = model.fit_transform(docs)
frame["topic_id"] = topics
frame.to_csv("reviews_with_topics.csv", index=False, encoding="utf-8-sig")
model.get_topic_info().to_csv(
"topic_summary.csv", index=False, encoding="utf-8-sig"
)
print(frame["topic_id"].value_counts(dropna=False).sort_index())
Запуск: python group_reviews.py. Перед большой выгрузкой убедитесь, что окружение может загрузить модель и имеет достаточно ресурсов. Три демонстрационные строки из предыдущего раздела не предназначены для запуска с этими параметрами: для слишком малого набора снизьте сложность отдельно или начните с ручного разбора.
Методы fit_transform и get_topic_info описаны в API BERTopic. Ожидаемые выходные файлы — reviews_with_topics.csv, связывающий запись с темой, и topic_summary.csv, содержащий сводку тем. После успешного выполнения проверьте, что каждая входная запись имеет один topic_id, а количество строк первой таблицы совпадает с входом. Отсутствие ошибки Python ещё не подтверждает полезность кластеров.
Шаг 5. Назовите темы по отзывам, а не только по словам
Откройте сводку, затем отфильтруйте исходные отзывы по выбранному topic_id. Прочитайте разные формулировки внутри группы, включая пограничные записи. Название «доставка_день_заказ» может скрывать перенос даты, опоздание курьера или просто благодарность за скорость.
Предлагаемый результат работы аналитика — отдельная таблица topic_id,business_label,comment. Например, «Перенос даты доставки» допустимо использовать только после чтения группы; это пример названия, а не результат исполнения скрипта. Сохраните машинные слова темы рядом: так другой сотрудник сможет понять, на чём основано название.
Если подписи заполнены словами «товар», «очень», «магазин», корректируйте представление темы. В BERTopic CountVectorizer влияет на слова, описывающие группы; изменение стоп-слов на этом этапе не равно пересчёту эмбеддингов и границ кластеров. Биграммы в примере позволяют получать сочетания слов. Работа с этими настройками описана в разделе Vectorizers.
Сначала попробуйте убрать подтверждённые служебные слова в согласованном списке. Не включайте в него отрицание «не» механически: оно может менять смысл формулировки. Если сама группа смешивает разные причины, красивое название проблему не исправит — пересмотрите данные, модель или кластеризацию.
Шаг 6. Разберите группу −1 и устраните типичные ошибки
Метка -1 обозначает выбросы, то есть документы, не отнесённые кластеризацией к обычным темам. Среди них могут быть короткие благодарности, редкие претензии, смешанные сюжеты и тексты с недостаточным контекстом. Причину нужно выяснять чтением; отдельная метка не определяет ценность отзыва.
Сохраните исходные назначения. BERTopic предлагает reduce_outliers с разными стратегиями, но принудительное уменьшение числа выбросов меняет распределение и требует повторного чтения. Новые назначения можно использовать для обновления представлений через update_topics; это отдельное действие, а не автоматическое следствие получения списка новых меток. Порядок описан в документации по выбросам.
| Симптом | Что проверить | Следующее действие |
|---|---|---|
Почти всё попало в -1 |
Короткие тексты, неоднородность, размер корпуса, параметры HDBSCAN | Прочитать примеры; менять один фактор и сравнивать содержание групп |
| Слишком много мелких тем | Не разделяет ли модель один сюжет по формулировкам | Пересмотреть минимальный размер кластера; сохранить исходную версию |
| Темы читаются плохо, но отзывы внутри связаны | Служебные слова в описании | Настроить словарь представления темы |
| Группа большая, но причины разные | Смешение товаров, длинные отзывы, чрезмерное объединение | Разделить выборку по задаче или пересчитать кластеризацию |
| После нового запуска номера тем изменились | Новый корпус, окружение и стохастические этапы | Сопоставлять смысл и состав групп, а не только номера |
При переданном hdbscan_model минимальный размер задаёт min_cluster_size этого объекта: изменение одного min_topic_size у BERTopic не перенастраивает ваш HDBSCAN. nr_topics используется для сокращения числа найденных тем; это не обещание обнаружить именно заданное число естественных причин. Эти различия отражены в API.
В сводке для руководителя укажите размер всей выбранной выгрузки, число распределённых записей и число -1. Долю каждой темы считайте с явно названным знаменателем. Если запись содержит несколько проблем, одиночная метка не отражает их все: для оценки каждого аспекта понадобится отдельное правило разметки или разделения текста.
Как AI студия Владимира Ломтева помогает с аналитикой отзывов
AI студия Владимира Ломтева занимается подготовкой данных, разработкой и интеграцией ИИ-решений. Для аналитики отзывов предметом работы могут стать три конкретных действия: подготовка согласованной выгрузки с устойчивыми ID, интеграция тематической сводки в рабочий процесс команды и настройка проверки групп на примерах сотрудников. Такой процесс не предполагает, что каждая найденная тема автоматически становится причиной жалобы.
Первый шаг — выбрать один источник отзывов, период, текущий способ разбора и критерий полезного результата: например, возможность проследить каждую тему до исходных текстов и передать её ответственному сотруднику. Обсудить задачу.
Итог: сохраните связь темы с исходными отзывами
Полезный результат BERTopic — таблица понятных повторяющихся сюжетов со ссылкой на каждую исходную запись и отдельно видимой группой -1. Начните с ограниченной согласованной выборки, сохраните параметры и версии, прочитайте содержимое групп и только затем используйте их в продуктовой работе. Изменение числа кластеров само по себе не показывает, что анализ стал лучше.






