Чек-лист выбора модели эмбеддингов для RAG на русском языке

Модель эмбеддингов для RAG выбирают по тесту на своих документах и вопросах, а не по месту в общем рейтинге. Рейтинги MTEB и ruMTEB помогают составить короткий список, но окончательное решение дают доля найденных правильных фрагментов на вашем тестовом наборе, размер вектора и стоимость хранения, длина входа, лицензия и место обработки данных. Ниже — чек-лист из семи этапов с ответственными и критериями «готово» и копируемый шаблон.

Материал подготовлен AIrassvet 23 октября 2026 года для руководителей проектов, ИТ-директоров и ML-инженеров, которые запускают поиск по базе знаний или RAG-ассистента на русском языке. Характеристики моделей взяты из их карточек на Hugging Face и документации, проверенных в эту дату. Собственного сравнительного теста моделей мы не публикуем: результаты на чужих данных плохо переносятся на ваши.

Кратко

Рейтинг — фильтр, а не ответ. Авторы MTEB пишут, что ни один метод эмбеддингов не лидирует во всех задачах, поэтому финальный выбор делают на своих данных.
Сравнивайте модели при одинаковом чанкинге и с правильными префиксами или инструкциями: у многих моделей без них качество поиска ниже.
Размер вектора — это деньги. Во float32 вектор из 1024 чисел занимает около 4 КБ, из 4096 — около 16 КБ, без учёта индекса.
Смена модели означает переиндексацию всей базы: векторы разных моделей несовместимы.
Зафиксируйте модель с версией, префиксы, размерность и нормализацию в документации проекта.

Для кого чек-лист и что в него не входит

Чек-лист нужен, когда компания строит поиск по смыслу или RAG-ассистента для документов на русском языке и выбирает модель, которая превращает текст в векторы. Что такое эмбеддинги и векторная база, мы объясняли в статье «Что такое векторная база данных». Здесь не разбираются нарезка документов на фрагменты, переранжирование результатов и генерация ответа — для них есть отдельные материалы, ссылки на которые даны по ходу текста.

Термины. *Эмбеддинг* — вектор чисел, который отражает смысл текста. *Размерность* — число чисел в векторе. *Recall@k* — доля вопросов, для которых правильный фрагмент попал в первые k результатов поиска. *MRR* — средняя обратная позиция первого правильного фрагмента. *MRL* (Matryoshka Representation Learning) — обучение, после которого вектор можно укоротить без переобучения модели.

Что понадобится до старта

Роли. Владелец процесса — знает, какие вопросы задают сотрудники или клиенты. ML-инженер — запускает модели и считает метрики. DevOps — отвечает за серверы и векторную базу. Специалист по ИБ или юрист — проверяет лицензии и место обработки данных.
Документы. Выгрузка реального корпуса или его репрезентативной части, уже нарезанная на фрагменты. Как это сделать, описано в инструкции по чанкингу документов для RAG.
Вопросы. Реальные формулировки из почты, чатов, тикетов или поиска по порталу.
Стенд. Сервер или облачная машина, на которой можно запустить несколько моделей, и библиотека для расчёта метрик.

Этап 1. Требования и ограничения

Ответственный: владелец процесса и специалист по ИБ. Готово, когда: ограничения записаны в одном документе и подписаны.

☐ Языки корпуса и вопросов: только русский или русский с английским.
☐ Типы документов и средняя длина фрагмента в токенах.
☐ Где разрешено обрабатывать тексты: внешний API, российское облако или только свои серверы.
☐ Допустимые лицензии моделей для коммерческого использования.
☐ Ожидаемый объём: число фрагментов сейчас и через год.
☐ Требования к задержке поиска и бюджет на железо.

Этап 2. Короткий список кандидатов

Ответственный: ML-инженер. Готово, когда: выбрано три–пять моделей, для каждой записаны размерность, длина входа, лицензия и правила подачи текста.

☐ Отфильтровать модели по русскоязычным задачам поиска в рейтинге MTEB, где есть набор ruMTEB.
☐ Исключить модели, которые не проходят ограничения этапа 1 по лицензии или месту обработки.
☐ Проверить по карточке модели максимальную длину входа и сравнить с длиной ваших фрагментов.
☐ Выписать обязательные префиксы или инструкции для запросов и документов.
☐ Добавить хотя бы одну модель, обученную специально для русского языка, и одну многоязычную.

ruMTEB — русскоязычное расширение бенчмарка MTEB от команды SaluteDevices: по описанию авторов, оно включает семь категорий задач, в том числе поиск, переранжирование, классификацию и семантическую близость. Рейтинг полезен как фильтр, но его наборы не совпадают с вашими документами.

Кандидаты для старта: характеристики по карточкам на 23 октября 2026 года

Модель	Разработчик	Размер вектора	Длина входа	Лицензия	Как подавать текст
multilingual-e5-large	intfloat	1024	512 токенов	MIT	Префиксы «query: » и «passage: »
bge-m3	BAAI	1024	8192 токена	MIT	Без инструкций; есть плотный, разреженный и многовекторный режимы
USER-bge-m3	deepvk	1024	8192 токена по конфигурации	Apache 2.0	Сжатая версия bge-m3, обученная для русского; другие языки авторы не оценивали
ru-en-RoSBERTa	ai-forever	1024	512 токенов по конфигурации	MIT	Префиксы «search_query: » и «search_document: »
FRIDA	ai-forever	1536	512 токенов	MIT	Те же префиксы; качество на английском авторы не оценивали
Qwen3-Embedding-0.6B	Qwen	до 1024, можно укоротить до 32	32 тыс. токенов	Apache 2.0	Инструкция в запросе, документы без неё
Qwen3-Embedding-8B	Qwen	до 4096, можно укоротить до 32	32 тыс. токенов	Apache 2.0	Инструкция в запросе, документы без неё
GigaChat Embeddings	Сбер	1024	512 токенов	Условия API	Облачный сервис, тексты уходят провайдеру

Таблица — не рейтинг качества. Это стартовый список, который нужно проверить на ваших данных на этапах 3 и 4.

Этап 3. Тестовый набор на своих данных

Ответственный: владелец процесса и эксперты предметной области. Готово, когда: для каждого вопроса отмечен хотя бы один правильный фрагмент, и набор согласован с экспертом.

☐ Собрать несколько десятков реальных вопросов, а для критичных сценариев — больше.
☐ Для каждого вопроса отметить фрагменты, в которых есть ответ.
☐ Включить трудные случаи: номера договоров и артикулы, сокращения, жаргон, вопросы на английском, если они встречаются.
☐ Добавить вопросы, на которые в базе нет ответа, чтобы видеть ложные совпадения.
☐ Сохранить набор в файл с версией, чтобы повторять тест после изменений.

Этот же набор потом пригодится для проверки всей RAG-системы — об этом наша статья о точности RAG и галлюцинациях.

Этап 4. Прогон и метрики

Ответственный: ML-инженер. Готово, когда: для каждой модели посчитаны recall@5, recall@10 и MRR на одном и том же наборе и записаны в таблицу.

☐ Использовать для всех моделей одинаковую нарезку документов.
☐ Подавать текст строго по карточке модели: с нужными префиксами или инструкцией в запросе.
☐ Проверить, не обрезается ли фрагмент: у моделей с лимитом 512 токенов длинный текст теряет конец.
☐ Нормализовать векторы и использовать ту метрику сходства, которую рекомендует карточка.
☐ Разобрать вручную вопросы, на которых все модели ошиблись: часто причина в нарезке или в самих документах.
☐ Повторить лучший вариант с переранжированием и проверить, нужно ли оно, — см. статью про reranker в RAG.

Разработчики Qwen3-Embedding отмечают в карточке, что без инструкции на стороне запроса качество поиска в большинстве сценариев падает. У multilingual-e5-large, ru-en-RoSBERTa и FRIDA роль инструкции выполняют префиксы. Если сравнивать модели без них, сравнение будет нечестным.

Этап 5. Хранение, скорость и железо

Ответственный: DevOps и ML-инженер. Готово, когда: посчитаны объём хранения, время индексации корпуса и задержка запроса для двух лучших моделей.

☐ Посчитать объём векторов: число фрагментов × размер одного вектора.
☐ Проверить ограничения векторной базы на размерность индекса.
☐ Измерить время векторизации всего корпуса на вашем сервере.
☐ Измерить задержку векторизации одного запроса под нагрузкой.
☐ Для моделей с MRL проверить, сколько качества теряется при укороченном векторе.

Как считать объём. В pgvector вектор типа vector занимает 4 × размерность + 8 байт, тип halfvec — 2 × размерность + 8 байт. Для миллиона фрагментов это около 4,1 ГБ при 1024 измерениях, 16,4 ГБ при 4096 и около 2,1 ГБ при 1024 измерениях в halfvec (расчёт AIrassvet, без учёта индекса). Кроме того, HNSW-индекс pgvector для типа vector поддерживает до 2000 измерений, для halfvec — до 4000. Поэтому вектор Qwen3-Embedding-8B на 4096 измерений придётся укоротить или хранить иначе.

Этап 6. Лицензия и данные

Ответственный: юрист или специалист по ИБ. Готово, когда: для выбранной модели сохранён текст лицензии с датой, а место обработки данных согласовано.

☐ Сохранить копию лицензии модели из её репозитория.
☐ Для облачного API — проверить, какие данные уходят провайдеру и что сказано в договоре об их хранении.
☐ Если в документах есть персональные данные, согласовать обработку с ответственным за 152-ФЗ.
☐ Проверить, что модель-кандидат не скачана из неофициального зеркала.

Подробнее о том, как читать лицензии открытых моделей, — в нашем FAQ о лицензиях открытых LLM.

Этап 7. Решение и фиксация версии

Ответственный: владелец процесса. Готово, когда: решение записано в документации проекта, а план переиндексации утверждён.

☐ Записать модель с версией (ревизией репозитория), префиксы, размерность, нормализацию и метрику сходства.
☐ Сохранить таблицу метрик всех кандидатов и тестовый набор.
☐ Описать, как переиндексировать базу при смене модели: векторы разных моделей несовместимы.
☐ Назначить пересмотр: при росте корпуса, появлении новых типов документов или новых моделей.

Копируемый чек-лист

ВЫБОР МОДЕЛИ ЭМБЕДДИНГОВ — проект: ________  дата: ________

Этап 1. Требования (владелец процесса, ИБ)
☐ Языки корпуса и вопросов
☐ Типы документов, средняя длина фрагмента в токенах
☐ Где можно обрабатывать тексты: API / облако РФ / свои серверы
☐ Допустимые лицензии
☐ Объём: фрагментов сейчас / через год
☐ Задержка поиска и бюджет на железо
Готово: ограничения подписаны

Этап 2. Кандидаты (ML-инженер)
☐ 3–5 моделей из рейтинга MTEB/ruMTEB, прошедших ограничения
☐ Для каждой: размерность, длина входа, лицензия, префиксы
☐ Минимум одна русская и одна многоязычная модель
Готово: таблица кандидатов

Этап 3. Тестовый набор (владелец процесса, эксперты)
☐ Реальные вопросы с отмеченными правильными фрагментами
☐ Трудные случаи: номера, сокращения, жаргон
☐ Вопросы без ответа в базе
☐ Файл набора с версией
Готово: набор согласован экспертом

Этап 4. Прогон (ML-инженер)
☐ Одинаковая нарезка для всех моделей
☐ Префиксы/инструкции по карточке
☐ Проверка обрезки длинных фрагментов
☐ recall@5, recall@10, MRR в одной таблице
☐ Разбор общих ошибок, проверка переранжирования
Готово: таблица метрик

Этап 5. Хранение и скорость (DevOps)
☐ Объём векторов = фрагменты × (4 × размерность + 8) байт
☐ Ограничения индекса по размерности
☐ Время индексации корпуса, задержка запроса
Готово: расчёт для двух лучших моделей

Этап 6. Лицензия и данные (юрист, ИБ)
☐ Копия лицензии с датой
☐ Место обработки данных и 152-ФЗ
Готово: согласовано

Этап 7. Решение (владелец процесса)
☐ Модель + ревизия, префиксы, размерность, нормализация
☐ План переиндексации и дата пересмотра
Готово: записано в документации проекта

Типовые ошибки

Выбор по первому месту в общем рейтинге. Средний балл по десяткам задач не говорит, как модель найдёт ответ в ваших регламентах.
Сравнение без префиксов. Модель, которой не передали «query: » или инструкцию, проигрывает незаслуженно.
Тест на сгенерированных вопросах. Вопросы, написанные по тексту фрагмента, повторяют его слова и завышают качество.
Обрезанные фрагменты. Фрагмент длиннее лимита модели векторизуется без конца текста, и ответ из этой части не находится.
Большой вектор «на вырост». 4096 измерений в четыре раза дороже по памяти, чем 1024, и могут не поместиться в индекс базы.
Смена модели без переиндексации. Запросы, закодированные новой моделью, нельзя искать среди векторов старой.

Частые вопросы

Какая модель эмбеддингов лучше всего подходит для русского языка?

Универсального ответа нет: лучшая модель определяется тестом на ваших документах. Для старта имеет смысл сравнить модели, обученные для русского, например FRIDA, ru-en-RoSBERTa и USER-bge-m3, с многоязычными bge-m3, multilingual-e5-large и Qwen3-Embedding. Авторы бенчмарка MTEB отмечают, что ни один метод не лидирует во всех задачах, поэтому решает recall на вашем наборе вопросов.

Можно ли пользоваться эмбеддингами через облачный API?

Можно, если документы разрешено передавать провайдеру. Облачный сервис, например GigaChat Embeddings, избавляет от собственных серверов, но тексты всех фрагментов и запросов уходят к нему. Для служебной информации и персональных данных это нужно согласовать со специалистом по ИБ, а иногда выбрать открытую модель на своих серверах. Сравнивать облачную и локальную модель стоит на одном тестовом наборе.

Что делать, если документы длиннее 512 токенов?

Сначала нарезать их на фрагменты, которые помещаются в лимит модели. Если фрагменты по смыслу должны быть длиннее, выбирайте модели с длинным входом: у bge-m3 это 8192 токена, у Qwen3-Embedding — 32 тысячи. Но длинный фрагмент размывает смысл вектора, поэтому длину проверяют тестом, а не выбирают по максимуму.

Как часто нужно пересматривать модель эмбеддингов?

Пересматривайте при заметных изменениях: выросла или поменялась база документов, появились новые типы вопросов, вышли модели, которые проходят ваши ограничения. Повторный выбор дешёвый, если сохранены тестовый набор и таблица метрик. Дорогой остаётся переиндексация всей базы, поэтому новую модель внедряют, только если она заметно выигрывает на вашем тесте.

Первоисточники и метод

Мы проверили 23 октября 2026 года карточки, конфигурации и лицензии моделей на Hugging Face, документацию pgvector и GigaChat API, а также статьи о бенчмарках:

MTEB: Massive Text Embedding Benchmark — Muennighoff и соавторы, 2022.
ruMTEB и модель ru-en-RoSBERTa — Snegirev и соавторы, SaluteDevices, 2024.
Карточки моделей: multilingual-e5-large, bge-m3, USER-bge-m3, ru-en-RoSBERTa, FRIDA, Qwen3-Embedding-0.6B, Qwen3-Embedding-8B.
Документация pgvector — размер векторов и ограничения индексов.
Модель Embeddings в документации GigaChat API.

Длину входа для USER-bge-m3 и ru-en-RoSBERTa мы взяли из конфигурации модели, потому что в карточке она не указана явно. Ограничения: мы не измеряли качество моделей на собственном наборе и не сравнивали скорость на конкретном железе — это делается на этапах 4 и 5 под ваши данные.

Как AIrassvet помогает выбрать модель эмбеддингов для базы знаний

Выбор модели — часть проекта RAG, и его проще провести на реальных документах компании. На сайте AIrassvet указаны направления, которые закрывают эту задачу:

RAG-системы и корпоративные базы знаний: подготовка корпуса, нарезка и сравнение моделей эмбеддингов на ваших вопросах;
развёртывание моделей на серверах заказчика, если тексты нельзя передавать во внешний API;
аудит процесса, подготовка данных и тестирование: сбор тестового набора и таблицы метрик до запуска.

Первый шаг — выбрать один процесс, в котором сотрудники ищут ответы в документах, и зафиксировать текущий результат, источники данных, ограничения по их обработке и критерий приёмки.

Обсудить задачу

Итог: модель эмбеддингов выбирают тестом

Рейтинг подсказывает, с каких моделей начать, но не решает за вас. Решение складывается из recall на ваших вопросах, длины входа, стоимости хранения векторов, лицензии и места обработки данных.

Пройдите семь этапов чек-листа, сохраните тестовый набор и таблицу метрик и запишите выбранную модель с версией и префиксами. Тогда пересмотр модели через год займёт дни, а не повторный проект с нуля.