Для RAG на своих серверах эмбеддинги и реранкер лучше вынести в отдельный лёгкий сервис: Text Embeddings Inference (TEI) от Hugging Face или Infinity. Оба отдают OpenAI-совместимый /v1/embeddings и эндпоинт /rerank, работают в Docker и обслуживают модели в сотни миллионов параметров на одной небольшой видеокарте или даже на CPU. Если у вас уже работает vLLM или llama-server, они тоже умеют отдавать эмбеддинги, но отдельный сервис проще масштабировать под пакетную индексацию.
Материал подготовила AI студия Владимира Ломтева 16 ноября 2026 года для команд, которые строят поиск по документам и RAG без внешних API. Мы опирались на README Text Embeddings Inference (последний выпуск на GitHub — v1.9.4 от 15 сентября 2026 года) и README Infinity с серверной версией v3. Команды проверены на синтаксис, но не запускались нами на конкретной видеокарте.
Содержание
- Зачем отдельный сервис
- Сколько работы у реранкера: расчёт
- Text Embeddings Inference
- Infinity v3
- Если уже есть vLLM или llama-server
- Сравнение вариантов
- Как подключить из приложения
- Частые ошибки
- Как проверить качество и скорость
- Частые вопросы
Зачем отдельный сервис
В RAG-системе работают три модели: модель эмбеддингов превращает документы и вопросы в векторы, реранкер переупорядочивает найденные фрагменты, а LLM пишет ответ. Как устроена такая система, разобрано в статье «RAG-система для бизнеса».
У эмбеддингов и реранкера другая нагрузка, чем у LLM:
- Индексация — разовые или ночные пакеты из тысяч и миллионов фрагментов. Важна пропускная способность.
- Поиск — один короткий вопрос на запрос пользователя. Важна задержка.
- Реранкинг — пары «вопрос + фрагмент» для каждого кандидата. На один вопрос это десятки пар.
Если держать всё на сервере LLM, ночная индексация будет конкурировать с генерацией ответов. Отдельный сервис можно масштабировать и обновлять независимо, а сами модели эмбеддингов маленькие: в таблице популярных моделей TEI встречаются размеры от 308 млн до 7,57 млрд параметров.
Сколько работы у реранкера: расчёт
Реранкер — кросс-энкодер: он читает вопрос и фрагмент вместе и выдаёт оценку релевантности. Условный пример: поиск вернул 50 кандидатов по 300 токенов, вопрос — 30 токенов. Реранкеру нужно обработать 50 × (300 + 30) = 16 500 токенов на один вопрос. Это чуть больше значения по умолчанию --max-batch-tokens в TEI (16 384), то есть один вопрос пользователя может занять почти весь батч.
Отсюда практический вывод: число кандидатов для реранкинга — главный рычаг задержки. Сократив 50 кандидатов до 20, вы уменьшите работу реранкера в 2,5 раза. Когда реранкер нужен, а когда нет, разобрано в статье «Реранкер в RAG: когда нужен».
Text Embeddings Inference
TEI — сервер Hugging Face для моделей эмбеддингов, реранкеров и классификаторов. Для GPU нужен NVIDIA Container Toolkit и драйвер, совместимый с CUDA 12.2 или новее. Образы собираются под разные архитектуры:
| Железо | Образ |
|---|---|
| CPU x86_64 | ghcr.io/huggingface/text-embeddings-inference:cpu-1.9 |
| Ampere 8.6 (A10, A40) | ghcr.io/huggingface/text-embeddings-inference:86-1.9 |
| Ada Lovelace (RTX 4000) | ghcr.io/huggingface/text-embeddings-inference:89-1.9 |
| Hopper (H100) | ghcr.io/huggingface/text-embeddings-inference:hopper-1.9 |
| Универсальный CUDA | ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 |
Запуск модели эмбеддингов:
docker run --gpus all -p 127.0.0.1:8080:80 -v /srv/tei-data:/data \
ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 \
--model-id Qwen/Qwen3-Embedding-0.6B \
--api-key "$TEI_API_KEY" \
--max-batch-tokens 16384 \
--max-client-batch-size 64
Реранкер запускают отдельным контейнером на другом порту:
docker run --gpus all -p 127.0.0.1:8081:80 -v /srv/tei-data:/data \
ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 \
--model-id BAAI/bge-reranker-v2-m3 \
--api-key "$TEI_API_KEY"
Ключевые параметры из README:
--max-batch-tokens— общее число токенов в батче, по умолчанию 16 384; README называет его одним из главных параметров использования железа и советует ставить максимально возможным, пока модель не упрётся в вычисления;--max-client-batch-size— сколько входов клиент может прислать в одном запросе, по умолчанию 32;--auto-truncate— обрезка слишком длинных входов, по умолчанию включена;--api-key— без него сервер отвечает на любые запросы;--pooling— переопределяет способ объединения векторов токенов, если он не подходит из конфигурации модели.
Эндпоинты: /embed и OpenAI-совместимый /v1/embeddings для эмбеддингов, /rerank для реранкера.
Infinity v3
Infinity — сервер эмбеддингов, реранкинга и классификации. В октябре 2026 года вышла серверная версия v3, написанная на Rust с LibTorch; прежняя Python-версия доступна как v2. По README v3 требует видеокарту NVIDIA с архитектурой Ampere (SM80) или новее и NVIDIA Container Toolkit:
docker run --rm --gpus all -p 127.0.0.1:8000:8000 -v infinity-cache:/data \
ghcr.io/michaelfeil/infinity_v3:nvidia-3.0.0 \
--model-id intfloat/multilingual-e5-large-instruct \
--torch-device cuda --dtype bfloat16 \
--hostname 0.0.0.0 --port 8000
Особенности по README: по умолчанию используются все видимые GPU, и на каждой работает полная копия модели; эмбеддинги отдаются через /v1/embeddings, реранкинг — через /rerank, есть классификация, разреженные векторы SPLADE и векторы токенов для late interaction; /health сообщает о готовности после загрузки и прогрева. Авторы советуют закреплять версию образа или его дайджест.
Если уже есть vLLM или llama-server
vLLM поддерживает модели эмбеддингов и реранкеры как pooling-модели, а llama-server из llama.cpp отдаёт /v1/embeddings и /reranking для моделей в GGUF. Это удобно, если нужен один тип сервера на всё. Но для эмбеддингов, как правило, запускают отдельный экземпляр со своей моделью, так что выигрыш в простоте небольшой.
Сравнение вариантов
| TEI | Infinity v3 | vLLM / llama-server | |
|---|---|---|---|
| Назначение | Эмбеддинги, реранкеры, классификаторы | Эмбеддинги, реранкинг, классификация, SPLADE | В первую очередь генерация |
| CPU | Да, отдельный образ | Не по README v3 (NVIDIA SM80+) | llama-server — да |
OpenAI /v1/embeddings |
Да | Да | Да |
| Реранкинг | /rerank |
/rerank |
Есть |
| Тонкая настройка батча | --max-batch-tokens и др. |
Параметры v3 | Параметры движка |
Как подключить из приложения
import os
import requests
from openai import OpenAI
emb = OpenAI(base_url="http://127.0.0.1:8080/v1", api_key=os.environ["TEI_API_KEY"])
vectors = emb.embeddings.create(
model="Qwen/Qwen3-Embedding-0.6B",
input=["Порядок согласования договора поставки", "Сроки возврата товара"],
).data
rerank = requests.post(
"http://127.0.0.1:8081/rerank",
headers={"Authorization": "Bearer " + os.environ["TEI_API_KEY"]},
json={"query": "Сколько дней на возврат?",
"texts": ["Возврат возможен в течение 14 дней.", "Доставка занимает 3 дня."]},
timeout=30,
)
print(len(vectors), rerank.json())
Значения в текстах примера условные.
Частые ошибки
- Разные модели при индексации и поиске. Векторы разных моделей несовместимы. При смене модели эмбеддингов переиндексируйте всю базу.
- Незаметная обрезка. С
--auto-truncateдлинный фрагмент молча обрезается, и его конец не попадает в вектор. Согласуйте размер фрагментов с максимальной длиной модели; про нарезку — в статье «Чанкинг документов для RAG». - Инструкции и префиксы. Некоторые модели ожидают разные префиксы или инструкции для вопроса и для документа. Проверьте карточку модели.
- Слишком много кандидатов для реранкера. Задержка растёт пропорционально числу пар.
- Сервис без ключа. По умолчанию TEI отвечает всем; задайте
--api-keyи закройте порт.
Как проверить качество и скорость
- Соберите 50–200 реальных вопросов с размеченными правильными фрагментами.
- Измерьте полноту поиска: в какой доле вопросов правильный фрагмент попал в первые 5, 10 и 20 результатов, с реранкером и без.
- Сравните 2–3 модели эмбеддингов; как выбирать кандидатов, описано в чек-листе выбора модели эмбеддингов.
- Измерьте задержку поиска с реранкингом при разном числе кандидатов.
- Измерьте скорость индексации на пакете документов, близком к реальному объёму.
Частые вопросы
Нужна ли видеокарта для эмбеддингов? Для небольших моделей и умеренного объёма хватает CPU-образа TEI. Видеокарта окупается на больших объёмах индексации и при жёстких требованиях к задержке.
Можно ли держать эмбеддинги и реранкер на одной видеокарте с LLM? Можно, если хватает памяти, но ночная индексация будет конкурировать с ответами пользователей. Ограничьте её по времени или вынесите на отдельный GPU.
Какую модель выбрать для русского языка? Многоязычные модели из таблицы TEI, например Qwen3-Embedding или multilingual-e5, — разумные кандидаты, но выбор стоит делать тестом полноты поиска на своих документах.
Как AI студия Владимира Ломтева помогает с поиском для RAG
AI студия Владимира Ломтева строит RAG-системы и корпоративные базы знаний на серверах компании. Для слоя поиска это означает:
- подобрать модели эмбеддингов и реранкера тестом на ваших документах и вопросах;
- развернуть TEI или Infinity с ключами, мониторингом и закреплёнными версиями;
- настроить индексацию, нарезку документов и число кандидатов для реранкинга;
- интегрировать поиск с LLM и корпоративными системами.
Первый шаг — выбрать одну базу документов и 50 типичных вопросов к ней и записать, какую долю правильных ответов вы считаете достаточной. Обсудить задачу.
Итог: лёгкий отдельный сервис для поиска
Эмбеддинги и реранкер удобнее вынести из сервера LLM в отдельный сервис на TEI или Infinity: он лёгкий, масштабируется под индексацию и не мешает генерации. Закрепите версию образа, задайте ключ, ограничьте число кандидатов для реранкинга и выбирайте модели по полноте поиска на собственных документах.






