Свой сервер эмбеддингов и реранкера: TEI, Infinity, vLLM

сервер эмбеддингов
Text Embeddings Inference реранкер
Infinity embeddings сервер
Свой сервер эмбеддингов и реранкера: TEI, Infinity, vLLM

Для RAG на своих серверах эмбеддинги и реранкер лучше вынести в отдельный лёгкий сервис: Text Embeddings Inference (TEI) от Hugging Face или Infinity. Оба отдают OpenAI-совместимый /v1/embeddings и эндпоинт /rerank, работают в Docker и обслуживают модели в сотни миллионов параметров на одной небольшой видеокарте или даже на CPU. Если у вас уже работает vLLM или llama-server, они тоже умеют отдавать эмбеддинги, но отдельный сервис проще масштабировать под пакетную индексацию.

Материал подготовила AI студия Владимира Ломтева 16 ноября 2026 года для команд, которые строят поиск по документам и RAG без внешних API. Мы опирались на README Text Embeddings Inference (последний выпуск на GitHub — v1.9.4 от 15 сентября 2026 года) и README Infinity с серверной версией v3. Команды проверены на синтаксис, но не запускались нами на конкретной видеокарте.

Содержание

Зачем отдельный сервис

В RAG-системе работают три модели: модель эмбеддингов превращает документы и вопросы в векторы, реранкер переупорядочивает найденные фрагменты, а LLM пишет ответ. Как устроена такая система, разобрано в статье «RAG-система для бизнеса».

У эмбеддингов и реранкера другая нагрузка, чем у LLM:

  • Индексация — разовые или ночные пакеты из тысяч и миллионов фрагментов. Важна пропускная способность.
  • Поиск — один короткий вопрос на запрос пользователя. Важна задержка.
  • Реранкинг — пары «вопрос + фрагмент» для каждого кандидата. На один вопрос это десятки пар.

Если держать всё на сервере LLM, ночная индексация будет конкурировать с генерацией ответов. Отдельный сервис можно масштабировать и обновлять независимо, а сами модели эмбеддингов маленькие: в таблице популярных моделей TEI встречаются размеры от 308 млн до 7,57 млрд параметров.

Сколько работы у реранкера: расчёт

Реранкер — кросс-энкодер: он читает вопрос и фрагмент вместе и выдаёт оценку релевантности. Условный пример: поиск вернул 50 кандидатов по 300 токенов, вопрос — 30 токенов. Реранкеру нужно обработать 50 × (300 + 30) = 16 500 токенов на один вопрос. Это чуть больше значения по умолчанию --max-batch-tokens в TEI (16 384), то есть один вопрос пользователя может занять почти весь батч.

Отсюда практический вывод: число кандидатов для реранкинга — главный рычаг задержки. Сократив 50 кандидатов до 20, вы уменьшите работу реранкера в 2,5 раза. Когда реранкер нужен, а когда нет, разобрано в статье «Реранкер в RAG: когда нужен».

Text Embeddings Inference

TEI — сервер Hugging Face для моделей эмбеддингов, реранкеров и классификаторов. Для GPU нужен NVIDIA Container Toolkit и драйвер, совместимый с CUDA 12.2 или новее. Образы собираются под разные архитектуры:

Железо Образ
CPU x86_64 ghcr.io/huggingface/text-embeddings-inference:cpu-1.9
Ampere 8.6 (A10, A40) ghcr.io/huggingface/text-embeddings-inference:86-1.9
Ada Lovelace (RTX 4000) ghcr.io/huggingface/text-embeddings-inference:89-1.9
Hopper (H100) ghcr.io/huggingface/text-embeddings-inference:hopper-1.9
Универсальный CUDA ghcr.io/huggingface/text-embeddings-inference:cuda-1.9

Запуск модели эмбеддингов:

docker run --gpus all -p 127.0.0.1:8080:80 -v /srv/tei-data:/data \
  ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 \
  --model-id Qwen/Qwen3-Embedding-0.6B \
  --api-key "$TEI_API_KEY" \
  --max-batch-tokens 16384 \
  --max-client-batch-size 64

Реранкер запускают отдельным контейнером на другом порту:

docker run --gpus all -p 127.0.0.1:8081:80 -v /srv/tei-data:/data \
  ghcr.io/huggingface/text-embeddings-inference:cuda-1.9 \
  --model-id BAAI/bge-reranker-v2-m3 \
  --api-key "$TEI_API_KEY"

Ключевые параметры из README:

  • --max-batch-tokens — общее число токенов в батче, по умолчанию 16 384; README называет его одним из главных параметров использования железа и советует ставить максимально возможным, пока модель не упрётся в вычисления;
  • --max-client-batch-size — сколько входов клиент может прислать в одном запросе, по умолчанию 32;
  • --auto-truncate — обрезка слишком длинных входов, по умолчанию включена;
  • --api-key — без него сервер отвечает на любые запросы;
  • --pooling — переопределяет способ объединения векторов токенов, если он не подходит из конфигурации модели.

Эндпоинты: /embed и OpenAI-совместимый /v1/embeddings для эмбеддингов, /rerank для реранкера.

Infinity v3

Infinity — сервер эмбеддингов, реранкинга и классификации. В октябре 2026 года вышла серверная версия v3, написанная на Rust с LibTorch; прежняя Python-версия доступна как v2. По README v3 требует видеокарту NVIDIA с архитектурой Ampere (SM80) или новее и NVIDIA Container Toolkit:

docker run --rm --gpus all -p 127.0.0.1:8000:8000 -v infinity-cache:/data \
  ghcr.io/michaelfeil/infinity_v3:nvidia-3.0.0 \
  --model-id intfloat/multilingual-e5-large-instruct \
  --torch-device cuda --dtype bfloat16 \
  --hostname 0.0.0.0 --port 8000

Особенности по README: по умолчанию используются все видимые GPU, и на каждой работает полная копия модели; эмбеддинги отдаются через /v1/embeddings, реранкинг — через /rerank, есть классификация, разреженные векторы SPLADE и векторы токенов для late interaction; /health сообщает о готовности после загрузки и прогрева. Авторы советуют закреплять версию образа или его дайджест.

Если уже есть vLLM или llama-server

vLLM поддерживает модели эмбеддингов и реранкеры как pooling-модели, а llama-server из llama.cpp отдаёт /v1/embeddings и /reranking для моделей в GGUF. Это удобно, если нужен один тип сервера на всё. Но для эмбеддингов, как правило, запускают отдельный экземпляр со своей моделью, так что выигрыш в простоте небольшой.

Сравнение вариантов

TEI Infinity v3 vLLM / llama-server
Назначение Эмбеддинги, реранкеры, классификаторы Эмбеддинги, реранкинг, классификация, SPLADE В первую очередь генерация
CPU Да, отдельный образ Не по README v3 (NVIDIA SM80+) llama-server — да
OpenAI /v1/embeddings Да Да Да
Реранкинг /rerank /rerank Есть
Тонкая настройка батча --max-batch-tokens и др. Параметры v3 Параметры движка

Как подключить из приложения

import os
import requests
from openai import OpenAI

emb = OpenAI(base_url="http://127.0.0.1:8080/v1", api_key=os.environ["TEI_API_KEY"])
vectors = emb.embeddings.create(
    model="Qwen/Qwen3-Embedding-0.6B",
    input=["Порядок согласования договора поставки", "Сроки возврата товара"],
).data

rerank = requests.post(
    "http://127.0.0.1:8081/rerank",
    headers={"Authorization": "Bearer " + os.environ["TEI_API_KEY"]},
    json={"query": "Сколько дней на возврат?",
          "texts": ["Возврат возможен в течение 14 дней.", "Доставка занимает 3 дня."]},
    timeout=30,
)
print(len(vectors), rerank.json())

Значения в текстах примера условные.

Частые ошибки

  • Разные модели при индексации и поиске. Векторы разных моделей несовместимы. При смене модели эмбеддингов переиндексируйте всю базу.
  • Незаметная обрезка. С --auto-truncate длинный фрагмент молча обрезается, и его конец не попадает в вектор. Согласуйте размер фрагментов с максимальной длиной модели; про нарезку — в статье «Чанкинг документов для RAG».
  • Инструкции и префиксы. Некоторые модели ожидают разные префиксы или инструкции для вопроса и для документа. Проверьте карточку модели.
  • Слишком много кандидатов для реранкера. Задержка растёт пропорционально числу пар.
  • Сервис без ключа. По умолчанию TEI отвечает всем; задайте --api-key и закройте порт.

Как проверить качество и скорость

  1. Соберите 50–200 реальных вопросов с размеченными правильными фрагментами.
  2. Измерьте полноту поиска: в какой доле вопросов правильный фрагмент попал в первые 5, 10 и 20 результатов, с реранкером и без.
  3. Сравните 2–3 модели эмбеддингов; как выбирать кандидатов, описано в чек-листе выбора модели эмбеддингов.
  4. Измерьте задержку поиска с реранкингом при разном числе кандидатов.
  5. Измерьте скорость индексации на пакете документов, близком к реальному объёму.

Частые вопросы

Нужна ли видеокарта для эмбеддингов? Для небольших моделей и умеренного объёма хватает CPU-образа TEI. Видеокарта окупается на больших объёмах индексации и при жёстких требованиях к задержке.

Можно ли держать эмбеддинги и реранкер на одной видеокарте с LLM? Можно, если хватает памяти, но ночная индексация будет конкурировать с ответами пользователей. Ограничьте её по времени или вынесите на отдельный GPU.

Какую модель выбрать для русского языка? Многоязычные модели из таблицы TEI, например Qwen3-Embedding или multilingual-e5, — разумные кандидаты, но выбор стоит делать тестом полноты поиска на своих документах.

Как AI студия Владимира Ломтева помогает с поиском для RAG

AI студия Владимира Ломтева строит RAG-системы и корпоративные базы знаний на серверах компании. Для слоя поиска это означает:

  • подобрать модели эмбеддингов и реранкера тестом на ваших документах и вопросах;
  • развернуть TEI или Infinity с ключами, мониторингом и закреплёнными версиями;
  • настроить индексацию, нарезку документов и число кандидатов для реранкинга;
  • интегрировать поиск с LLM и корпоративными системами.

Первый шаг — выбрать одну базу документов и 50 типичных вопросов к ней и записать, какую долю правильных ответов вы считаете достаточной. Обсудить задачу.

Итог: лёгкий отдельный сервис для поиска

Эмбеддинги и реранкер удобнее вынести из сервера LLM в отдельный сервис на TEI или Infinity: он лёгкий, масштабируется под индексацию и не мешает генерации. Закрепите версию образа, задайте ключ, ограничьте число кандидатов для реранкинга и выбирайте модели по полноте поиска на собственных документах.

Оставить заявку

Заполните форму и мы свяжемся с вами

← Все статьи

Комментарии (0)

Пока нет комментариев. Будьте первым!

Оставить комментарий
Регистрация не требуется