vLLM умеет обслуживать одну базовую модель и много LoRA-адаптеров одновременно: адаптер выбирается по полю model в запросе, а запросы к разным адаптерам и к базовой модели обрабатываются в одном батче. Это позволяет держать на одной видеокарте десяток специализированных «моделей» для разных отделов вместо десятка отдельных серверов. Включается режим флагом --enable-lora, а ёмкость задают --max-loras, --max-lora-rank и --max-cpu-loras.
Материал подготовила AI студия Владимира Ломтева 16 ноября 2026 года для команд, которые дообучили или собираются дообучить модель под несколько задач. Параметры и эндпоинты сверены с документацией vLLM по LoRA и справочником аргументов движка. Собственных замеров скорости мы не проводили, расчёт памяти ниже условный.
Содержание
- Зачем нужны несколько адаптеров
- Сколько памяти занимает адаптер: расчёт
- Запуск с несколькими адаптерами
- Параметры ёмкости
- Как клиенту выбрать адаптер
- Загрузка адаптеров без перезапуска
- Как проверить, что всё работает
- Ограничения
- Частые вопросы
Зачем нужны несколько адаптеров
LoRA — способ дообучения, при котором исходные веса модели не меняются, а рядом с некоторыми матрицами добавляются маленькие матрицы низкого ранга. Результат обучения — небольшой адаптер, а не новая копия модели. Как выбирать между LoRA, полным дообучением и другими подходами, разобрано в статье «Дообучение моделей: SFT, LoRA и QLoRA».
Типичная ситуация: юристам нужна модель, которая пишет в стиле внутренних заключений, поддержке — модель с тоном компании, аналитикам — модель, которая уверенно отвечает в JSON. Три полных дообученных модели по 16 ГБ требуют трёх видеокарт или трёх загрузок по очереди. Три адаптера к одной базовой модели помещаются рядом с ней на одной видеокарте.
Идею массового обслуживания адаптеров развивали исследователи: авторы S-LoRA показали, как одна система может обслуживать тысячи адаптеров с общей базовой моделью, храня их в оперативной памяти и подгружая на GPU по необходимости. vLLM реализует похожий подход.
Сколько памяти занимает адаптер: расчёт
Для матрицы размером d_out × d_in адаптер ранга r добавляет r × (d_in + d_out) параметров. Условный пример для конфигурации, похожей на 8B-модели: 32 слоя, скрытая размерность 4096, KV-проекции 1024 из-за GQA, адаптеры на проекциях q, k, v и o, ранг 16.
| Проекция | Размер | Параметров адаптера на слой |
|---|---|---|
| q | 4096 × 4096 | 16 × (4096 + 4096) = 131 072 |
| k | 1024 × 4096 | 16 × (4096 + 1024) = 81 920 |
| v | 1024 × 4096 | 16 × (4096 + 1024) = 81 920 |
| o | 4096 × 4096 | 16 × (4096 + 4096) = 131 072 |
| Всего | 425 984 |
На 32 слоя это 13 631 488 параметров, в BF16 по 2 байта — около 26 МиБ. Базовая модель такого размера в BF16 занимает порядка 16 ГБ. Значит, сами адаптеры дешёвые по памяти, и ограничивают вас не они, а число адаптеров в одном батче и вычислительная нагрузка на их применение.
Запуск с несколькими адаптерами
Адаптеры можно перечислить при запуске через --lora-modules в форме имя=путь:
vllm serve Qwen/Qwen3-8B \
--host 127.0.0.1 --port 8000 \
--api-key "$VLLM_API_KEY" \
--enable-lora \
--lora-modules legal=/srv/lora/legal support=/srv/lora/support analytics=/srv/lora/analytics \
--max-loras 4 \
--max-lora-rank 16 \
--max-cpu-loras 16
Есть и JSON-форма, в которой можно указать базовую модель адаптера:
vllm serve Qwen/Qwen3-8B --enable-lora \
--lora-modules '{"name": "legal", "path": "/srv/lora/legal", "base_model_name": "Qwen/Qwen3-8B"}'
После запуска /v1/models покажет базовую модель и каждый адаптер; у адаптера в поле parent будет указана базовая модель.
Параметры ёмкости
| Параметр | По умолчанию | Что делает |
|---|---|---|
--max-loras |
1 | Сколько разных адаптеров может быть в одном батче |
--max-lora-rank |
16 | Максимальный ранг; допустимы значения 1, 8, 16, 32, 64, 128, 256, 320, 512 |
--max-cpu-loras |
не указано в справочнике | Сколько адаптеров держать в оперативной памяти; не меньше max-loras |
--lora-dtype |
auto |
Тип данных адаптеров; auto берёт тип базовой модели |
--fully-sharded-loras |
выключено | Полное шардирование вычислений LoRA при тензорном параллелизме |
Самая частая ошибка — оставить --max-loras по умолчанию. При значении 1 в каждом батче может быть только один адаптер: запросы к разным адаптерам будут ждать друг друга, и выигрыш от общего сервера пропадёт. Документация говорит, что одновременность запросов к разным адаптерам зависит от того, достаточно ли велико max_loras.
--max-lora-rank должен соответствовать наибольшему рангу ваших адаптеров. Документация предупреждает, что слишком большое значение тратит память впустую. Если один адаптер обучен с рангом 64, а остальные с 16, придётся ставить 64 для всех.
Флаг --fully-sharded-loras по справочнику по умолчанию выключен: при тензорном параллелизме шардируется только половина вычислений LoRA. Полное шардирование, вероятно, быстрее при длинных последовательностях, большом ранге или большом числе GPU.
Как клиенту выбрать адаптер
Адаптер выбирают так же, как модель, — полем model:
import os
from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key=os.environ["VLLM_API_KEY"])
def ask(adapter: str, text: str) -> str:
reply = client.chat.completions.create(
model=adapter, # "legal", "support", "analytics" или базовая модель
messages=[{"role": "user", "content": text}],
max_tokens=400,
)
return reply.choices[0].message.content
print(ask("support", "Клиент пишет, что заказ задерживается на неделю. Ответь вежливо."))
Запросы к адаптерам и к базовой модели обрабатываются вместе. На шлюзе удобно сопоставлять отдел или ключ API с именем адаптера, чтобы пользователи не выбирали его вручную. Варианты шлюзов разобраны в статье о корпоративном доступе к ИИ.
Загрузка адаптеров без перезапуска
vLLM может загружать и выгружать адаптеры во время работы через /v1/load_lora_adapter и /v1/unload_lora_adapter. Для этого нужна переменная окружения VLLM_ALLOW_RUNTIME_LORA_UPDATING=True.
curl -X POST http://127.0.0.1:8000/v1/load_lora_adapter \
-H "Authorization: Bearer $VLLM_API_KEY" -H "Content-Type: application/json" \
-d '{"lora_name": "hr", "lora_path": "/srv/lora/hr"}'
curl -X POST http://127.0.0.1:8000/v1/unload_lora_adapter \
-H "Authorization: Bearer $VLLM_API_KEY" -H "Content-Type: application/json" \
-d '{"lora_name": "hr"}'
Параметр load_inplace: true заменяет адаптер с тем же именем. Документация связывает это с асинхронным обучением с подкреплением: адаптер обновляется, не прерывая текущую генерацию.
Важно: документация прямо предупреждает, что загрузка адаптеров во время работы несёт риски безопасности и не должна использоваться в продакшене, кроме изолированной полностью доверенной среды. Тот, кто может вызвать эти эндпоинты, может подменить поведение модели. Если без динамической загрузки не обойтись, закройте эндпоинты на шлюзе и разрешите их только системе развёртывания.
Есть и плагины-резолверы, которые находят адаптер по имени: в локальном каталоге (lora_filesystem_resolver) или в репозиториях Hugging Face (lora_hf_hub_resolver). Загрузку с Hugging Face документация считает небезопасной и не предназначенной для продакшена.
Как проверить, что всё работает
- Качество каждого адаптера. Прогоните набор тестовых запросов отдельно по каждому адаптеру и по базовой модели. Адаптер должен давать ожидаемое поведение, базовая модель — не меняться.
- Смешанная нагрузка. Подайте одновременные запросы к разным адаптерам и проверьте, что время до первого токена не растёт скачками. Если растёт — увеличьте
--max-loras. - Вытеснение. Если адаптеров больше, чем
--max-cpu-loras, редкие адаптеры будут загружаться с диска; измерьте задержку первого запроса к такому адаптеру. - Сравнение с базовой моделью. Сравните пропускную способность при запросах только к базовой модели и при смешанной нагрузке. Применение адаптеров добавляет вычислений; разница зависит от ранга, числа адаптеров и железа.
Методика нагрузочного теста описана в статье «Нагрузочный тест локальной LLM».
Ограничения
- Все адаптеры должны быть обучены для одной и той же базовой модели и её версии.
- Ранг выше
--max-lora-rankне загрузится. - Не все архитектуры и квантованные форматы поддерживают LoRA одинаково; проверяйте по документации своей версии. В SGLang, например, LoRA-адаптеры поверх квантованных MoE-моделей появились только в версии 0.5.23 как опциональный движок.
- Если адаптеру нужны другие токены или шаблон чата, понадобится отдельная модель, а не адаптер.
Частые вопросы
Сколько адаптеров можно держать на одной видеокарте? По памяти — много: в условном примере выше адаптер занимает около 26 МиБ. Практический предел задают --max-loras для одного батча, оперативная память для --max-cpu-loras и допустимое замедление.
Можно ли объединить адаптер с моделью, чтобы не настраивать LoRA в vLLM? Можно слить веса адаптера с базовой моделью и получить отдельную модель. Это упрощает запуск одной специализированной модели, но лишает преимущества общего сервера для нескольких.
Что будет, если клиент укажет несуществующий адаптер? Без резолверов адаптер с таким именем не будет найден, и запрос завершится ошибкой. С резолвером он попробует найти адаптер по имени, поэтому резолверы стоит ограничивать доверенными каталогами.
Как AI студия Владимира Ломтева помогает с LoRA-адаптерами
AI студия Владимира Ломтева выполняет развёртывание и дообучение LLM, в том числе на серверах компании. Для нескольких адаптеров это означает:
- определить, какие задачи действительно требуют дообучения, а какие решаются промптом или RAG;
- подготовить данные и обучить адаптеры под одну базовую модель;
- развернуть vLLM с несколькими адаптерами и сопоставить их с отделами на шлюзе;
- проверить качество каждого адаптера и поведение сервера под смешанной нагрузкой.
Первый шаг — выбрать один процесс, где базовая модель отвечает не так, как нужно, собрать примеры правильных ответов и записать критерий, по которому адаптер будет считаться удачным. Обсудить задачу.
Итог: один сервер, много специализаций
Несколько LoRA-адаптеров на одной модели позволяют обслуживать разные задачи одной видеокартой. Включите --enable-lora, поднимите --max-loras до числа адаптеров, которые реально используются одновременно, выставьте --max-lora-rank по самому большому адаптеру и не открывайте динамическую загрузку наружу. Качество каждого адаптера и поведение под смешанной нагрузкой проверяйте тестами до запуска пользователей.






