Запустить vLLM в Kubernetes можно на трёх уровнях: обычный Deployment и Service для одной модели и нескольких реплик, KServe с ресурсом LLMInferenceService для платформы с управляемым жизненным циклом моделей и llm-d напрямую, когда нужны маршрутизация по KV-кэшу, очередь с приоритетами и раздельные prefill и decode. Начинать стоит с простого Deployment и переходить на следующий уровень, когда появляется конкретная потребность, а не по умолчанию.
Материал подготовила AI студия Владимира Ломтева 16 ноября 2026 года для DevOps- и платформенных команд, у которых уже есть кластер Kubernetes с GPU. Мы опирались на руководство vLLM по Kubernetes, обзор LLMInferenceService в KServe и заметки к выпуску llm-d 1.0.0. Манифесты проверены на синтаксис YAML, но не применялись нами к кластеру. Версии API сверяйте с CRD, установленными у вас.
Содержание
- Что должно быть в кластере заранее
- Уровень 1: Deployment и Service
- Уровень 2: KServe и LLMInferenceService
- Уровень 3: llm-d напрямую
- Другие варианты
- Сравнение уровней
- Эксплуатация: что продумать на любом уровне
- Как выбрать уровень
- Частые вопросы
Что должно быть в кластере заранее
- GPU-узлы с драйвером и плагином устройств. Под запрашивает видеокарту ресурсом
nvidia.com/gpu(для AMD —amd.com/gpu). Обычно это обеспечивает NVIDIA GPU Operator. - Драйвер, совместимый с образом. С vLLM 0.33.0 образы собираются только под CUDA 13.0, поэтому драйвер на узлах должен её поддерживать. Подробнее — в обзоре новостей локального инференса за ноябрь.
- Хранилище для весов. Скачивать десятки гигабайт при каждом старте пода долго. Нужен PersistentVolume или заранее подготовленный образ с весами.
- Доступ к реестру моделей. Hugging Face с токеном для закрытых моделей или внутреннее зеркало, если кластер в закрытом контуре.
Уровень 1: Deployment и Service
Для одной модели и нескольких одинаковых реплик достаточно стандартных объектов Kubernetes. Пример ниже следует структуре манифеста из руководства vLLM: кэш весов на PVC, токен из Secret, разделяемая память через emptyDir в RAM, проверки готовности по /health.
apiVersion: apps/v1
kind: Deployment
metadata:
name: vllm-qwen3-8b
spec:
replicas: 2
selector:
matchLabels: {app: vllm-qwen3-8b}
template:
metadata:
labels: {app: vllm-qwen3-8b}
spec:
containers:
- name: vllm
image: vllm/vllm-openai:v0.33.0
command: ["vllm", "serve"]
args: ["Qwen/Qwen3-8B", "--host", "0.0.0.0", "--port", "8000"]
env:
- name: HF_TOKEN
valueFrom: {secretKeyRef: {name: hf-token-secret, key: token}}
- name: VLLM_API_KEY
valueFrom: {secretKeyRef: {name: vllm-api-key, key: key}}
ports: [{containerPort: 8000}]
resources:
limits: {nvidia.com/gpu: "1"}
requests: {nvidia.com/gpu: "1"}
volumeMounts:
- {name: cache, mountPath: /root/.cache/huggingface}
- {name: shm, mountPath: /dev/shm}
startupProbe:
httpGet: {path: /health, port: 8000}
periodSeconds: 10
failureThreshold: 90
readinessProbe:
httpGet: {path: /health, port: 8000}
periodSeconds: 10
volumes:
- name: cache
persistentVolumeClaim: {claimName: hf-cache}
- name: shm
emptyDir: {medium: Memory, sizeLimit: 8Gi}
---
apiVersion: v1
kind: Service
metadata:
name: vllm-qwen3-8b
spec:
selector: {app: vllm-qwen3-8b}
ports: [{port: 80, targetPort: 8000}]
Пояснения:
- Разделяемая память. Руководство vLLM указывает, что движку нужен доступ к разделяемой памяти хоста для тензорного параллелизма;
emptyDirсmedium: Memoryмонтируется в/dev/shm. - Проверка запуска. Загрузка модели занимает минуты. Руководство предупреждает: если порог неудачных проверок слишком мал, Kubernetes перезапустит контейнер, а в логах появится
KeyboardInterrupt: terminated. ЗдесьstartupProbeдаёт до 15 минут (90 × 10 секунд), а для своей модели время запуска лучше измерить, временно убрав проверки. - Ключ API. vLLM читает его из переменной
VLLM_API_KEY. Эндпоинт/healthпри этом остаётся доступным для проверок. - Закреплённый образ. Тег
v0.33.0вместоlatest, чтобы обновление было осознанным.
Как готовить и проверять сам контейнер, разобрано в статье «Как запустить vLLM в Docker».
Ограничения этого уровня: Service распределяет запросы по кругу и разрушает пользу prefix caching, нет очереди с приоритетами, а масштабирование по загрузке CPU для GPU-нагрузки бесполезно.
Уровень 2: KServe и LLMInferenceService
KServe — платформа обслуживания моделей для Kubernetes. Для генеративных моделей в ней есть отдельный ресурс LLMInferenceService. По обзору KServe, он построен на llm-d и объединяет движок vLLM с оркестрацией Kubernetes и маршрутизацией. Ресурс поддерживает:
- развёртывание на одном узле и на нескольких узлах через LeaderWorkerSet (
spec.worker); - раздельные prefill и decode (
spec.prefill); - вход через Gateway API и планировщик с маршрутизацией по KV-кэшу и нагрузке (
spec.router); - тензорный, data и expert-параллелизм (
spec.parallelism).
Минимальный манифест по полям из обзора:
apiVersion: serving.kserve.io/v1alpha1
kind: LLMInferenceService
metadata:
name: llama-3-1-8b
spec:
model:
uri: hf://meta-llama/Llama-3.1-8B-Instruct
name: meta-llama/Llama-3.1-8B-Instruct
replicas: 3
router:
gateway: {}
route: {}
scheduler: {}
template:
containers:
- name: main
image: vllm/vllm-openai:v0.33.0
resources:
limits: {nvidia.com/gpu: "1", cpu: "8", memory: 32Gi}
Пустые {} у gateway, route и scheduler означают управляемые значения по умолчанию. В обзоре KServe указана версия API v1alpha1; в части материалов Red Hat 2026 года встречается v1alpha2, поэтому сверьтесь с CRD своей установки. Последний выпуск KServe на странице GitHub на дату подготовки — v0.21.0 от 25 сентября 2026 года.
KServe оправдан, когда моделей несколько, их выкатывают разные команды и нужен единый способ описывать, обновлять и открывать их наружу.
Уровень 3: llm-d напрямую
llm-d — набор компонентов для распределённого инференса в Kubernetes: маршрутизатор с Endpoint Picker на основе Gateway API Inference Extension, индекс KV-кэша, управление потоком запросов, раздельные prefill и decode, автомасштабирование. Выпуск 1.0.0 от 20 октября 2026 года выделяет четыре темы: качество обслуживания для нескольких арендаторов, эксплуатацию без простоя, стабильный API маршрутизатора v1 и обслуживание агентов.
В таблице компонентов выпуска указано, что базовым образом vLLM для llm-d 1.0.0 служит vllm/vllm-openai:v0.30.0, CRD Gateway API Inference Extension — версии v1.6.2. Проект прекращает собирать собственные образы движков и переходит на образы сообществ vLLM, SGLang и TensorRT-LLM.
Механизмы llm-d подробно разобраны в отдельных статьях: очередь запросов с приоритетами, маршрутизация по KV-кэшу между репликами и раздельные prefill и decode.
Работать с llm-d напрямую имеет смысл, если вам нужна тонкая настройка маршрутизации и планирования, которую KServe не открывает, или если вы строите свою платформу.
Другие варианты
Руководство vLLM перечисляет и другие интеграции: Helm, NVIDIA Dynamo, KAITO, KubeRay, LeaderWorkerSet, KubeAI, AIBrix и vLLM production-stack. Production-stack — эталонная схема от команды vLLM с маршрутизатором и Helm-чартом; последний выпуск чарта на GitHub — vllm-stack-0.1.14 от 7 ноября 2026 года.
Сравнение уровней
| Deployment + Service | KServe LLMInferenceService | llm-d напрямую | |
|---|---|---|---|
| Порог входа | Низкий | Средний: KServe и зависимости | Высокий: несколько компонентов |
| Маршрутизация по KV-кэшу | Нет | Да, через планировщик | Да, с тонкой настройкой |
| Очередь с приоритетами | Нет | Через встроенный llm-d | Да |
| Раздельные prefill и decode | Вручную | spec.prefill |
Да, DisaggregatedSet |
| Несколько узлов на модель | Вручную через LWS | spec.worker |
Да |
| Подходит | Одна-две модели, небольшая команда | Платформа для нескольких команд | Крупный парк GPU, своя платформа |
Эксплуатация: что продумать на любом уровне
- Холодный старт. Новая реплика загружает веса минутами. Держите веса на быстром томе или в образе и не рассчитывайте на мгновенное масштабирование при пике.
- Масштабирование по очереди. Масштабировать GPU-нагрузку по CPU бессмысленно. Используйте метрики движка, например
vllm:num_requests_waiting, через Prometheus Adapter или KEDA; что они означают, описано в статье о мониторинге vLLM. - Обновления. Обычный rolling update с
maxSurgeтребует свободной видеокарты под новую реплику. Если её нет, обновление пойдёт с временным уменьшением ёмкости. - Изоляция GPU-узлов. Taints и tolerations, чтобы на дорогие узлы не попадали посторонние поды.
- Сеть. NetworkPolicy, которая пускает к подам vLLM только шлюз, и ключ API в Secret.
- Нагрузочный тест. Перед запуском пользователей проверьте ёмкость по методике из статьи о нагрузочном тесте локальной LLM.
Как выбрать уровень
- Сколько моделей и команд? Одна модель и одна команда — начните с Deployment.
- Есть ли длинные диалоги или общие промпты на нескольких репликах? Если да, нужна маршрутизация по кэшу — KServe или llm-d.
- Нужны ли разные приоритеты для отделов? Если да — flow control llm-d или шлюз с лимитами перед Deployment.
- Есть ли команда, готовая поддерживать KServe или llm-d? Если нет, сложная платформа станет источником инцидентов.
- Проверьте выбор на пилоте с реальной нагрузкой и метриками до переноса пользователей.
Частые вопросы
Обязательно ли использовать Kubernetes для vLLM? Нет. Для одного-двух серверов проще Docker и systemd. Kubernetes окупается, когда серверов и моделей много или он уже является стандартом в компании.
Можно ли запустить модель на нескольких узлах обычным Deployment? Не напрямую. Для этого используют LeaderWorkerSet, spec.worker в KServe или llm-d.
Как хранить веса в закрытом контуре? Во внутреннем хранилище или в образе контейнера, загруженном через внутренний реестр. Порядок подготовки офлайн-выпуска описан в статье «LLM без интернета».
Нужен ли GPU Operator? Нужен способ установить драйвер и плагин устройств на узлы. GPU Operator — распространённый вариант, но не единственный.
Как AI студия Владимира Ломтева помогает развернуть vLLM в Kubernetes
AI студия Владимира Ломтева разворачивает LLM на собственных серверах компаний и интегрирует их с инфраструктурой. Для Kubernetes это означает:
- оценить нагрузку и выбрать уровень: Deployment, KServe или llm-d;
- подготовить манифесты, хранение весов, проверки готовности и ключи доступа;
- настроить метрики, масштабирование по очереди и процедуру обновления;
- провести нагрузочный тест и обучить команду эксплуатации.
Первый шаг — выбрать одну модель и сервис, записать ожидаемое число пользователей и целевые задержки и проверить их на тестовом пространстве имён. Обсудить задачу.
Итог: от простого к сложному
Большинству компаний для старта хватит Deployment и Service с правильными проверками готовности, кэшем весов и закреплённым образом. KServe нужен, когда моделей и команд становится много, а llm-d напрямую — когда маршрутизация, очереди и раздельные фазы требуют тонкой настройки. Переходите на следующий уровень по измеренной потребности.






