vLLM в Kubernetes: Deployment, KServe или llm-d

vLLM в Kubernetes
KServe LLMInferenceService
llm-d Kubernetes vLLM
vLLM в Kubernetes: Deployment, KServe или llm-d

Запустить vLLM в Kubernetes можно на трёх уровнях: обычный Deployment и Service для одной модели и нескольких реплик, KServe с ресурсом LLMInferenceService для платформы с управляемым жизненным циклом моделей и llm-d напрямую, когда нужны маршрутизация по KV-кэшу, очередь с приоритетами и раздельные prefill и decode. Начинать стоит с простого Deployment и переходить на следующий уровень, когда появляется конкретная потребность, а не по умолчанию.

Материал подготовила AI студия Владимира Ломтева 16 ноября 2026 года для DevOps- и платформенных команд, у которых уже есть кластер Kubernetes с GPU. Мы опирались на руководство vLLM по Kubernetes, обзор LLMInferenceService в KServe и заметки к выпуску llm-d 1.0.0. Манифесты проверены на синтаксис YAML, но не применялись нами к кластеру. Версии API сверяйте с CRD, установленными у вас.

Содержание

Что должно быть в кластере заранее

  • GPU-узлы с драйвером и плагином устройств. Под запрашивает видеокарту ресурсом nvidia.com/gpu (для AMD — amd.com/gpu). Обычно это обеспечивает NVIDIA GPU Operator.
  • Драйвер, совместимый с образом. С vLLM 0.33.0 образы собираются только под CUDA 13.0, поэтому драйвер на узлах должен её поддерживать. Подробнее — в обзоре новостей локального инференса за ноябрь.
  • Хранилище для весов. Скачивать десятки гигабайт при каждом старте пода долго. Нужен PersistentVolume или заранее подготовленный образ с весами.
  • Доступ к реестру моделей. Hugging Face с токеном для закрытых моделей или внутреннее зеркало, если кластер в закрытом контуре.

Уровень 1: Deployment и Service

Для одной модели и нескольких одинаковых реплик достаточно стандартных объектов Kubernetes. Пример ниже следует структуре манифеста из руководства vLLM: кэш весов на PVC, токен из Secret, разделяемая память через emptyDir в RAM, проверки готовности по /health.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: vllm-qwen3-8b
spec:
  replicas: 2
  selector:
    matchLabels: {app: vllm-qwen3-8b}
  template:
    metadata:
      labels: {app: vllm-qwen3-8b}
    spec:
      containers:
      - name: vllm
        image: vllm/vllm-openai:v0.33.0
        command: ["vllm", "serve"]
        args: ["Qwen/Qwen3-8B", "--host", "0.0.0.0", "--port", "8000"]
        env:
        - name: HF_TOKEN
          valueFrom: {secretKeyRef: {name: hf-token-secret, key: token}}
        - name: VLLM_API_KEY
          valueFrom: {secretKeyRef: {name: vllm-api-key, key: key}}
        ports: [{containerPort: 8000}]
        resources:
          limits: {nvidia.com/gpu: "1"}
          requests: {nvidia.com/gpu: "1"}
        volumeMounts:
        - {name: cache, mountPath: /root/.cache/huggingface}
        - {name: shm, mountPath: /dev/shm}
        startupProbe:
          httpGet: {path: /health, port: 8000}
          periodSeconds: 10
          failureThreshold: 90
        readinessProbe:
          httpGet: {path: /health, port: 8000}
          periodSeconds: 10
      volumes:
      - name: cache
        persistentVolumeClaim: {claimName: hf-cache}
      - name: shm
        emptyDir: {medium: Memory, sizeLimit: 8Gi}
---
apiVersion: v1
kind: Service
metadata:
  name: vllm-qwen3-8b
spec:
  selector: {app: vllm-qwen3-8b}
  ports: [{port: 80, targetPort: 8000}]

Пояснения:

  • Разделяемая память. Руководство vLLM указывает, что движку нужен доступ к разделяемой памяти хоста для тензорного параллелизма; emptyDir с medium: Memory монтируется в /dev/shm.
  • Проверка запуска. Загрузка модели занимает минуты. Руководство предупреждает: если порог неудачных проверок слишком мал, Kubernetes перезапустит контейнер, а в логах появится KeyboardInterrupt: terminated. Здесь startupProbe даёт до 15 минут (90 × 10 секунд), а для своей модели время запуска лучше измерить, временно убрав проверки.
  • Ключ API. vLLM читает его из переменной VLLM_API_KEY. Эндпоинт /health при этом остаётся доступным для проверок.
  • Закреплённый образ. Тег v0.33.0 вместо latest, чтобы обновление было осознанным.

Как готовить и проверять сам контейнер, разобрано в статье «Как запустить vLLM в Docker».

Ограничения этого уровня: Service распределяет запросы по кругу и разрушает пользу prefix caching, нет очереди с приоритетами, а масштабирование по загрузке CPU для GPU-нагрузки бесполезно.

Уровень 2: KServe и LLMInferenceService

KServe — платформа обслуживания моделей для Kubernetes. Для генеративных моделей в ней есть отдельный ресурс LLMInferenceService. По обзору KServe, он построен на llm-d и объединяет движок vLLM с оркестрацией Kubernetes и маршрутизацией. Ресурс поддерживает:

  • развёртывание на одном узле и на нескольких узлах через LeaderWorkerSet (spec.worker);
  • раздельные prefill и decode (spec.prefill);
  • вход через Gateway API и планировщик с маршрутизацией по KV-кэшу и нагрузке (spec.router);
  • тензорный, data и expert-параллелизм (spec.parallelism).

Минимальный манифест по полям из обзора:

apiVersion: serving.kserve.io/v1alpha1
kind: LLMInferenceService
metadata:
  name: llama-3-1-8b
spec:
  model:
    uri: hf://meta-llama/Llama-3.1-8B-Instruct
    name: meta-llama/Llama-3.1-8B-Instruct
  replicas: 3
  router:
    gateway: {}
    route: {}
    scheduler: {}
  template:
    containers:
    - name: main
      image: vllm/vllm-openai:v0.33.0
      resources:
        limits: {nvidia.com/gpu: "1", cpu: "8", memory: 32Gi}

Пустые {} у gateway, route и scheduler означают управляемые значения по умолчанию. В обзоре KServe указана версия API v1alpha1; в части материалов Red Hat 2026 года встречается v1alpha2, поэтому сверьтесь с CRD своей установки. Последний выпуск KServe на странице GitHub на дату подготовки — v0.21.0 от 25 сентября 2026 года.

KServe оправдан, когда моделей несколько, их выкатывают разные команды и нужен единый способ описывать, обновлять и открывать их наружу.

Уровень 3: llm-d напрямую

llm-d — набор компонентов для распределённого инференса в Kubernetes: маршрутизатор с Endpoint Picker на основе Gateway API Inference Extension, индекс KV-кэша, управление потоком запросов, раздельные prefill и decode, автомасштабирование. Выпуск 1.0.0 от 20 октября 2026 года выделяет четыре темы: качество обслуживания для нескольких арендаторов, эксплуатацию без простоя, стабильный API маршрутизатора v1 и обслуживание агентов.

В таблице компонентов выпуска указано, что базовым образом vLLM для llm-d 1.0.0 служит vllm/vllm-openai:v0.30.0, CRD Gateway API Inference Extension — версии v1.6.2. Проект прекращает собирать собственные образы движков и переходит на образы сообществ vLLM, SGLang и TensorRT-LLM.

Механизмы llm-d подробно разобраны в отдельных статьях: очередь запросов с приоритетами, маршрутизация по KV-кэшу между репликами и раздельные prefill и decode.

Работать с llm-d напрямую имеет смысл, если вам нужна тонкая настройка маршрутизации и планирования, которую KServe не открывает, или если вы строите свою платформу.

Другие варианты

Руководство vLLM перечисляет и другие интеграции: Helm, NVIDIA Dynamo, KAITO, KubeRay, LeaderWorkerSet, KubeAI, AIBrix и vLLM production-stack. Production-stack — эталонная схема от команды vLLM с маршрутизатором и Helm-чартом; последний выпуск чарта на GitHub — vllm-stack-0.1.14 от 7 ноября 2026 года.

Сравнение уровней

Deployment + Service KServe LLMInferenceService llm-d напрямую
Порог входа Низкий Средний: KServe и зависимости Высокий: несколько компонентов
Маршрутизация по KV-кэшу Нет Да, через планировщик Да, с тонкой настройкой
Очередь с приоритетами Нет Через встроенный llm-d Да
Раздельные prefill и decode Вручную spec.prefill Да, DisaggregatedSet
Несколько узлов на модель Вручную через LWS spec.worker Да
Подходит Одна-две модели, небольшая команда Платформа для нескольких команд Крупный парк GPU, своя платформа

Эксплуатация: что продумать на любом уровне

  • Холодный старт. Новая реплика загружает веса минутами. Держите веса на быстром томе или в образе и не рассчитывайте на мгновенное масштабирование при пике.
  • Масштабирование по очереди. Масштабировать GPU-нагрузку по CPU бессмысленно. Используйте метрики движка, например vllm:num_requests_waiting, через Prometheus Adapter или KEDA; что они означают, описано в статье о мониторинге vLLM.
  • Обновления. Обычный rolling update с maxSurge требует свободной видеокарты под новую реплику. Если её нет, обновление пойдёт с временным уменьшением ёмкости.
  • Изоляция GPU-узлов. Taints и tolerations, чтобы на дорогие узлы не попадали посторонние поды.
  • Сеть. NetworkPolicy, которая пускает к подам vLLM только шлюз, и ключ API в Secret.
  • Нагрузочный тест. Перед запуском пользователей проверьте ёмкость по методике из статьи о нагрузочном тесте локальной LLM.

Как выбрать уровень

  1. Сколько моделей и команд? Одна модель и одна команда — начните с Deployment.
  2. Есть ли длинные диалоги или общие промпты на нескольких репликах? Если да, нужна маршрутизация по кэшу — KServe или llm-d.
  3. Нужны ли разные приоритеты для отделов? Если да — flow control llm-d или шлюз с лимитами перед Deployment.
  4. Есть ли команда, готовая поддерживать KServe или llm-d? Если нет, сложная платформа станет источником инцидентов.
  5. Проверьте выбор на пилоте с реальной нагрузкой и метриками до переноса пользователей.

Частые вопросы

Обязательно ли использовать Kubernetes для vLLM? Нет. Для одного-двух серверов проще Docker и systemd. Kubernetes окупается, когда серверов и моделей много или он уже является стандартом в компании.

Можно ли запустить модель на нескольких узлах обычным Deployment? Не напрямую. Для этого используют LeaderWorkerSet, spec.worker в KServe или llm-d.

Как хранить веса в закрытом контуре? Во внутреннем хранилище или в образе контейнера, загруженном через внутренний реестр. Порядок подготовки офлайн-выпуска описан в статье «LLM без интернета».

Нужен ли GPU Operator? Нужен способ установить драйвер и плагин устройств на узлы. GPU Operator — распространённый вариант, но не единственный.

Как AI студия Владимира Ломтева помогает развернуть vLLM в Kubernetes

AI студия Владимира Ломтева разворачивает LLM на собственных серверах компаний и интегрирует их с инфраструктурой. Для Kubernetes это означает:

  • оценить нагрузку и выбрать уровень: Deployment, KServe или llm-d;
  • подготовить манифесты, хранение весов, проверки готовности и ключи доступа;
  • настроить метрики, масштабирование по очереди и процедуру обновления;
  • провести нагрузочный тест и обучить команду эксплуатации.

Первый шаг — выбрать одну модель и сервис, записать ожидаемое число пользователей и целевые задержки и проверить их на тестовом пространстве имён. Обсудить задачу.

Итог: от простого к сложному

Большинству компаний для старта хватит Deployment и Service с правильными проверками готовности, кэшем весов и закреплённым образом. KServe нужен, когда моделей и команд становится много, а llm-d напрямую — когда маршрутизация, очереди и раздельные фазы требуют тонкой настройки. Переходите на следующий уровень по измеренной потребности.

Оставить заявку

Заполните форму и мы свяжемся с вами

← Все статьи

Комментарии (0)

Пока нет комментариев. Будьте первым!

Оставить комментарий
Регистрация не требуется