Раздельные prefill и decode: когда разносить фазы LLM по GPU

раздельные prefill и decode
P/D disaggregation LLM
llm-d DisaggregatedSet
Раздельные prefill и decode: когда разносить фазы LLM по GPU

Раздельные prefill и decode (P/D disaggregation) — схема, в которой обработку входного промпта и генерацию ответа выполняют разные группы GPU, а KV-кэш передаётся между ними по быстрой сети. Она позволяет настраивать время до первого токена и скорость генерации отдельно и убирает скачки задержки, когда чужой длинный prefill тормозит идущие ответы. Пропускную способность сама по себе она не увеличивает, требует RDMA-сети и окупается на больших моделях с длинными промптами, а не на коротких диалогах.

Материал подготовила AI студия Владимира Ломтева 16 ноября 2026 года для архитекторов и инженеров, которые планируют кластер инференса на несколько серверов. Мы опирались на документацию vLLM и llm-d, репозиторий Mooncake и статью DistServe. Собственных замеров не проводили. Цифры конфигураций приведены так, как их дают авторы источников.

Содержание

Чем prefill отличается от decode

Prefill обрабатывает весь входной промпт за один проход: тысячи токенов параллельно. Эта фаза упирается в вычисления GPU. Decode генерирует ответ по одному токену за шаг и на каждом шаге читает веса модели и KV-кэш. Эта фаза упирается в пропускную способность памяти. Подробнее обе фазы разобраны в гиде по движкам и ускорению инференса.

Когда обе фазы выполняются на одном GPU, они мешают друг другу. Длинный prefill нового запроса занимает шаг, и у пользователей, которым уже идёт ответ, появляется пауза между токенами. Авторы DistServe показали, что разнесение фаз по разным GPU устраняет эту интерференцию и позволяет подобрать параллелизм и ресурсы под каждую фазу отдельно.

Внутри одного экземпляра с той же проблемой борется chunked prefill: длинный промпт режется на части и перемежается с decode-шагами. Как его настраивать, описано в статье об очереди запросов к LLM. Раздельные фазы — следующий уровень, когда разбиения уже недостаточно.

Как устроена схема

  1. Запрос приходит на маршрутизатор.
  2. Маршрутизатор выбирает decode-реплику и решает, нужен ли отдельный prefill. Если большая часть промпта уже есть в кэше decode-реплики, prefill можно сделать на месте.
  3. Prefill-реплика обрабатывает промпт и формирует KV-кэш.
  4. KV-кэш передаётся на decode-реплику через библиотеку передачи — NIXL, Mooncake Transfer Engine или LMCache.
  5. Decode-реплика генерирует ответ и возвращает его клиенту.

Ключевая цена схемы — передача кэша. Для длинного промпта это сотни мегабайт или гигабайты. Расчёт объёма на токен приведён в статье о выгрузке KV-кэша в RAM и на NVMe: для условной модели со 128 КиБ на токен промпт длиной 10 000 токенов даёт около 1,2 ГиБ кэша (128 КиБ × 10 000 = 1 280 000 КиБ ≈ 1,22 ГиБ). Без RDMA-сети такая передача съест выигрыш.

Что говорит документация vLLM

В описании disaggregated prefill в vLLM названы две причины использовать схему: отдельно настраивать время до первого токена и межтокенную задержку и контролировать хвост межтокенной задержки, потому что prefill больше не прерывает decode. Там же прямо написано, что disaggregated prefill не повышает пропускную способность, а функция помечена как экспериментальная.

Передачу кэша vLLM выполняет через коннекторы, указанные в --kv-transfer-config. В документации перечислены, в частности, NixlConnector, MooncakeConnector, LMCacheConnectorV1, MultiConnector и MoRIIOConnector для ROCm. Набор меняется от версии к версии, поэтому сверяйтесь с документацией той версии, которую разворачиваете.

llm-d: P/D в Kubernetes

В llm-d раздельные фазы — один из основных сценариев. По архитектурному описанию P/D:

  • prefill- и decode-поды работают в одном InferencePool и различаются метками ролей;
  • перед decode-движком стоит прокси-сайдкар, который сначала отправляет prefill на удалённую реплику, а затем передаёт обогащённый запрос локальному decode;
  • маршрутизатор сначала выбирает decode-реплику, а prefill-реплику добавляет, только если у промпта большой некэшированный хвост;
  • если prefill-реплика вернула ошибку сервера, сайдкар для vLLM переходит в режим только decode;
  • кэш передаёт NIXL, а с GPUDirect RDMA передача может идти в обход CPU.

Документация называет подходящие нагрузки: длинный контекст с соотношением входа к выходу порядка 10:1, средние и большие модели и разреженные MoE-модели с широким параллелизмом экспертов. И прямо говорит, что P/D подходит не для всех нагрузок: для коротких запросов вроде 200 токенов на входе и 200 на выходе схема не нужна.

Для сети требуются RDMA-соединения: UCX поверх InfiniBand или RoCE, UCCL поверх IB, RoCE, TCP-X или EFA, libfabric поверх EFA. Без RDMA NIXL переходит на TCP, и документация рекомендует такой режим только для тестов и разработки.

Фиксированного соотношения prefill- и decode-реплик нет. В качестве примера llm-d приводит 8 prefill-подов с TP=1 и 2 decode-пода с TP=4, всего 16 GPU, для нагрузки 5000 токенов входа и 250 выхода на gpt-oss-120b. Это пример авторов для их модели, а не правило: соотношение подбирают под свою длину входа и выхода.

DisaggregatedSet: обновления без простоя

В выпуске llm-d v1.0.0 от 20 октября 2026 года появился DisaggregatedSet — способ управлять prefill- и decode-репликами как одной логической единицей. По его описанию это контроллер Kubernetes поверх LeaderWorkerSet:

  • каждая роль из spec.roles превращается в отдельный LeaderWorkerSet и масштабируется независимо, в том числе через HPA или KEDA;
  • обновления ролей координируются так, чтобы сохранялось соотношение prefill к decode;
  • новая ревизия получает трафик, только когда в каждой обязательной роли есть готовая группа;
  • во время обновления prefill и decode одного запроса обслуживает одна ревизия.

Последний пункт важен: если обновить prefill-реплики на новую версию модели или движка раньше decode, формат кэша может не совпасть, и ответы испортятся.

Mooncake и другие реализации

Mooncake описывает себя как архитектуру обслуживания LLM с раздельными фазами, построенную вокруг KV-кэша, и называет себя платформой обслуживания сервиса Kimi от Moonshot AI. Авторы пишут, что на реальной нагрузке архитектура позволила Kimi обрабатывать на 75% больше запросов при соблюдении целевых задержек; это их собственная оценка из статьи на конференции FAST 2025. Из проекта вышел Mooncake Transfer Engine, который используют vLLM, SGLang и LMCache для передачи кэша.

NVIDIA Dynamo тоже поддерживает раздельные фазы. По материалу LMCache о Dynamo 1.0, в такой схеме prefill-воркер может выгружать кэш через LMCache, а передачу между prefill и decode выполняет NIXL.

Когда раздельные фазы оправданы

Признак Скорее нужно Скорее не нужно
Длина входа и выхода Входы в тысячи токенов, выходы короче Короткие диалоги, вход и выход сопоставимы
Модель Крупная, на нескольких GPU, MoE Помещается на один GPU
Требования к задержке Жёсткий хвост межтокенной задержки Достаточно среднего
Сеть InfiniBand или RoCE между серверами Обычный Ethernet без RDMA
Масштаб Десятки GPU и стабильная нагрузка Один-два сервера
Команда Есть опыт эксплуатации Kubernetes и сетей RDMA Нет выделенной инфраструктурной команды

Если большинство ответов «скорее не нужно», начните с chunked prefill, настройки max-num-batched-tokens, маршрутизации по KV-кэшу и обычных реплик. Это проще и дешевле.

Риски и что проверить до запуска

  • Сеть. Измерьте пропускную способность и задержку между серверами до развёртывания. Передача кэша по TCP может сделать схему медленнее обычной.
  • Ёмкость prefill-пула. Убедитесь, что настроенная максимальная длина контекста помещается в KV-пул prefill-реплики. В разборе LMSYS от 26 октября 2026 года несоответствие этих двух величин названо корневой ошибкой конфигурации инцидента, при котором в SGLang с раздельными фазами пользователи могли получить фрагменты чужого контекста. Исправления вошли в SGLang 0.5.21 и более поздние версии.
  • Отмена запросов. Маршрутизатор должен отменять обе половины пары prefill/decode при обрыве клиента. Это одна из рекомендаций того же разбора.
  • Совместимость версий. Prefill и decode должны работать на одной версии движка и модели.
  • Отказы. Решите, что происходит при падении prefill-реплики: переход в режим только decode, повтор или ошибка клиенту.
  • Наблюдаемость. Отдельно измеряйте время prefill, время передачи кэша и межтокенную задержку decode. Иначе непонятно, какая часть цепочки тормозит. Базовые панели описаны в статье о мониторинге vLLM.

Как провести пилот

  1. Снимите профиль нагрузки: распределение длины входа и выхода, долю повторяющихся префиксов, пиковые запросы в секунду.
  2. Запишите целевые значения p95 времени до первого токена и межтокенной задержки.
  3. Соберите базовую линию на обычных репликах с chunked prefill.
  4. Разверните минимальную схему: одна prefill-реплика и одна decode-реплика на серверах с RDMA.
  5. Подайте ту же нагрузку и сравните задержки, время передачи кэша и число GPU.
  6. Подберите соотношение prefill и decode, если одна из ролей простаивает.
  7. Проверьте сценарии отказа и обновления до перевода трафика.

Частые вопросы

Ускорят ли раздельные фазы мой сервис? Они выравнивают межтокенную задержку и позволяют раздельно настраивать фазы. Документация vLLM прямо говорит, что пропускную способность они не повышают. Окупаются они там, где интерференция фаз мешает уложиться в целевые задержки.

Можно ли запустить P/D на одном сервере с двумя GPU? Технически да, кэш пойдёт по NVLink или PCIe. Но на одном сервере выигрыш обычно меньше, чем сложность. Сначала попробуйте chunked prefill.

Нужен ли Kubernetes? Для llm-d и DisaggregatedSet — да. vLLM, SGLang и Dynamo позволяют собрать раздельные фазы и без него, но тогда маршрутизацию, обновления и отказы придётся решать самостоятельно.

Какое соотношение prefill и decode выбрать? Универсального нет. Оно зависит от длины входа и выхода. Начните с одной реплики каждой роли и смотрите, какая из них упирается в ресурсы.

Как AI студия Владимира Ломтева помогает с архитектурой инференса

AI студия Владимира Ломтева проектирует и разворачивает LLM на собственных серверах компаний. Для решения о раздельных фазах это означает:

  • снять профиль нагрузки и проверить, где возникает интерференция prefill и decode;
  • сравнить на пилоте обычные реплики с chunked prefill и схему с раздельными фазами;
  • спроектировать маршрутизацию, обновления и мониторинг выбранной схемы;
  • передать команде критерии, по которым схему стоит масштабировать или откатить.

Первый шаг — выбрать один сервис, записать его профиль запросов и целевые задержки и проверить, укладывается ли он в них на обычных репликах. Обсудить задачу.

Итог: сначала докажите интерференцию

Раздельные prefill и decode — мощный инструмент для крупных моделей с длинными промптами и жёсткими требованиями к задержке, но с высокой ценой: RDMA-сеть, больше движущихся частей и новые классы ошибок. Принимайте решение по измерениям: если обычные реплики с chunked prefill и маршрутизацией по кэшу укладываются в цели, усложнять архитектуру не нужно.

Оставить заявку

Заполните форму и мы свяжемся с вами

← Все статьи

Комментарии (0)

Пока нет комментариев. Будьте первым!

Оставить комментарий
Регистрация не требуется