Раздельные prefill и decode (P/D disaggregation) — схема, в которой обработку входного промпта и генерацию ответа выполняют разные группы GPU, а KV-кэш передаётся между ними по быстрой сети. Она позволяет настраивать время до первого токена и скорость генерации отдельно и убирает скачки задержки, когда чужой длинный prefill тормозит идущие ответы. Пропускную способность сама по себе она не увеличивает, требует RDMA-сети и окупается на больших моделях с длинными промптами, а не на коротких диалогах.
Материал подготовила AI студия Владимира Ломтева 16 ноября 2026 года для архитекторов и инженеров, которые планируют кластер инференса на несколько серверов. Мы опирались на документацию vLLM и llm-d, репозиторий Mooncake и статью DistServe. Собственных замеров не проводили. Цифры конфигураций приведены так, как их дают авторы источников.
Содержание
- Чем prefill отличается от decode
- Как устроена схема
- Что говорит документация vLLM
- llm-d: P/D в Kubernetes
- DisaggregatedSet: обновления без простоя
- Mooncake и другие реализации
- Когда раздельные фазы оправданы
- Риски и что проверить до запуска
- Как провести пилот
- Частые вопросы
Чем prefill отличается от decode
Prefill обрабатывает весь входной промпт за один проход: тысячи токенов параллельно. Эта фаза упирается в вычисления GPU. Decode генерирует ответ по одному токену за шаг и на каждом шаге читает веса модели и KV-кэш. Эта фаза упирается в пропускную способность памяти. Подробнее обе фазы разобраны в гиде по движкам и ускорению инференса.
Когда обе фазы выполняются на одном GPU, они мешают друг другу. Длинный prefill нового запроса занимает шаг, и у пользователей, которым уже идёт ответ, появляется пауза между токенами. Авторы DistServe показали, что разнесение фаз по разным GPU устраняет эту интерференцию и позволяет подобрать параллелизм и ресурсы под каждую фазу отдельно.
Внутри одного экземпляра с той же проблемой борется chunked prefill: длинный промпт режется на части и перемежается с decode-шагами. Как его настраивать, описано в статье об очереди запросов к LLM. Раздельные фазы — следующий уровень, когда разбиения уже недостаточно.
Как устроена схема
- Запрос приходит на маршрутизатор.
- Маршрутизатор выбирает decode-реплику и решает, нужен ли отдельный prefill. Если большая часть промпта уже есть в кэше decode-реплики, prefill можно сделать на месте.
- Prefill-реплика обрабатывает промпт и формирует KV-кэш.
- KV-кэш передаётся на decode-реплику через библиотеку передачи — NIXL, Mooncake Transfer Engine или LMCache.
- Decode-реплика генерирует ответ и возвращает его клиенту.
Ключевая цена схемы — передача кэша. Для длинного промпта это сотни мегабайт или гигабайты. Расчёт объёма на токен приведён в статье о выгрузке KV-кэша в RAM и на NVMe: для условной модели со 128 КиБ на токен промпт длиной 10 000 токенов даёт около 1,2 ГиБ кэша (128 КиБ × 10 000 = 1 280 000 КиБ ≈ 1,22 ГиБ). Без RDMA-сети такая передача съест выигрыш.
Что говорит документация vLLM
В описании disaggregated prefill в vLLM названы две причины использовать схему: отдельно настраивать время до первого токена и межтокенную задержку и контролировать хвост межтокенной задержки, потому что prefill больше не прерывает decode. Там же прямо написано, что disaggregated prefill не повышает пропускную способность, а функция помечена как экспериментальная.
Передачу кэша vLLM выполняет через коннекторы, указанные в --kv-transfer-config. В документации перечислены, в частности, NixlConnector, MooncakeConnector, LMCacheConnectorV1, MultiConnector и MoRIIOConnector для ROCm. Набор меняется от версии к версии, поэтому сверяйтесь с документацией той версии, которую разворачиваете.
llm-d: P/D в Kubernetes
В llm-d раздельные фазы — один из основных сценариев. По архитектурному описанию P/D:
- prefill- и decode-поды работают в одном InferencePool и различаются метками ролей;
- перед decode-движком стоит прокси-сайдкар, который сначала отправляет prefill на удалённую реплику, а затем передаёт обогащённый запрос локальному decode;
- маршрутизатор сначала выбирает decode-реплику, а prefill-реплику добавляет, только если у промпта большой некэшированный хвост;
- если prefill-реплика вернула ошибку сервера, сайдкар для vLLM переходит в режим только decode;
- кэш передаёт NIXL, а с GPUDirect RDMA передача может идти в обход CPU.
Документация называет подходящие нагрузки: длинный контекст с соотношением входа к выходу порядка 10:1, средние и большие модели и разреженные MoE-модели с широким параллелизмом экспертов. И прямо говорит, что P/D подходит не для всех нагрузок: для коротких запросов вроде 200 токенов на входе и 200 на выходе схема не нужна.
Для сети требуются RDMA-соединения: UCX поверх InfiniBand или RoCE, UCCL поверх IB, RoCE, TCP-X или EFA, libfabric поверх EFA. Без RDMA NIXL переходит на TCP, и документация рекомендует такой режим только для тестов и разработки.
Фиксированного соотношения prefill- и decode-реплик нет. В качестве примера llm-d приводит 8 prefill-подов с TP=1 и 2 decode-пода с TP=4, всего 16 GPU, для нагрузки 5000 токенов входа и 250 выхода на gpt-oss-120b. Это пример авторов для их модели, а не правило: соотношение подбирают под свою длину входа и выхода.
DisaggregatedSet: обновления без простоя
В выпуске llm-d v1.0.0 от 20 октября 2026 года появился DisaggregatedSet — способ управлять prefill- и decode-репликами как одной логической единицей. По его описанию это контроллер Kubernetes поверх LeaderWorkerSet:
- каждая роль из
spec.rolesпревращается в отдельный LeaderWorkerSet и масштабируется независимо, в том числе через HPA или KEDA; - обновления ролей координируются так, чтобы сохранялось соотношение prefill к decode;
- новая ревизия получает трафик, только когда в каждой обязательной роли есть готовая группа;
- во время обновления prefill и decode одного запроса обслуживает одна ревизия.
Последний пункт важен: если обновить prefill-реплики на новую версию модели или движка раньше decode, формат кэша может не совпасть, и ответы испортятся.
Mooncake и другие реализации
Mooncake описывает себя как архитектуру обслуживания LLM с раздельными фазами, построенную вокруг KV-кэша, и называет себя платформой обслуживания сервиса Kimi от Moonshot AI. Авторы пишут, что на реальной нагрузке архитектура позволила Kimi обрабатывать на 75% больше запросов при соблюдении целевых задержек; это их собственная оценка из статьи на конференции FAST 2025. Из проекта вышел Mooncake Transfer Engine, который используют vLLM, SGLang и LMCache для передачи кэша.
NVIDIA Dynamo тоже поддерживает раздельные фазы. По материалу LMCache о Dynamo 1.0, в такой схеме prefill-воркер может выгружать кэш через LMCache, а передачу между prefill и decode выполняет NIXL.
Когда раздельные фазы оправданы
| Признак | Скорее нужно | Скорее не нужно |
|---|---|---|
| Длина входа и выхода | Входы в тысячи токенов, выходы короче | Короткие диалоги, вход и выход сопоставимы |
| Модель | Крупная, на нескольких GPU, MoE | Помещается на один GPU |
| Требования к задержке | Жёсткий хвост межтокенной задержки | Достаточно среднего |
| Сеть | InfiniBand или RoCE между серверами | Обычный Ethernet без RDMA |
| Масштаб | Десятки GPU и стабильная нагрузка | Один-два сервера |
| Команда | Есть опыт эксплуатации Kubernetes и сетей RDMA | Нет выделенной инфраструктурной команды |
Если большинство ответов «скорее не нужно», начните с chunked prefill, настройки max-num-batched-tokens, маршрутизации по KV-кэшу и обычных реплик. Это проще и дешевле.
Риски и что проверить до запуска
- Сеть. Измерьте пропускную способность и задержку между серверами до развёртывания. Передача кэша по TCP может сделать схему медленнее обычной.
- Ёмкость prefill-пула. Убедитесь, что настроенная максимальная длина контекста помещается в KV-пул prefill-реплики. В разборе LMSYS от 26 октября 2026 года несоответствие этих двух величин названо корневой ошибкой конфигурации инцидента, при котором в SGLang с раздельными фазами пользователи могли получить фрагменты чужого контекста. Исправления вошли в SGLang 0.5.21 и более поздние версии.
- Отмена запросов. Маршрутизатор должен отменять обе половины пары prefill/decode при обрыве клиента. Это одна из рекомендаций того же разбора.
- Совместимость версий. Prefill и decode должны работать на одной версии движка и модели.
- Отказы. Решите, что происходит при падении prefill-реплики: переход в режим только decode, повтор или ошибка клиенту.
- Наблюдаемость. Отдельно измеряйте время prefill, время передачи кэша и межтокенную задержку decode. Иначе непонятно, какая часть цепочки тормозит. Базовые панели описаны в статье о мониторинге vLLM.
Как провести пилот
- Снимите профиль нагрузки: распределение длины входа и выхода, долю повторяющихся префиксов, пиковые запросы в секунду.
- Запишите целевые значения p95 времени до первого токена и межтокенной задержки.
- Соберите базовую линию на обычных репликах с chunked prefill.
- Разверните минимальную схему: одна prefill-реплика и одна decode-реплика на серверах с RDMA.
- Подайте ту же нагрузку и сравните задержки, время передачи кэша и число GPU.
- Подберите соотношение prefill и decode, если одна из ролей простаивает.
- Проверьте сценарии отказа и обновления до перевода трафика.
Частые вопросы
Ускорят ли раздельные фазы мой сервис? Они выравнивают межтокенную задержку и позволяют раздельно настраивать фазы. Документация vLLM прямо говорит, что пропускную способность они не повышают. Окупаются они там, где интерференция фаз мешает уложиться в целевые задержки.
Можно ли запустить P/D на одном сервере с двумя GPU? Технически да, кэш пойдёт по NVLink или PCIe. Но на одном сервере выигрыш обычно меньше, чем сложность. Сначала попробуйте chunked prefill.
Нужен ли Kubernetes? Для llm-d и DisaggregatedSet — да. vLLM, SGLang и Dynamo позволяют собрать раздельные фазы и без него, но тогда маршрутизацию, обновления и отказы придётся решать самостоятельно.
Какое соотношение prefill и decode выбрать? Универсального нет. Оно зависит от длины входа и выхода. Начните с одной реплики каждой роли и смотрите, какая из них упирается в ресурсы.
Как AI студия Владимира Ломтева помогает с архитектурой инференса
AI студия Владимира Ломтева проектирует и разворачивает LLM на собственных серверах компаний. Для решения о раздельных фазах это означает:
- снять профиль нагрузки и проверить, где возникает интерференция prefill и decode;
- сравнить на пилоте обычные реплики с chunked prefill и схему с раздельными фазами;
- спроектировать маршрутизацию, обновления и мониторинг выбранной схемы;
- передать команде критерии, по которым схему стоит масштабировать или откатить.
Первый шаг — выбрать один сервис, записать его профиль запросов и целевые задержки и проверить, укладывается ли он в них на обычных репликах. Обсудить задачу.
Итог: сначала докажите интерференцию
Раздельные prefill и decode — мощный инструмент для крупных моделей с длинными промптами и жёсткими требованиями к задержке, но с высокой ценой: RDMA-сеть, больше движущихся частей и новые классы ошибок. Принимайте решение по измерениям: если обычные реплики с chunked prefill и маршрутизацией по кэшу укладываются в цели, усложнять архитектуру не нужно.






