Спекулятивное декодирование ускоряет генерацию так: быстрый «черновик» предлагает несколько следующих токенов, а основная модель проверяет их за один проход и принимает совпавшие. При стандартной проверке результат статистически такой же, как без ускорения, а выигрыш зависит от доли принятых токенов. Лучше всего метод работает при низкой и средней нагрузке, когда генерация упирается в чтение памяти, а не в вычисления. На практике выбор такой: MTP, если модель его поддерживает; EAGLE или EAGLE-3 с готовым драфтером; n-gram, если ответы часто повторяют текст промпта.
Материал подготовила AI студия Владимира Ломтева 16 ноября 2026 года для инженеров, которые хотят снизить задержку ответа локальной LLM. Мы опирались на документацию vLLM по спекулятивному декодированию, справочники аргументов SGLang и llama-server и заметки к выпускам ноября 2026 года. Собственных замеров не проводили; расчёт ниже условный и показывает логику, а не ожидаемый результат.
Содержание
- Как это работает
- Сохраняется ли качество
- Какие бывают черновики
- Сколько это даёт: логика расчёта
- Настройка в vLLM
- Настройка в SGLang
- Настройка в llama-server
- Как проверить на своей нагрузке
- Частые вопросы
Как это работает
Генерация обычного ответа — последовательность шагов, на каждом модель выдаёт один токен и для этого читает из памяти все свои веса. При небольшой нагрузке GPU большую часть времени ждёт память, а вычислительные блоки простаивают. Спекулятивное декодирование использует этот простой.
- Черновик предлагает k следующих токенов. Это может быть маленькая модель, специальная голова поверх основной модели или просто совпадение с уже известным текстом.
- Основная модель за один проход проверяет все k токенов сразу.
- Принимается самый длинный префикс, который согласуется с распределением основной модели, плюс один токен от неё самой.
- Если черновик ошибся на первом токене, шаг всё равно даёт один токен — как обычная генерация, но с накладными расходами.
Идея описана в работах Левиафана и соавторов и Чена и соавторов. Подробнее о том, почему decode упирается в память, — в гиде по движкам и ускорению инференса.
Сохраняется ли качество
В документации vLLM есть отдельный раздел о гарантиях. Спекулятивная выборка теоретически не меняет распределение ответов с точностью до погрешностей вычислений с плавающей точкой, а реализация проверяется тестами на сходимость сэмплера и совпадение результатов. Эти гарантии относятся к стандартному сэмплеру с отклонением.
Есть и исключения. В vLLM 0.33.0 появилась политика FLy — опциональная проверка с потерями, которая принимает больше токенов ценой отклонения от исходного распределения. Её включают сознательно и только после проверки качества на своих задачах.
Какие бывают черновики
| Метод | Откуда черновик | Когда подходит |
|---|---|---|
| MTP | Встроенные головы многотокенного предсказания основной модели | Модель изначально обучена с MTP |
| EAGLE / EAGLE-3 | Лёгкая голова, обученная на скрытых состояниях основной модели | Есть готовый драфтер под вашу модель |
| Черновая модель | Отдельная маленькая модель того же семейства | Есть маленькая модель с тем же токенизатором |
| N-gram | Совпадения с текстом промпта | Ответы повторяют вход: правки, извлечение, код |
| Suffix decoding | Совпадения с промптом и прошлыми ответами | Повторяющиеся шаблонные ответы |
| DFlash / DSpark / DSpine | Блочные драфтеры, предлагающие токены параллельно | Есть совместимый чекпойнт драфтера |
В документации vLLM есть качественная таблица выбора: EAGLE, MTP и черновая модель дают высокий выигрыш при низкой нагрузке, n-gram и suffix — от низкого до среднего, но без дополнительной модели. Документация подчёркивает, что реальный эффект зависит от семейства модели, характера трафика, железа и параметров сэмплирования. Метод EAGLE описан в статье авторов EAGLE, его развитие — в EAGLE-3.
Сколько это даёт: логика расчёта
Главная величина — средняя длина принятия: сколько токенов в среднем даёт один шаг проверки. Условный пример: черновик предлагает 3 токена, и в среднем принимается 1,5 из них плюс 1 токен от основной модели, то есть 2,5 токена за шаг. Если шаг проверки дороже обычного шага на 10%, ожидаемое ускорение генерации около 2,5 / 1,1 ≈ 2,3 раза.
Из той же логики видно, когда ускорения не будет:
- черновик плохо угадывает — длина принятия близка к 1, а накладные расходы остаются;
- высокая температура сэмплирования — ответы разнообразнее, угадывать труднее;
- сервер нагружен многими параллельными запросами — GPU уже упирается в вычисления, и лишние токены на проверку конкурируют с чужими запросами. Документация vLLM прямо называет целевым сценарием нагрузку от средней до низкой.
Настройка в vLLM
Все методы включаются одним параметром --speculative-config с JSON-объектом. Черновая модель:
vllm serve Qwen/Qwen3-8B \
--host 127.0.0.1 --port 8000 --api-key "$VLLM_API_KEY" \
--speculative-config '{"method": "draft_model", "model": "Qwen/Qwen3-0.6B", "num_speculative_tokens": 3}'
N-gram без дополнительной модели:
vllm serve Qwen/Qwen3-8B --host 127.0.0.1 --port 8000 --api-key "$VLLM_API_KEY" \
--speculative-config '{"method": "ngram", "num_speculative_tokens": 3, "prompt_lookup_min": 1, "prompt_lookup_max": 3}' \
--per-request-spec-decode-metrics summary
Для EAGLE-3 в документации приведён пример с Llama 3.1 8B и драфтером RedHatAI/Llama-3.1-8B-Instruct-speculator.eagle3, "method": "eagle3" и двумя спекулятивными токенами. Для моделей с MTP указывают "method": "mtp". Для блочных драфтеров DSpine документация советует ставить num_speculative_tokens на единицу меньше размера блока чекпойнта.
Флаг --per-request-spec-decode-metrics со значением summary или detailed добавляет в ответ метрики принятия по каждому запросу в metrics.speculative_decoding. Документация помечает формат как экспериментальный. Сводные метрики есть в /metrics.
Настройка в SGLang
В справочнике аргументов SGLang метод выбирается --speculative-algorithm со значениями EAGLE, EAGLE3, NEXTN, STANDALONE и NGRAM. Путь к драфтеру задаёт --speculative-draft-model-path, а глубину и ширину черновика — --speculative-num-steps, --speculative-eagle-topk и --speculative-num-draft-tokens.
sglang serve meta-llama/Llama-3.1-8B-Instruct --host 127.0.0.1 --port 30000 \
--speculative-algorithm EAGLE3 \
--speculative-draft-model-path RedHatAI/Llama-3.1-8B-Instruct-speculator.eagle3 \
--speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4
Значения 3, 1 и 4 — стартовая точка для эксперимента. Совместимость драфтера с SGLang проверьте по его карточке.
Настройка в llama-server
В llama.cpp 1.0.0 API спекулятивного декодирования перенесён в основной заголовок библиотеки. В README llama-server тип задаётся --spec-type: среди значений draft-simple, draft-eagle3, draft-mtp, draft-dflash, ngram-simple и другие, по умолчанию none. Черновая модель указывается через -md или --spec-draft-model, длина черновика — --spec-draft-n-max (по умолчанию 3).
llama-server -m /srv/models/qwen3-8b-Q4_K_M.gguf \
--host 127.0.0.1 --port 8080 \
--spec-type draft-simple \
-md /srv/models/qwen3-0.6b-Q8_0.gguf \
--spec-draft-n-max 4
Черновая модель должна использовать тот же токенизатор, что и основная. С флагом --metrics сервер отдаёт счётчики llamacpp:spec_decode_num_draft_tokens_total и llamacpp:spec_decode_num_accepted_tokens_total, по которым считается доля принятых токенов.
Как проверить на своей нагрузке
- Базовая линия. Без спекулятивного декодирования измерьте межтокенную задержку, время ответа и пропускную способность при 1, 4 и 16 параллельных запросах.
- Реальные запросы. Используйте ваши промпты и температуру: на синтетике длина принятия может быть совсем другой.
- Один метод за раз. Начните с того, что доступно без обучения: MTP, готовый EAGLE-3 или n-gram.
- Длина принятия. Если средняя длина принятия близка к 1, метод не подходит этой нагрузке.
- Высокая параллельность. Убедитесь, что при пиковой нагрузке пропускная способность не упала ниже базовой.
- Качество. Со стандартным сэмплером ответы должны соответствовать базовым в пределах обычного разброса. Для режимов с потерями проверяйте качество на своём наборе задач.
Методика нагрузочного теста описана в статье «Нагрузочный тест локальной LLM».
Частые вопросы
Нужно ли обучать свой драфтер? Не обязательно. Сначала проверьте MTP вашей модели, готовые драфтеры EAGLE-3 и n-gram. Для обучения своих драфтеров у vLLM есть проект speculators.
Сколько памяти занимает черновик? Черновая модель и её KV-кэш занимают дополнительную видеопамять. Головы EAGLE и MTP обычно легче отдельной модели, но тоже требуют места. Учитывайте это при расчёте, как в статье «Сколько VRAM нужно для LLM».
Работает ли метод со структурированным выводом? Зависит от движка и версии. Проверяйте совместимость в документации и тестом на своих схемах.
Почему при росте нагрузки ускорение пропало? При большом числе параллельных запросов GPU упирается в вычисления, и проверка лишних токенов отнимает ресурсы у других запросов. Для таких режимов в vLLM есть динамическое спекулятивное декодирование и адаптивная проверка.
Как AI студия Владимира Ломтева помогает ускорить ответы LLM
AI студия Владимира Ломтева разворачивает LLM на серверах компании и настраивает их под рабочие сценарии. Для спекулятивного декодирования это означает:
- измерить задержку и определить, упирается ли генерация в память или в вычисления;
- подобрать метод — MTP, EAGLE-3, черновую модель или n-gram — под вашу модель и характер запросов;
- провести сравнительное тестирование на реальных промптах с метриками длины принятия;
- настроить мониторинг, чтобы ускорение не превращалось в замедление в часы пик.
Первый шаг — выбрать один сценарий, где важна скорость ответа, записать текущую межтокенную задержку и цель, которой нужно достичь. Обсудить задачу.
Итог: ускорение решает доля принятых токенов
Спекулятивное декодирование — один из немногих способов ускорить генерацию без потери качества при стандартной проверке. Но выигрыш определяется тем, насколько хорошо черновик угадывает ваши ответы, и тем, насколько загружен сервер. Начните с MTP, готового EAGLE-3 или n-gram, смотрите на среднюю длину принятия и проверяйте поведение при пиковой нагрузке.






