Главные события первой половины ноября 2026 года для тех, кто запускает LLM на своих серверах: llama.cpp вышел в версии 1.0.0 со стабильным API и KV-кэшем в FP8, vLLM 0.33.0 перешёл на сборки только под CUDA 13.0, а SGLang выпустил 0.5.23 после раскрытия утечки KV-кэша между пользователями. Кроме того, вышел llm-d 1.0.0 с управлением потоком запросов и обновлениями без простоя, а в Ollama изменилось поведение параметров генерации в OpenAI-совместимом API.
Обзор подготовила AI студия Владимира Ломтева 16 ноября 2026 года. Он охватывает выпуски с 20 октября по 16 ноября по страницам выпусков проектов на GitHub. Цифры ускорения приведены так, как их публикуют авторы проектов, и относятся к их железу. Мы их не перепроверяли.
Содержание
- Коротко: что вышло
- llama.cpp 1.0.0: стабильный API
- vLLM 0.33.0: только CUDA 13
- SGLang 0.5.23 и раскрытие утечки KV-кэша
- Ollama 0.40.14–0.40.16: параметры модели по умолчанию
- llm-d 1.0.0: стабильная основа для Kubernetes
- NVIDIA Dynamo 1.6.2 и TensorRT-LLM 1.4.0rc3
- Что сделать в этом месяце
- Частые вопросы
Коротко: что вышло
| Дата | Проект | Версия | Что важно |
|---|---|---|---|
| 20 октября | llm-d | 1.0.0 | Приоритеты и справедливость в очереди, DisaggregatedSet, API маршрутизатора v1 |
| 26 октября | SGLang | раскрытие | Утечка KV-кэша между пользователями при раздельных prefill и decode |
| 2 ноября | vLLM | 0.33.0 | Только CUDA 13.0, PyTorch 2.14, новые модели, удалены Medusa и MLP-спекулятор |
| 2 ноября | SGLang | 0.5.23 | Режим низкой задержки, Paged Experts, исправления передачи кэша |
| 3–9 ноября | Ollama | 0.40.14–0.40.16 | Параметры модели по умолчанию в OpenAI API, новые модели |
| 5 ноября | NVIDIA Dynamo | 1.6.2 | Патч: HTTP 400 вместо 500 при превышении бюджета токенов |
| 6 ноября | TensorRT-LLM | 1.4.0rc3 | Предварительная версия, известные проблемы с NVFP4-кэшем |
| 13 ноября | llama.cpp | 1.0.0 | Стабильный API, FP8 KV-кэш, кэш экспертов MoE, защита сервера |
llama.cpp 1.0.0: стабильный API
13 ноября llama.cpp впервые получил мажорную версию. По заметкам к выпуску v1.0.0 и посту ggml-org на Hugging Face, проект переходит на семантическое версионирование: несовместимые изменения публичного C API теперь означают новую мажорную версию.
Что изменилось:
- удалён устаревший публичный API: 35 функций,
llama_set_warmupи флаг--defrag-thold; - API NextN и спекулятивного декодирования перенесён в основной заголовок
llama.h; - добавлен KV-кэш в FP8 (
-ctk/-ctv f8_e4m3) с необязательными статическими коэффициентами масштаба; - добавлен кэш экспертов MoE в оперативной памяти с настраиваемой долей CPU для промахов;
- в
llama-serverисправлены проблемы с CORS, DNS rebinding и SSRF через CORS-прокси, отмена вызовов MCP-инструментов при отключении клиента и добавлен OpenAI-совместимый эндпоинт/v1/audio/speech; - ggml тоже вышел в версии 1.0.0.
Что сделать. Если вы собираете свои привязки к libllama или используете --defrag-thold в скриптах запуска, проверьте сборку перед обновлением. Если llama-server доступен из сети, обновление стоит сделать ради исправлений безопасности. Как FP8-кэш влияет на память и качество, разобрано в статье «KV-кэш в FP8».
vLLM 0.33.0: только CUDA 13
Выпуск vLLM 0.33.0 вышел 2 ноября: 927 коммитов от 389 участников. Самое заметное для эксплуатации:
- CUDA 12.9 больше не публикуется. Колёса и образы собираются только под CUDA 13.0, образы
-cu129не выпускаются. Перед обновлением проверьте, что драйвер NVIDIA на хосте поддерживает CUDA 13. - PyTorch 2.14, Triton 3.8.
- Короткое имя образа
vllm/vllmдублируетvllm/vllm-openai. - Новые модели, в том числе Yandex AliceAI-Foundation-80B-A3B — MoE-модель с 3 млрд активных параметров по названию.
- Спекулятивное декодирование: новый уточнитель XPress для блочно-диффузионных драфтеров, политика FLy с проверкой с потерями, квантованный
lm_headдрафтера. - ROCm 10.0 по умолчанию для AMD, ROCm 7.2 публикуется отдельно.
Несовместимые изменения: удалены Medusa и MLP-спекулятор, удалён устаревший исполнитель Ray compiled-graph, запросы во время паузы генерации теперь получают HTTP 503, коннектор NIXL требует NIXL 1.5 или новее.
Что сделать. Закрепите версию образа в своих манифестах и обновляйтесь осознанно. Порядок запуска и проверки описан в статье «Как запустить vLLM в Docker»: правило проверять совместимость хоста до смены образа после этого выпуска стало обязательным.
SGLang 0.5.23 и раскрытие утечки KV-кэша
26 октября Cloudflare и команда SGLang раскрыли инцидент: с 27 августа по 9 сентября 155 ответов модели GLM-5.3 на Workers AI содержали фрагменты чужих запросов. Причина — сочетание неверного размера KV-пула и ошибки допуска запросов в режиме раздельных prefill и decode. Подробный разбор и чек-лист для операторов — в статье «Утечка KV-кэша в SGLang».
SGLang 0.5.23 вышел 2 ноября: 1007 пул-реквестов от 257 участников. Кроме исправлений передачи кэша для NIXL и MORI, авторы выделяют:
- режим низкой задержки с плагинами megakernel для NVIDIA и monokernel для AMD — по их данным, до 44% быстрее декодирование одного пользователя на GB300 и до 75% на MI350X для DeepSeek-V4.1-Flash;
- Paged Experts — опциональный режим для MoE-моделей, которые больше видеопамяти, на одной потребительской видеокарте, по данным авторов до 30 раз быстрее выгрузки на CPU;
- LoRA-адаптеры поверх квантованных MoE-моделей в FP8 и NVFP4;
- хранение prefix cache в файловом уровне HiCache для MLA-моделей с контекстным параллелизмом decode.
Что сделать. Если вы используете раздельные фазы, обновитесь. Для одиночных экземпляров выпуск полезен новыми возможностями, но срочности нет.
Ollama 0.40.14–0.40.16: параметры модели по умолчанию
За первую половину ноября вышли три версии Ollama. Важное изменение поведения — в 0.40.14 от 3 ноября: OpenAI-совместимые эндпоинты больше не переопределяют параметры сэмплирования модели. Если клиент не передаёт temperature и top_p, он получает значения из пакета модели, а не 1.0, как раньше. Ответы приложений, которые полагались на старое поведение, могут измениться — проверьте их.
Другие изменения:
- 0.40.15: поддержка MiMo V2.6 от Xiaomi (9B, код и агенты) и моделей AutoTrust для ответов-решений;
- 0.40.16: модель Ripple Preview (65B, агентное программирование), Qwen3.8 Flash Next использует меньше памяти на Apple silicon,
/v1/responsesбольше не обрезает контекст молча по умолчанию, обновлён llama.cpp.
10 ноября опубликован кандидат 0.40.17-rc1. Как установить и настроить Ollama, описано в инструкции по локальному запуску LLM через Ollama.
llm-d 1.0.0: стабильная основа для Kubernetes
llm-d 1.0.0 вышел 20 октября. Главные темы выпуска:
- качество обслуживания для нескольких арендаторов — управление потоком с приоритетами и справедливостью и контролируемый отказ при перегрузке;
- эксплуатация без простоя — резервирование маршрутизатора и DisaggregatedSet для управления prefill- и decode-репликами как одной единицей;
- стабильный API маршрутизатора версии v1 и поддержка
previous_response_idв Responses API; - обслуживание агентов — привязка многоходовых сессий к реплике с их кэшем.
Проект прекращает собирать собственные образы движков и переходит на образы vLLM, SGLang и TensorRT-LLM от их сообществ. Подробнее о механизмах — в статьях об очереди запросов и раздельных prefill и decode.
NVIDIA Dynamo 1.6.2 и TensorRT-LLM 1.4.0rc3
Dynamo 1.6.2 от 5 ноября — патч-выпуск: обновлены системные пакеты образов, образ SGLang переведён на CPython 3.12.16, запрос к TensorRT-LLM, превышающий бюджет токенов движка, теперь получает HTTP 400 вместо 500, нижняя граница Mooncake поднята до 0.3.14.
TensorRT-LLM 1.4.0rc3 от 6 ноября остаётся предварительной версией. В заметках перечислены известные проблемы, в том числе: модели с DSA, включая GLM-5.2, могут выдавать неверный результат с NVFP4 KV-кэшем. Для продакшена это аргумент дождаться стабильного выпуска и проверять сжатые форматы кэша на своих данных.
Что сделать в этом месяце
- Проверить версию драйвера NVIDIA перед обновлением vLLM до 0.33.0.
- Обновить SGLang, если включены раздельные prefill и decode.
- Прогнать регрессионные тесты приложений на Ollama 0.40.14 и новее из-за изменения параметров по умолчанию.
- Проверить скрипты и привязки llama.cpp на удалённые функции и флаги перед переходом на 1.0.0.
- Не включать NVFP4 KV-кэш в TensorRT-LLM 1.4 rc для моделей с DSA без проверки качества.
Частые вопросы
Обязательно ли сразу обновляться на llama.cpp 1.0.0? Нет, если сервер не доступен из сети и всё работает. Но исправления llama-server касаются безопасности, а стабильный API упростит будущие обновления.
Почему vLLM отказался от CUDA 12.9? В заметках к выпуску причина не объясняется, сказано только, что колёса и образы теперь только под CUDA 13.0. Для эксплуатации важнее последствие: старый драйвер хоста может не запустить новый образ.
Где следить за новостями самостоятельно? На страницах выпусков проектов на GitHub: vLLM, SGLang, llama.cpp, Ollama, llm-d, Dynamo и TensorRT-LLM. Там же публикуются несовместимые изменения и известные проблемы.
Как AI студия Владимира Ломтева помогает обновлять серверы инференса
AI студия Владимира Ломтева разворачивает LLM на серверах компаний и сопровождает их. Для регулярных обновлений движков это означает:
- разобрать заметки к выпускам и отметить изменения, которые касаются вашей конфигурации;
- проверить совместимость драйверов, образов и приложений на тестовом стенде;
- прогнать регрессионные и нагрузочные тесты до перевода трафика на новую версию;
- подготовить план отката и обновить документацию эксплуатации.
Первый шаг — составить список движков и версий, которые у вас работают, и выбрать один сервис для пробного обновления с понятным критерием успеха. Обсудить задачу.
Итог: обновления стали требовать проверки
Ноябрь принёс зрелые выпуски: стабильный API llama.cpp, llm-d 1.0 и большой выпуск vLLM. Вместе с ними пришли несовместимые изменения — CUDA 13 у vLLM, новые значения по умолчанию у Ollama — и важный урок безопасности от SGLang. Обновляйтесь через тестовый стенд и читайте заметки к выпускам до того, как менять продакшен.






