Новости локального инференса: ноябрь 2026

новости локального инференса
llama.cpp 1.0 vLLM 0.33
обновления движков LLM ноябрь 2026
Новости локального инференса: ноябрь 2026

Главные события первой половины ноября 2026 года для тех, кто запускает LLM на своих серверах: llama.cpp вышел в версии 1.0.0 со стабильным API и KV-кэшем в FP8, vLLM 0.33.0 перешёл на сборки только под CUDA 13.0, а SGLang выпустил 0.5.23 после раскрытия утечки KV-кэша между пользователями. Кроме того, вышел llm-d 1.0.0 с управлением потоком запросов и обновлениями без простоя, а в Ollama изменилось поведение параметров генерации в OpenAI-совместимом API.

Обзор подготовила AI студия Владимира Ломтева 16 ноября 2026 года. Он охватывает выпуски с 20 октября по 16 ноября по страницам выпусков проектов на GitHub. Цифры ускорения приведены так, как их публикуют авторы проектов, и относятся к их железу. Мы их не перепроверяли.

Содержание

Коротко: что вышло

Дата Проект Версия Что важно
20 октября llm-d 1.0.0 Приоритеты и справедливость в очереди, DisaggregatedSet, API маршрутизатора v1
26 октября SGLang раскрытие Утечка KV-кэша между пользователями при раздельных prefill и decode
2 ноября vLLM 0.33.0 Только CUDA 13.0, PyTorch 2.14, новые модели, удалены Medusa и MLP-спекулятор
2 ноября SGLang 0.5.23 Режим низкой задержки, Paged Experts, исправления передачи кэша
3–9 ноября Ollama 0.40.14–0.40.16 Параметры модели по умолчанию в OpenAI API, новые модели
5 ноября NVIDIA Dynamo 1.6.2 Патч: HTTP 400 вместо 500 при превышении бюджета токенов
6 ноября TensorRT-LLM 1.4.0rc3 Предварительная версия, известные проблемы с NVFP4-кэшем
13 ноября llama.cpp 1.0.0 Стабильный API, FP8 KV-кэш, кэш экспертов MoE, защита сервера

llama.cpp 1.0.0: стабильный API

13 ноября llama.cpp впервые получил мажорную версию. По заметкам к выпуску v1.0.0 и посту ggml-org на Hugging Face, проект переходит на семантическое версионирование: несовместимые изменения публичного C API теперь означают новую мажорную версию.

Что изменилось:

  • удалён устаревший публичный API: 35 функций, llama_set_warmup и флаг --defrag-thold;
  • API NextN и спекулятивного декодирования перенесён в основной заголовок llama.h;
  • добавлен KV-кэш в FP8 (-ctk/-ctv f8_e4m3) с необязательными статическими коэффициентами масштаба;
  • добавлен кэш экспертов MoE в оперативной памяти с настраиваемой долей CPU для промахов;
  • в llama-server исправлены проблемы с CORS, DNS rebinding и SSRF через CORS-прокси, отмена вызовов MCP-инструментов при отключении клиента и добавлен OpenAI-совместимый эндпоинт /v1/audio/speech;
  • ggml тоже вышел в версии 1.0.0.

Что сделать. Если вы собираете свои привязки к libllama или используете --defrag-thold в скриптах запуска, проверьте сборку перед обновлением. Если llama-server доступен из сети, обновление стоит сделать ради исправлений безопасности. Как FP8-кэш влияет на память и качество, разобрано в статье «KV-кэш в FP8».

vLLM 0.33.0: только CUDA 13

Выпуск vLLM 0.33.0 вышел 2 ноября: 927 коммитов от 389 участников. Самое заметное для эксплуатации:

  • CUDA 12.9 больше не публикуется. Колёса и образы собираются только под CUDA 13.0, образы -cu129 не выпускаются. Перед обновлением проверьте, что драйвер NVIDIA на хосте поддерживает CUDA 13.
  • PyTorch 2.14, Triton 3.8.
  • Короткое имя образа vllm/vllm дублирует vllm/vllm-openai.
  • Новые модели, в том числе Yandex AliceAI-Foundation-80B-A3B — MoE-модель с 3 млрд активных параметров по названию.
  • Спекулятивное декодирование: новый уточнитель XPress для блочно-диффузионных драфтеров, политика FLy с проверкой с потерями, квантованный lm_head драфтера.
  • ROCm 10.0 по умолчанию для AMD, ROCm 7.2 публикуется отдельно.

Несовместимые изменения: удалены Medusa и MLP-спекулятор, удалён устаревший исполнитель Ray compiled-graph, запросы во время паузы генерации теперь получают HTTP 503, коннектор NIXL требует NIXL 1.5 или новее.

Что сделать. Закрепите версию образа в своих манифестах и обновляйтесь осознанно. Порядок запуска и проверки описан в статье «Как запустить vLLM в Docker»: правило проверять совместимость хоста до смены образа после этого выпуска стало обязательным.

SGLang 0.5.23 и раскрытие утечки KV-кэша

26 октября Cloudflare и команда SGLang раскрыли инцидент: с 27 августа по 9 сентября 155 ответов модели GLM-5.3 на Workers AI содержали фрагменты чужих запросов. Причина — сочетание неверного размера KV-пула и ошибки допуска запросов в режиме раздельных prefill и decode. Подробный разбор и чек-лист для операторов — в статье «Утечка KV-кэша в SGLang».

SGLang 0.5.23 вышел 2 ноября: 1007 пул-реквестов от 257 участников. Кроме исправлений передачи кэша для NIXL и MORI, авторы выделяют:

  • режим низкой задержки с плагинами megakernel для NVIDIA и monokernel для AMD — по их данным, до 44% быстрее декодирование одного пользователя на GB300 и до 75% на MI350X для DeepSeek-V4.1-Flash;
  • Paged Experts — опциональный режим для MoE-моделей, которые больше видеопамяти, на одной потребительской видеокарте, по данным авторов до 30 раз быстрее выгрузки на CPU;
  • LoRA-адаптеры поверх квантованных MoE-моделей в FP8 и NVFP4;
  • хранение prefix cache в файловом уровне HiCache для MLA-моделей с контекстным параллелизмом decode.

Что сделать. Если вы используете раздельные фазы, обновитесь. Для одиночных экземпляров выпуск полезен новыми возможностями, но срочности нет.

Ollama 0.40.14–0.40.16: параметры модели по умолчанию

За первую половину ноября вышли три версии Ollama. Важное изменение поведения — в 0.40.14 от 3 ноября: OpenAI-совместимые эндпоинты больше не переопределяют параметры сэмплирования модели. Если клиент не передаёт temperature и top_p, он получает значения из пакета модели, а не 1.0, как раньше. Ответы приложений, которые полагались на старое поведение, могут измениться — проверьте их.

Другие изменения:

  • 0.40.15: поддержка MiMo V2.6 от Xiaomi (9B, код и агенты) и моделей AutoTrust для ответов-решений;
  • 0.40.16: модель Ripple Preview (65B, агентное программирование), Qwen3.8 Flash Next использует меньше памяти на Apple silicon, /v1/responses больше не обрезает контекст молча по умолчанию, обновлён llama.cpp.

10 ноября опубликован кандидат 0.40.17-rc1. Как установить и настроить Ollama, описано в инструкции по локальному запуску LLM через Ollama.

llm-d 1.0.0: стабильная основа для Kubernetes

llm-d 1.0.0 вышел 20 октября. Главные темы выпуска:

  • качество обслуживания для нескольких арендаторов — управление потоком с приоритетами и справедливостью и контролируемый отказ при перегрузке;
  • эксплуатация без простоя — резервирование маршрутизатора и DisaggregatedSet для управления prefill- и decode-репликами как одной единицей;
  • стабильный API маршрутизатора версии v1 и поддержка previous_response_id в Responses API;
  • обслуживание агентов — привязка многоходовых сессий к реплике с их кэшем.

Проект прекращает собирать собственные образы движков и переходит на образы vLLM, SGLang и TensorRT-LLM от их сообществ. Подробнее о механизмах — в статьях об очереди запросов и раздельных prefill и decode.

NVIDIA Dynamo 1.6.2 и TensorRT-LLM 1.4.0rc3

Dynamo 1.6.2 от 5 ноября — патч-выпуск: обновлены системные пакеты образов, образ SGLang переведён на CPython 3.12.16, запрос к TensorRT-LLM, превышающий бюджет токенов движка, теперь получает HTTP 400 вместо 500, нижняя граница Mooncake поднята до 0.3.14.

TensorRT-LLM 1.4.0rc3 от 6 ноября остаётся предварительной версией. В заметках перечислены известные проблемы, в том числе: модели с DSA, включая GLM-5.2, могут выдавать неверный результат с NVFP4 KV-кэшем. Для продакшена это аргумент дождаться стабильного выпуска и проверять сжатые форматы кэша на своих данных.

Что сделать в этом месяце

  1. Проверить версию драйвера NVIDIA перед обновлением vLLM до 0.33.0.
  2. Обновить SGLang, если включены раздельные prefill и decode.
  3. Прогнать регрессионные тесты приложений на Ollama 0.40.14 и новее из-за изменения параметров по умолчанию.
  4. Проверить скрипты и привязки llama.cpp на удалённые функции и флаги перед переходом на 1.0.0.
  5. Не включать NVFP4 KV-кэш в TensorRT-LLM 1.4 rc для моделей с DSA без проверки качества.

Частые вопросы

Обязательно ли сразу обновляться на llama.cpp 1.0.0? Нет, если сервер не доступен из сети и всё работает. Но исправления llama-server касаются безопасности, а стабильный API упростит будущие обновления.

Почему vLLM отказался от CUDA 12.9? В заметках к выпуску причина не объясняется, сказано только, что колёса и образы теперь только под CUDA 13.0. Для эксплуатации важнее последствие: старый драйвер хоста может не запустить новый образ.

Где следить за новостями самостоятельно? На страницах выпусков проектов на GitHub: vLLM, SGLang, llama.cpp, Ollama, llm-d, Dynamo и TensorRT-LLM. Там же публикуются несовместимые изменения и известные проблемы.

Как AI студия Владимира Ломтева помогает обновлять серверы инференса

AI студия Владимира Ломтева разворачивает LLM на серверах компаний и сопровождает их. Для регулярных обновлений движков это означает:

  • разобрать заметки к выпускам и отметить изменения, которые касаются вашей конфигурации;
  • проверить совместимость драйверов, образов и приложений на тестовом стенде;
  • прогнать регрессионные и нагрузочные тесты до перевода трафика на новую версию;
  • подготовить план отката и обновить документацию эксплуатации.

Первый шаг — составить список движков и версий, которые у вас работают, и выбрать один сервис для пробного обновления с понятным критерием успеха. Обсудить задачу.

Итог: обновления стали требовать проверки

Ноябрь принёс зрелые выпуски: стабильный API llama.cpp, llm-d 1.0 и большой выпуск vLLM. Вместе с ними пришли несовместимые изменения — CUDA 13 у vLLM, новые значения по умолчанию у Ollama — и важный урок безопасности от SGLang. Обновляйтесь через тестовый стенд и читайте заметки к выпускам до того, как менять продакшен.

Оставить заявку

Заполните форму и мы свяжемся с вами

← Все статьи

Комментарии (0)

Пока нет комментариев. Будьте первым!

Оставить комментарий
Регистрация не требуется