Статьи

Полезные материалы и разборы по AI.

Какую модель выбрать для локального инференса: ноябрь 2026
Какую модель выбрать для локального инференса: ноябрь 2026
16.11.2026
модель для локального инференса
лучшие открытые LLM ноябрь 2026
выбор LLM для своего сервера

Подбор открытой LLM для своего сервера в ноябре 2026: модели по классам железа от ноутбука до кластера, размеры, лицензии, российские модели и порядок выбора.

Читать
Strata: движок для больших MoE-моделей на домашнем ПК
Strata: движок для больших MoE-моделей на домашнем ПК
16.11.2026
Strata движок
Strata Qwen3.8-Flash-Next
локальный запуск MoE модели на ПК

Что такое Strata: как движок разносит MoE-модель Qwen3.8-Flash-Next по видеопамяти, RAM и SSD, сколько нужно памяти, как установить и где он уместен в компании.

Читать
Спекулятивное декодирование: EAGLE, MTP и DFlash на практике
Спекулятивное декодирование: EAGLE, MTP и DFlash на практике
16.11.2026
спекулятивное декодирование
speculative decoding EAGLE-3 MTP
ускорение генерации LLM

Как работает спекулятивное декодирование LLM, когда оно ускоряет генерацию, как выбрать MTP, EAGLE-3, черновую модель или n-gram и настроить их в vLLM, SGLang и llama-server.

Читать
Свой сервер эмбеддингов и реранкера: TEI, Infinity, vLLM
Свой сервер эмбеддингов и реранкера: TEI, Infinity, vLLM
16.11.2026
сервер эмбеддингов
Text Embeddings Inference реранкер
Infinity embeddings сервер

Как развернуть свой сервер эмбеддингов и реранкера для RAG: Text Embeddings Inference и Infinity v3 в Docker, параметры батча, расчёт нагрузки реранкера и проверка качества.

Читать
Структурированный вывод и вызов инструментов в vLLM и SGLang
Структурированный вывод и вызов инструментов в vLLM и SGLang
16.11.2026
структурированный вывод vLLM
tool calling vLLM SGLang
JSON schema локальная LLM

Как получить от локальной LLM ответ строго по JSON-схеме, регулярному выражению или списку и настроить вызов инструментов в vLLM и SGLang: бэкенды, парсеры, tool_choice.

Читать
Несколько LoRA-адаптеров на одной модели в vLLM
Несколько LoRA-адаптеров на одной модели в vLLM
16.11.2026
LoRA адаптеры vLLM
multi-LoRA serving
vllm enable-lora max-loras

Как обслуживать несколько LoRA-адаптеров на одной базовой модели в vLLM: расчёт памяти, --enable-lora, --max-loras, выбор адаптера в запросе, загрузка без перезапуска.

Читать
vLLM в Kubernetes: Deployment, KServe или llm-d
vLLM в Kubernetes: Deployment, KServe или llm-d
16.11.2026
vLLM в Kubernetes
KServe LLMInferenceService
llm-d Kubernetes vLLM

Как развернуть vLLM в Kubernetes: манифест Deployment с GPU, кэшем весов и проверками, KServe LLMInferenceService, llm-d 1.0, сравнение уровней и эксплуатация.

Читать
Как запустить SGLang: установка, сервер и OpenAI API
Как запустить SGLang: установка, сервер и OpenAI API
16.11.2026
запуск SGLang
SGLang установка Docker
sglang serve OpenAI API

Пошаговый запуск SGLang на своём сервере: требования CUDA 13, Docker и uv, команда sglang serve, проверка OpenAI API, параметры памяти, метрики и защита.

Читать
llama-server из llama.cpp 1.0: запуск, API и настройка
llama-server из llama.cpp 1.0: запуск, API и настройка
16.11.2026
llama-server
llama.cpp сервер OpenAI API
запуск llama.cpp на сервере

Как запустить llama-server из llama.cpp 1.0: установка, первый запуск GGUF-модели, OpenAI-совместимый API, слоты и KV-кэш, ключи, CORS, метрики и systemd.

Читать
Новости локального инференса: ноябрь 2026
Новости локального инференса: ноябрь 2026
16.11.2026
новости локального инференса
llama.cpp 1.0 vLLM 0.33
обновления движков LLM ноябрь 2026

Обзор ноября 2026 для локального инференса LLM: llama.cpp 1.0.0, vLLM 0.33.0 с CUDA 13, SGLang 0.5.23 и утечка KV-кэша, Ollama 0.40, llm-d 1.0 и Dynamo.

Читать
Утечка KV-кэша в SGLang: как изолировать пользователей LLM
Утечка KV-кэша в SGLang: как изолировать пользователей LLM
16.11.2026
утечка KV-кэша SGLang
изоляция пользователей сервер инференса
cache_salt vLLM

Разбор инцидента Cloudflare и SGLang с утечкой KV-кэша между пользователями: причины, затронутые версии, что обновить и как проверить изоляцию на своём сервере LLM.

Читать
Раздельные prefill и decode: когда разносить фазы LLM по GPU
Раздельные prefill и decode: когда разносить фазы LLM по GPU
16.11.2026
раздельные prefill и decode
P/D disaggregation LLM
llm-d DisaggregatedSet

Что такое раздельные prefill и decode в инференсе LLM: как работают vLLM, llm-d и Mooncake, зачем нужна RDMA-сеть, когда схема окупается и как провести пилот.

Читать