Статьи
Полезные материалы и разборы по AI.

Подбор открытой LLM для своего сервера в ноябре 2026: модели по классам железа от ноутбука до кластера, размеры, лицензии, российские модели и порядок выбора.
Читать
Что такое Strata: как движок разносит MoE-модель Qwen3.8-Flash-Next по видеопамяти, RAM и SSD, сколько нужно памяти, как установить и где он уместен в компании.
Читать
Как работает спекулятивное декодирование LLM, когда оно ускоряет генерацию, как выбрать MTP, EAGLE-3, черновую модель или n-gram и настроить их в vLLM, SGLang и llama-server.
Читать
Как развернуть свой сервер эмбеддингов и реранкера для RAG: Text Embeddings Inference и Infinity v3 в Docker, параметры батча, расчёт нагрузки реранкера и проверка качества.
Читать
Как получить от локальной LLM ответ строго по JSON-схеме, регулярному выражению или списку и настроить вызов инструментов в vLLM и SGLang: бэкенды, парсеры, tool_choice.
Читать
Как обслуживать несколько LoRA-адаптеров на одной базовой модели в vLLM: расчёт памяти, --enable-lora, --max-loras, выбор адаптера в запросе, загрузка без перезапуска.
Читать
Как развернуть vLLM в Kubernetes: манифест Deployment с GPU, кэшем весов и проверками, KServe LLMInferenceService, llm-d 1.0, сравнение уровней и эксплуатация.
Читать
Пошаговый запуск SGLang на своём сервере: требования CUDA 13, Docker и uv, команда sglang serve, проверка OpenAI API, параметры памяти, метрики и защита.
Читать
Как запустить llama-server из llama.cpp 1.0: установка, первый запуск GGUF-модели, OpenAI-совместимый API, слоты и KV-кэш, ключи, CORS, метрики и systemd.
Читать
Обзор ноября 2026 для локального инференса LLM: llama.cpp 1.0.0, vLLM 0.33.0 с CUDA 13, SGLang 0.5.23 и утечка KV-кэша, Ollama 0.40, llm-d 1.0 и Dynamo.
Читать
Разбор инцидента Cloudflare и SGLang с утечкой KV-кэша между пользователями: причины, затронутые версии, что обновить и как проверить изоляцию на своём сервере LLM.
Читать
Что такое раздельные prefill и decode в инференсе LLM: как работают vLLM, llm-d и Mooncake, зачем нужна RDMA-сеть, когда схема окупается и как провести пилот.
Читать