Статьи по тегу: локальный инференс LLM
Найдено статей: 11

Как запускать LLM на нескольких GPU: tensor, pipeline и data parallelism, реплики, NVLink и PCIe, память, задержка и проверка масштабирования.
Читать
Как настроить мониторинг vLLM: сбор /metrics в Prometheus, панели Grafana, очередь, задержки, память GPU, алерты и диагностика деградации.
Читать
Как подготовить локальную LLM для закрытого контура: перенос весов и контейнеров, офлайн-зависимости, проверка сети, обновление и откат.
Читать
Как работают KV-cache и prefix caching в LLM: память, повторные промпты, порядок контекста, проверка попаданий в кэш и ограничения ускорения.
Читать
Что делать, если локальная LLM не помещается в VRAM: диагностика OOM при загрузке и под нагрузкой, контекст, KV-cache, квантизация и offload.
Читать
Как провести нагрузочный тест локальной LLM: TTFT, TPOT, p95, throughput, параллельные запросы, холодный и прогретый кэш, критерии приёмки.
Читать
Развёртывание vLLM в Docker: проверка GPU, загрузка модели, локальный API, настройки контекста, защита доступа и диагностика первого запуска.
Читать
Как рассчитать VRAM для локальной LLM: веса модели, KV-cache, длина контекста, параллельные запросы, квантизация и проверка перед покупкой GPU.
Читать
Как запустить локальную LLM через Ollama: установка на Windows, macOS и Linux, выбор модели, первый API-запрос, проверка GPU и частые ошибки.
Читать
Когда бизнесу нужен собственный инференс LLM, а когда лучше API: данные, качество, нагрузка, команда, стоимость, готовность к эксплуатации и гибрид.
Читать
Как устроены движки инференса LLM и ускорение генерации: prefill, decode, batching, PagedAttention, FlashAttention, квантизация и speculative decoding.
Читать