Какую модель выбрать для локального инференса: ноябрь 2026

модель для локального инференса
лучшие открытые LLM ноябрь 2026
выбор LLM для своего сервера
Какую модель выбрать для локального инференса: ноябрь 2026

В ноябре 2026 года выбор открытой модели для своего сервера определяется прежде всего железом и лицензией. На одну видеокарту 24–48 ГБ ставят Qwen3.8-27B или Gemma 4 31B, на одну GPU 80 ГБ — gpt-oss-120b, на рабочую станцию с большим объёмом RAM — MoE-модели вроде Qwen3.6-35B-A3B или Qwen3.8-Flash-Next через Strata. Для многосерверных кластеров есть GLM-5.3-Flash, DeepSeek-V4.1-Flash и российская GigaChat3.5 под лицензией MIT. Окончательный выбор делают тестом на своих задачах: рейтинги общего назначения не показывают, как модель справится с вашими документами и русским языком.

Обзор подготовила AI студия Владимира Ломтева 17 ноября 2026 года. Размеры моделей, лицензии и даты публикации взяты из карточек и метаданных репозиториев на Hugging Face на эту дату. Сравнительных тестов качества мы не проводили. Расчёты памяти ниже учитывают только веса и показывают порядок величин.

Содержание

Как мы отбирали модели

В обзор попали модели с открытыми весами, которые опубликованы официальными разработчиками на Hugging Face, поддерживаются распространёнными движками (vLLM, SGLang, llama.cpp, Ollama) и подходят для типовых задач компаний: ответы по документам, извлечение данных, работа с кодом, агенты. Мы не ранжируем модели между собой: без теста на ваших данных такой рейтинг вводит в заблуждение.

Сколько памяти нужно под веса: как считать

Память под веса ≈ число параметров × байт на параметр. Для FP16/BF16 это 2 байта, для FP8 — 1 байт, для 4-битного квантования — около 0,5 байта плюс служебные коэффициенты.

  • Qwen3.8-27B (27,8 млрд параметров): в FP8 около 27,8 ГБ, в 4 битах около 14 ГБ.
  • GLM-5.3-Flash (321 млрд): в FP8 около 321 ГБ — только под веса нужно не меньше пяти GPU по 80 ГБ (321 / 80 ≈ 4,01, округляем вверх).
  • DeepSeek-V4.1-Flash-1017 (763 млрд): в FP8 около 763 ГБ — десять GPU по 80 ГБ или восемь по 141 ГБ.

К весам добавляются KV-кэш и служебная память; они растут с контекстом и числом пользователей. Подробный расчёт — в статье «Сколько VRAM нужно для LLM», а приёмы экономии — в статьях о квантовании и KV-кэше в FP8.

У MoE-моделей на каждый токен работает лишь часть параметров, поэтому они генерируют быстрее плотных моделей того же размера. Но памяти им нужно под все параметры сразу — если не разносить экспертов по RAM и SSD, как это делает Strata.

Ноутбук и рабочая станция: 8–16 ГБ видеопамяти

Модель Параметры Лицензия Комментарий
Gemma 4 E4B 8,0 млрд в весах Apache 2.0 Компактная модель Google с марта 2026 года
gpt-oss-20b 20,9 млрд, MoE Apache 2.0 По карточке OpenAI работает в пределах 16 ГБ памяти
GigaChat3.1-10B-A1.8B 11,5 млрд, MoE MIT Российская модель Сбера, около 1,8 млрд активных по названию
MiMo-V2.6-Distill-Qwen-9B 9,4 млрд MIT Дистиллят Xiaomi; в Ollama 0.40.15 добавлен MiMo V2.6 9B для кода и агентов

Такие модели подходят для персонального ассистента, черновиков, классификации обращений и извлечения полей из коротких документов. Для сложных рассуждений и длинных документов их обычно не хватает. Быстрый способ попробовать — Ollama или llama-server.

Одна видеокарта 24–48 ГБ

Модель Параметры Лицензия Комментарий
Qwen3.8-27B 27,8 млрд, плотная Apache 2.0 Опубликована 5 августа 2026 года, есть официальная FP8-версия
Gemma 4 31B 31,3 млрд Apache 2.0 Старшая плотная модель Gemma 4
Gemma 4 26B-A4B 25,8 млрд, MoE Apache 2.0 Около 4 млрд активных по названию, быстрее плотной 31B
Qwen3.6-35B-A3B 36,0 млрд, MoE Apache 2.0 Около 3 млрд активных по названию; удобна для частичной выгрузки на CPU

Это основной класс для корпоративного пилота на одном сервере: ассистент по базе знаний, RAG, извлечение данных из договоров, помощь в коде. Лицензия Apache 2.0 у всех четырёх упрощает коммерческое использование.

Одна GPU 80 ГБ или рабочая станция с 64–128 ГБ RAM

Модель Параметры Лицензия Комментарий
gpt-oss-120b 116,8 млрд, 5,1 млрд активных Apache 2.0 По карточке помещается на одну GPU 80 ГБ благодаря MXFP4
Qwen3.8-Flash-Next 125 млрд, 6 млрд активных, плюс 51 млрд в n-граммных эмбеддингах и 4 млрд в MTP Qwen Community License 1.0 Запускается на ПК через Strata; лицензия не Apache, проверьте условия
AliceAI-Foundation-80B-A3B-Base 81,3 млрд, MoE Apache 2.0 Базовая модель Яндекса с контекстом до 262 тысяч токенов; инструктивной версии в репозитории нет, нужна донастройка

Qwen3.8-Flash-Next — интересный вариант для разработчиков, которым нужна сильная модель на рабочей станции, а не в облаке. Для общего сервера отдела gpt-oss-120b на одной GPU 80 ГБ проще в эксплуатации. Модель Яндекса стоит рассматривать как основу для собственного дообучения на русскоязычных данных, а не как готового ассистента.

Многосерверные кластеры

Модель Параметры Лицензия Комментарий
GLM-5.3-Flash 321 млрд MIT Самая доступная по размеру из крупных моделей Z.ai
GigaChat3.5-432B-A28B-Reasoning 438 млрд, около 28 млрд активных по названию MIT Российская модель с рассуждением, опубликована 3 сентября 2026 года
DeepSeek-V4.1-Flash-1017 763 млрд MIT Обновление от 17 октября 2026 года
Mistral-Large-4-1T-A52B около 1 трлн, 52 млрд активных по названию Mistral Ecosystem Open-Weight License Модифицированная лицензия MIT; читайте условия
Muse-Spark-Open-816B-A42B 822 млрд Собственная лицензия Meta Доступ по запросу
Kimi-K3.1-Pro 2,78 трлн Собственная лицензия Опубликована 2 ноября 2026 года; требует крупного кластера

Модели этого класса окупаются, когда есть стабильная нагрузка от многих пользователей и инфраструктура для нескольких GPU-серверов. Для них нужны тензорный параллелизм и реплики, а иногда и раздельные prefill и decode. Прежде чем строить кластер, оцените, не проще ли использовать API: соображения разобраны в статье «Свой инференс или API».

Лицензия важнее, чем кажется

Лицензия Модели из обзора Что проверить
Apache 2.0 Qwen3.8-27B, Qwen3.6-35B-A3B, Gemma 4, gpt-oss, AliceAI-Foundation Сохранение уведомлений, условия на товарные знаки
MIT GigaChat3.1, GigaChat3.5, GLM-5.3-Flash, DeepSeek-V4.1-Flash, MiMo-V2.6 Минимальные требования
Собственные Qwen3.8-Flash-Next, GLM-5.3, Mistral Large 4, Muse Spark Open, Kimi K3.1 Pro Ограничения на использование, масштаб, конкурирующие продукты

Обратите внимание: у одного разработчика модели могут иметь разные лицензии. GLM-5.3-Flash распространяется под MIT, а старшая GLM-5.3 — под собственной лицензией. Подробнее о том, что проверять в условиях, — в статье «Лицензии открытых LLM».

Русский язык

Открытые модели из обзора многоязычные, но качество на русском у них разное и зависит от задачи. Российские модели — GigaChat3.1 и GigaChat3.5 от Сбера под MIT и базовая AliceAI-Foundation от Яндекса под Apache 2.0 — стоит включать в сравнение, особенно для текстов с отраслевой терминологией и юридическими формулировками. Обзор российских и зарубежных моделей есть в статье «LLM в России 2026».

Как выбрать: порядок действий

  1. Опишите задачу. Что модель должна делать, какие документы читать, какой длины контекст и сколько пользователей одновременно.
  2. Определите железо. Сколько видеопамяти и RAM есть или будет куплено.
  3. Проверьте лицензию для коммерческого использования.
  4. Отберите 2–3 кандидата из подходящего класса.
  5. Соберите свой тестовый набор из 50–200 реальных задач с критериями оценки. Методика — в статье о своём бенчмарке для выбора LLM.
  6. Сравните качество, скорость и память на одном движке и одинаковых настройках.
  7. Проверьте под нагрузкой выбранную модель по методике нагрузочного теста.

Частые вопросы

Какая модель лучшая в ноябре 2026? Универсально лучшей нет. Для одного GPU среднего класса чаще всего рассматривают Qwen3.8-27B, Gemma 4 и gpt-oss-120b, но выбор делает тест на ваших задачах.

Стоит ли брать самую большую модель, которая помещается? Не всегда. Модель поменьше оставляет память под контекст и параллельных пользователей и отвечает быстрее. Часто она с RAG справляется не хуже большой без него.

Можно ли использовать модели с собственной лицензией в коммерческом продукте? Зависит от условий конкретной лицензии. Прочитайте её целиком и при сомнениях обратитесь к юристу.

Что делать, если модель плохо знает нашу предметную область? Сначала попробуйте RAG и хороший промпт. Если не хватает, рассмотрите дообучение, в том числе LoRA-адаптерами на одной модели.

Как AI студия Владимира Ломтева помогает выбрать модель

AI студия Владимира Ломтева разворачивает и дообучает LLM на собственном оборудовании компаний. Для выбора модели это означает:

  • сформулировать требования задачи к качеству, контексту, скорости и лицензии;
  • собрать тестовый набор из реальных документов и запросов и сравнить на нём кандидатов;
  • подобрать железо и движок под выбранную модель и ожидаемую нагрузку;
  • развернуть модель и, если нужно, дообучить её на данных компании.

Первый шаг — выбрать одну задачу, собрать 20–30 типичных примеров с правильными ответами и описать имеющееся оборудование. Обсудить задачу.

Итог: железо и лицензия сужают выбор, тест решает

Открытых моделей в ноябре 2026 года хватает для любого класса железа: от ноутбука до кластера. Сначала отсейте кандидатов по памяти и лицензии, затем сравните два-три варианта на собственных задачах и только после этого покупайте оборудование или масштабируйте сервер.

Оставить заявку

Заполните форму и мы свяжемся с вами

← Все статьи

Комментарии (0)

Пока нет комментариев. Будьте первым!

Оставить комментарий
Регистрация не требуется