Сколько VRAM нужно для LLM: веса, контекст и нагрузка

сколько VRAM нужно для LLM
сколько VRAM нужно для LLM инструкция
локальный инференс LLM
Сколько VRAM нужно для LLM: веса, контекст и нагрузка

Для запуска LLM нужно учитывать веса модели, KV-cache активных запросов, промежуточные буферы и резерв среды исполнения. Размер скачанного файла даёт только часть оценки. Модель, которая запускается с коротким вопросом, может перестать помещаться при длинных документах или нескольких одновременных пользователях.

Материал подготовила AI студия Владимира Ломтева 14 ноября 2026 года для разработчиков и ИТ-команд, выбирающих оборудование. Это методика расчёта памяти текстовых моделей с условными примерами, а не аппаратный тест или таблица гарантированной совместимости. Для мультимодальных и гибридных архитектур состав памяти уточняется отдельно. Цены и рекомендации конкретных видеокарт здесь не рассматриваются.

Содержание

Почему нельзя выбирать GPU по размеру файла

Файл весов хранит обученные параметры. Во время работы сервер также обрабатывает вход, формирует выход, хранит состояния последовательностей и запускает вычислительные операции. Для разных backend и форматов часть дополнительных расходов отличается.

На диске может находиться квантованный артефакт, а отдельные операции выполняться с другой точностью. Возможны служебные масштабы, метаданные и дополнительные тензоры. Поэтому выражение «модель весит 5 ГБ» не означает, что видеокарты с ровно таким доступным объёмом хватит для любого запроса.

В руководстве NVIDIA по оптимизации инференса веса и KV-cache рассматриваются как отдельные составляющие памяти LLM. Для практической закупки к ним нужно добавить расходы выбранного движка и запас на согласованный профиль работы.

Из чего состоит потребление памяти

Компонент От чего зависит Как проверить
Веса Число параметров, формат, точность Артефакт и конфигурация модели
KV-cache Архитектура attention, число активных токенов, точность кэша Оценки движка и измерение под нагрузкой
Промежуточные данные Размер обрабатываемой группы и вычислительный путь Профилирование, пиковая память
Runtime и библиотеки Движок, backend, графы, распределённый запуск Логи старта и фактическая память
Другие процессы Рабочий стол, другие модели, сервисы Системный мониторинг ускорителя

Одна и та же видеокарта может иметь разный свободный объём в разных системах. Особенно это заметно на рабочей станции, где ускоритель одновременно обслуживает дисплей и приложения. Проверяйте доступную память на целевой машине перед запуском теста.

Как оценить размер весов

Нижняя арифметическая оценка полезных данных весов:

Размер весов в байтах ≈ число параметров × число бит на параметр / 8

Для условной плотной модели с ровно 8 миллиардами параметров получаются следующие значения:

Представление Расчёт Полезные данные весов
16 бит 8 000 000 000 × 16 / 8 16 ГБ
8 бит 8 000 000 000 × 8 / 8 8 ГБ
4 бита 8 000 000 000 × 4 / 8 4 ГБ

Здесь ГБ — десятичные: миллиард байт. Один GiB равен 1 073 741 824 байтам. Не смешивайте единицы вывода системных инструментов и спецификации оборудования. Значения в таблице рассчитаны, а не измерены, и не включают служебные данные формата или память исполнения.

Для MoE число активируемых параметров не заменяет общий объём размещаемых весов. Даже если для отдельного токена работает только часть экспертов, сервер должен иметь доступ к необходимым артефактам. Конкретный способ размещения определяется архитектурой и движком.

Как растёт KV-cache

Для обычной decoder-only архитектуры с attention грубую оценку несжатого кэша можно записать так:

KV_bytes ≈ 2 × L × H_kv × D_head × T_active × B_element

Здесь L — число слоёв, H_kv — число KV-голов, D_head — размер головы, T_active — суммарное количество сохранённых токенов активных последовательностей, B_element — число байт на элемент кэша. Множитель 2 соответствует отдельным K и V. Если несколько последовательностей имеют одинаковую длину, их число можно учесть через сумму токенов.

Условный пример: 32 слоя, 8 KV-голов, размер головы 128, 8192 токена одной последовательности и 2 байта на элемент. Получается 1 073 741 824 байта, то есть 1 GiB кэша. Четыре независимые такие последовательности в этой упрощённой модели дадут 4 GiB. Это расчёт при заданных параметрах, а не требование любой модели с похожим названием.

Формула не универсальна для MLA, sliding-window, гибридных слоёв и других способов организации состояния. Повторное использование блоков и выбранная точность кэша также меняют размещение. Уточняйте оценку по архитектуре и документации движка о KV-cache.

Контекст включает больше, чем текущий вопрос

Входом могут быть системная инструкция, история диалога, найденные документы, описания инструментов и текущий запрос. Считать только текст последнего сообщения недостаточно. В агентном приложении определения инструментов иногда занимают заметную часть контекста ещё до пользовательских данных.

Выход тоже продолжает последовательность и увеличивает используемое состояние. Если приёмка проводилась с короткими ответами, а рабочий сценарий генерирует длинные отчёты, профиль памяти будет другим. Заранее задайте допустимый предел выхода и правило обработки усечения.

Не выставляйте максимальный контекст только потому, что модель его поддерживает. Сначала определите размер, необходимый процессу. Для поиска по базе знаний часто полезнее улучшить выбор документов, чем передавать все материалы целиком. Архитектура поиска разобрана в статье о RAG для бизнеса.

Параллельность и запас мощности

Число зарегистрированных пользователей, число сетевых соединений и число одновременно исполняемых последовательностей — разные величины. Сервер может принять запрос и оставить его в очереди. Расход памяти определяется прежде всего состоянием активной работы и стратегией её размещения.

Для покупки GPU полезно составить несколько профилей: короткий чат, длинный документ, пакетная обработка и смешанный поток. У каждого свои длины и допустимое ожидание. Одна «средняя» конфигурация часто скрывает тяжёлый сценарий, который вызывает отказ.

Запас выбирают по фактическим пикам и необходимой устойчивости, а не по универсальному проценту. Нужно учесть обновления runtime, служебные буферы и изменение реального потока. Слишком тесная конфигурация может работать на демонстрации и отказывать при обычной вариативности запросов.

Когда помогает квантование

Квантование весов уменьшает занимаемую ими память. Если именно веса не помещаются, это один из кандидатов на решение. Однако при проблеме длинного контекста основной дополнительный расход может приходиться на KV-cache, и тогда сжатие только весов не устраняет всю причину.

Отдельно проверяйте поддержку формата и вычислительных ядер. Обозначения GGUF, AWQ, GPTQ и FP8 относятся к разным уровням описания артефакта и вычислений. Нельзя считать их взаимозаменяемыми переключателями одного режима. В практической инструкции по квантованию показан конкретный маршрут подготовки GGUF.

При смене точности заново проверьте качество. Память — техническое ограничение, но итоговый артефакт должен сохранять применимость ответа на вашей задаче. Особенно важны точные поля, числа и случаи, где модель должна вернуть отсутствие значения.

CPU offload и несколько GPU

Размещение части вычислений или весов в RAM позволяет исследовать конфигурации, которые не помещаются целиком в VRAM. Но доступ к системной памяти и передача данных имеют свою стоимость. Успешный запуск с offload ещё не означает приемлемой задержки.

Несколько GPU позволяют распределить модель, однако память нельзя всегда считать простым общим бассейном. На отдельных устройствах могут оставаться реплицируемые данные и дополнительные буферы. Баланс зависит от выбранного вида параллелизма и архитектуры. Руководство vLLM по масштабированию помогает выбрать схему для проверки.

Если модель помещается на одном устройстве, дополнительные реплики могут решать задачу общего объёма запросов иначе, чем разделение одной копии. Решение принимают по нагрузке и SLO, а не только по сумме VRAM в спецификации сервера.

Как проверить расчёт до покупки

  1. Зафиксируйте точный артефакт модели, формат, токенизатор и версию движка.
  2. Посчитайте нижнюю оценку весов и архитектурную оценку состояния.
  3. Определите реальные пределы входа, выхода и активной параллельности.
  4. Временно запустите эту конфигурацию на подходящем доступном или арендованном оборудовании.
  5. Запишите память после старта, при первом запросе и во время смешанной нагрузки.
  6. Проверьте тяжёлые разрешённые запросы, повторные обращения и восстановление после ошибки.
  7. Сопоставьте измеренную память с задержкой, качеством и числом отказов.

В протоколе отдельно отмечайте заранее выделенный пул памяти и фактически используемое состояние. Высокая занятая память не всегда означает одинаковую близость к отказу: некоторые серверы резервируют ресурс намеренно. Источник интерпретации — метрики и журналы конкретного runtime.

Шаблон карточки оборудования

Скопируйте структуру и заполните фактическими значениями:

Задача и критерий качества:
Модель, revision, формат:
Движок и версия:
GPU, драйвер, свободная VRAM:
RAM и свободное место на диске:
Предел входа и выхода в токенах:
Допустимая активная параллельность:
Память после запуска и пиковая память:
Задержка и доля ошибок под нагрузкой:
Решение и условия повторной проверки:

Карточка полезна и для переговоров с поставщиком: вместо вопроса «потянет ли 70B» появляется конкретная конфигурация и сценарий приёмки. Поставщик может подтвердить условия теста, а команда — воспроизвести результат.

Механизмы, которые стоят за настройками сервера, разобраны в гиде по движкам и ускорению инференса. До выбора оборудования полезно пройти сравнение собственного инференса и API.

Частые вопросы

Хватит ли 24 ГБ VRAM для модели 32B?

Без формата весов, архитектуры, контекста и параллельности ответить нельзя. Сначала оцените веса и состояние, затем проверьте конкретный артефакт на нужной нагрузке.

Почему модель запускается, но падает на длинном документе?

Вероятная группа причин — рост состояния последовательности или промежуточной памяти. Сравните короткий и длинный запрос при неизменных остальных условиях и изучите сообщение ошибки.

Больше RAM заменяет видеопамять?

RAM может использоваться в определённых схемах размещения, но не является равнозначной заменой VRAM по скорости доступа. Нужно проверять поддержку offload и итоговую задержку.

Нужно ли покупать карту с максимальным объёмом памяти?

Не обязательно. Сначала выбирают модель и режим работы, затем оборудование, способное пройти приёмку с нужным запасом. Избыточный ресурс без нагрузки тоже входит в стоимость владения.

Как AI студия Владимира Ломтева помогает подобрать конфигурацию

AI студия Владимира Ломтева может связать подготовку данных с тестированием и развёртыванием LLM: описать рабочую нагрузку, проверить подходящий артефакт и интегрировать выбранное исполнение в процесс. Результатом выбора должны стать измеряемые условия приёмки, а не обещание совместимости по одному числу параметров.

Первый шаг — выбрать процесс, размер его документов, ограничения по данным и критерий ответа. Обсудить задачу.

Как выбрать необходимый объём VRAM

Начните с весов, затем добавьте состояния реальных последовательностей и расходы движка. Проверьте тяжёлый сценарий и смешанную нагрузку на той конфигурации, которую собираетесь использовать. При покупке ориентируйтесь на воспроизводимый результат по памяти, задержке и качеству; размер файла служит только исходной оценкой.

Оставить заявку

Заполните форму и мы свяжемся с вами

← Все статьи

Комментарии (0)

Пока нет комментариев. Будьте первым!

Оставить комментарий
Регистрация не требуется