Если локальная LLM не помещается в VRAM, сначала определите момент отказа: загрузка весов, подготовка исполнения или обработка запроса. Затем отдельно проверяйте размер модели, контекст, активную параллельность и соседние процессы. Квантование помогает не при любой причине, а увеличение лимита памяти не создаёт дополнительную физическую VRAM.
Материал подготовила AI студия Владимира Ломтева 14 ноября 2026 года для разработчиков и администраторов локальных LLM. Это методика диагностики текстовых моделей по документации runtime, без собственного аппаратного эксперимента и без гарантии запуска любой модели. Конкретные параметры зависят от версии и backend. Примеры предназначены для разрешённой тестовой среды.
Содержание
- Почему возникает нехватка памяти
- Сохраните минимальный набор фактов
- Дерево диагностики по моменту отказа
- Если не помещаются веса
- Если ошибка появляется на длинном контексте
- Если ошибка возникает при параллельных запросах
- Чем отличаются квантование весов и кэша
- Почему нельзя просто поднять gpu-memory-utilization
- Когда рассматривать offload и несколько GPU
- Что проверять при отказе после длительной работы
- Протокол исправления OOM
- Когда проблема считается решённой
- Частые вопросы
Почему возникает нехватка памяти
OOM, или out of memory, означает невозможность выделить требуемую память в определённой операции. Сначала убедитесь, о какой памяти идёт речь: GPU, оперативной памяти хоста или другом ресурсе. Завершение процесса контейнера системным механизмом и ошибка CUDA могут иметь разные причины.
В VRAM размещаются не только веса. Нужны состояния активных последовательностей, промежуточные данные и расходы среды исполнения. На рабочей станции часть памяти могут занимать дисплей, браузер и другие вычислительные процессы. Поэтому размер файла модели нельзя напрямую сравнивать со свободной VRAM как достаточное условие запуска.
Для устройства runtime и типовых ошибок используйте vLLM Troubleshooting. Для Ollama отдельно проверяйте аппаратную совместимость и его журналы. Сообщение «не поддерживается» не исправляется тем же способом, что нехватка памяти.
Сохраните минимальный набор фактов
До изменения настроек запишите модель и revision, формат весов, версию движка, GPU, драйвер, команду запуска и полное сообщение ошибки. Отметьте, был ли успешный короткий запрос раньше и что изменилось непосредственно перед отказом.
Для NVIDIA полезен снимок:
nvidia-smi
Он помогает увидеть общую занятую память и процессы, но сам по себе не объясняет все внутренние пулы движка. Не завершайте незнакомые процессы на общем сервере. Сначала определите их владельца и допустимость остановки.
Если сервер запускается в Docker, сохраните состояние контейнера и его журналы. Отдельно проверьте доступную RAM хоста и диск. Без этой информации легко начать менять GPU-параметры при проблеме совсем другого ресурса.
Дерево диагностики по моменту отказа
| Когда возникает ошибка | Что исследовать сначала | Минимальный изолирующий тест |
|---|---|---|
| До загрузки модели | Драйвер, backend, архитектуру GPU | Проверка доступности устройства |
| Во время загрузки весов | Размер и формат артефакта, свободную память | Меньшая поддерживаемая модель |
| При подготовке runtime | Буферы, графы, лимиты контекста | Минимальная конфигурация движка |
| На длинном документе | Состояние контекста и временные буферы | Короткий вход при тех же весах |
| При нескольких клиентах | Активную параллельность и очереди | Один запрос вместо нескольких |
| После длительной работы | Изменение потока, соседние процессы, runtime | Снимки метрик и воспроизводимый сценарий |
Это порядок проверки, а не диагноз по одному симптому. Подтверждение получают сравнением двух условий, где изменяется один существенный фактор. Если вместе заменили модель, драйвер и контекст, источник улучшения останется неизвестным.
Если не помещаются веса
Начните с точного артефакта. Одинаковое название семейства может обозначать разные размеры и способы представления. Проверьте, что вы скачали ожидаемый вариант, а движок поддерживает именно его.
Нижняя оценка полезных данных весов: число параметров умножить на число бит и разделить на восемь. Для условных 8 миллиардов параметров в 16-битном представлении получается 16 миллиардов байт. Это арифметика весов без служебных данных и runtime, а не обещание запуска на устройстве с таким номинальным объёмом.
Если причина действительно в весах, рассмотрите меньшую модель, поддерживаемое квантование, допустимый offload или распределение. Для каждого кандидата заново проверяйте качество. Детальный маршрут подготовки GGUF приведён в статье о практическом квантовании.
Если ошибка появляется на длинном контексте
Увеличение входа добавляет работу и состояние. Контекст включает системные инструкции, историю, описания инструментов и найденные документы. При продолжении генерации последовательность растёт дальше.
Сравните короткий и длинный вход при одном активном запросе. Сохраните одинаковые веса и настройки выхода. Если ошибка связана с длиной, проверьте фактическое число токенов, предел последовательности и поведение кэша. Счётчик символов даёт только приблизительное представление: токенизация зависит от модели и текста.
Для RAG сначала проверьте необходимость всех передаваемых фрагментов. Удаление нерелевантных документов может снизить расход и улучшить фокус ответа. Но механическое усечение без контроля качества способно удалить условие, от которого зависит правильный результат. Подход к выбору контекста описан в материале о RAG-системе.
Если ошибка возникает при параллельных запросах
Каждая активная последовательность требует состояния. Успешный одиночный диалог не подтверждает способность обслужить несколько длинных документов одновременно. Разделяйте число принятых соединений и реально исполняемых запросов.
Уменьшите допуск к активной работе и повторите тот же поток. Если память стабилизировалась, измерьте, как изменилась очередь и задержка. Перенос запросов в ожидание может избежать OOM, но не выполнить пользовательское SLO. Поэтому решение должно учитывать оба ограничения.
Для пакетного архива можно регулировать размер группы и планировать задания. Для интерактивного чата нужны понятные лимиты и обработка перегрузки. Бесконечная очередь не является корректным исправлением нехватки ресурса.
Чем отличаются квантование весов и кэша
Квантование весов уменьшает определённую часть размещаемых параметров. Квантование KV-cache относится к состояниям последовательностей и имеет отдельную совместимость. Сжатие первого объекта не означает автоматического сжатия второго.
У движка могут быть ограничения на поддерживаемые типы кэша, вычислительные ядра и аппаратуру. Поэтому не переносите строку параметров между версиями без проверки. Документация vLLM Quantized KV Cache описывает соответствующий класс настроек.
После изменения проверьте не только память, но и корректность результата. Для автоматизации тест должен включать числа, обязательные поля, пропуски и спорные случаи. Если модель стала помещаться ценой неприемлемых ошибок, рабочая задача пока не решена.
Почему нельзя просто поднять gpu-memory-utilization
Параметр распределения памяти помогает движку планировать доступный ресурс. Он не увеличивает физический объём ускорителя и не гарантирует безопасность соседних процессов. При совместном использовании GPU нужно согласовать общий бюджет.
Иногда ошибка связана с слишком тесным лимитом экземпляра; иногда — с тем, что на устройстве уже нет свободной памяти. Это разные ситуации. Сначала посмотрите фактическое состояние хоста и сообщения runtime, затем меняйте параметр.
Не выставляйте предельные значения по совету из чужого примера. Для стабильного режима нужен запас на выбранную нагрузку и обновления. Стратегия управления ресурсами должна быть частью конфигурации выпуска, а не ручной настройкой после каждого отказа.
Когда рассматривать offload и несколько GPU
Offload позволяет использовать системную память в поддерживаемом пути исполнения. Это может помочь разместить артефакт, но цена передачи данных влияет на задержку. Измеряйте полный запрос, а не только успешность загрузки.
Несколько GPU могут разделить модель, однако сумма их VRAM не всегда равна единому доступному пулу. На отдельных устройствах остаются дополнительные данные и коммуникационные расходы. Выбор tensor или pipeline parallelism зависит от модели и топологии. Подходы описаны в руководстве vLLM по масштабированию.
Если уменьшенная модель решает задачу приемлемо, она тоже должна участвовать в сравнении. Самый большой артефакт, который удалось запустить, не обязательно даёт лучшую стоимость принятой операции.
Что проверять при отказе после длительной работы
Сохраните распределение длины входов и выхода, число активных запросов и состояние других процессов. Возможно, в систему пришёл ранее неучтённый тип документа или приложение стало отправлять полную историю диалога. Это изменение нагрузки, а не обязательно утечка памяти.
Утечку или дефект runtime нужно подтверждать воспроизводимым сценарием. Сравните снимки после завершения одинаковой работы, изучите известные проблемы закреплённой версии и подготовьте минимальный пример. Простое увеличение занятой памяти не всегда доказывает утечку: сервер может сохранять выделенный пул.
Перезапуск может временно восстановить работу, но не устанавливает причину. Если он нужен как мера восстановления, опишите, как обрабатываются незавершённые задачи и предотвращаются повторные действия приложения.
Протокол исправления OOM
- Сохраните сообщение и момент отказа.
- Проверьте ресурс хоста и точный артефакт.
- Добейтесь минимального поддерживаемого запуска.
- Верните нужную длину одного запроса и измерьте память.
- Постепенно добавьте активную параллельность.
- Проверьте выбранное изменение на контрольных задачах.
- Повторите смешанный поток и тяжёлый разрешённый сценарий.
- Зафиксируйте конфигурацию и критерии отката.
Для журнала используйте поля: «версия → модель → вход/выход → активные запросы → пик памяти → результат → изменение». Это копируемый шаблон диагностики. Он позволяет не потерять информацию между попытками и не возвращаться к уже опровергнутой гипотезе.
Когда проблема считается решённой
Одного успешного запроса мало. Нужно показать стабильное выполнение согласованного потока, отсутствие неприемлемых ошибок и сохранение качества. Проверьте перезапуск и повторную загрузку, чтобы исправление не зависело от случайного состояния памяти.
Если пришлось сократить контекст или ограничить клиентов, это должно отражаться в правилах приложения. Пользователь должен получить понятную обработку превышения лимита, а не внезапный отказ сервера. Изменение возможностей фиксируют вместе с технической настройкой.
Механизмы, которые стоят за настройками сервера, разобраны в гиде по движкам и ускорению инференса. До выбора оборудования полезно пройти сравнение собственного инференса и API.
Частые вопросы
Почему четырёхбитная модель всё равно не помещается?
Потому что кроме весов нужны кэш, буферы и runtime. Также проверьте фактический формат и наличие других процессов на GPU.
Можно ли очистить память командой и продолжить?
Освобождение ресурса зависит от владельца процесса и среды исполнения. Не останавливайте чужие задачи на общем сервере. После восстановления всё равно нужно подтвердить причину отказа.
Поможет ли уменьшение числа выходных токенов?
Оно может уменьшить предельную длину последовательности и время работы, но эффект зависит от стратегии размещения движка. Это проверяемый кандидат, а не универсальное исправление.
Когда покупать другой GPU?
Когда подтверждено, что выбранная модель и нагрузка требуют большего ресурса, а допустимые изменения не проходят по качеству или SLO. До покупки полезно воспроизвести конфигурацию на подходящем временном оборудовании.
Как AI студия Владимира Ломтева помогает с локальным запуском
AI студия Владимира Ломтева может связать развёртывание LLM с подготовкой контрольных данных и тестированием выбранной конфигурации. Для проблемы памяти это означает описать рабочий сценарий, проверить допустимые варианты модели и интегрировать выбранный режим в процесс с понятными ограничениями.
Первый шаг — собрать точный пример задачи, текущую конфигурацию и критерий приемлемого ответа. Обсудить задачу.
Как исправлять нехватку VRAM последовательно
Начните с момента отказа и минимального воспроизводимого примера. Разделите веса, контекст и параллельность, затем проверьте подходящее изменение. Завершайте диагностику приёмкой реальной нагрузки и качества: именно она показывает, что конфигурация пригодна для работы.






