Квантование LLM на практике: форматы, память и подготовка GGUF

квантование LLM
как квантовать модель
GGUF
Q4_K_M
AWQ GPTQ
Квантование LLM на практике: форматы, память и подготовка GGUF

Чтобы квантовать языковую модель для локального запуска, сначала выбирают движок и поддерживаемый им формат, затем готовят квантованную копию и проверяют её в рабочей нагрузке. Сокращение размера весов не гарантирует ни ускорения, ни того, что модель поместится в видеопамять с длинным контекстом. Для llama.cpp один из документированных путей — преобразовать исходную модель в GGUF высокой точности, а затем создать из него вариант Q4_K_M или Q8_0.

Материал подготовила AI студия Владимира Ломтева 11 ноября 2026 года для разработчиков и ИТ-команд, которые размещают открытую LLM на своём оборудовании. Здесь разобран практический маршрут для текстовой модели и причины неудачного запуска. Это дополнение к объяснению принципов квантизации, а не универсальная инструкция для любой архитектуры, видеокарты и мультимодальной модели.

Команды сверены с официальными инструкциями llama.cpp и документацией Hugging Face на дату подготовки. Сборка, конвертация и инференс в рамках статьи не выполнялись. Ниже приведены документированный порядок и предлагаемые критерии результата; совместимость конкретной модели и окружения нужно подтвердить отдельно.

Содержание

Что меняется при квантовании модели

Квантование, или квантизация, уменьшает точность представления чисел. Вместо хранения каждого веса в 16-битном формате используют более компактное представление с масштабами и другими служебными данными. Получаются приближённые значения: потерянные при округлении детали не возвращаются простым переводом файла обратно в FP16.

Важно различать три объекта: веса — обученные параметры; активации — промежуточные значения вычислений; KV-кэш — сохранённые ключи и значения внимания для уже обработанных токенов. Метод может сжимать только веса либо затрагивать и другие объекты. Надпись «4 бита» без уточнения этого состава недостаточна для расчёта ресурсов. Концепции квантования в Transformers.

PTQ — квантование готовой модели после обучения. Некоторые методы используют калибровочные тексты, чтобы оценить последствия округления. QAT учитывает округление в процессе обучения. Это разные процессы; обычная конвертация готового GGUF в Q4_K_M не становится QAT от смены названия файла.

Шаг 1. Выберите формат под движок, а не по расширению файла

Сначала определите, где модель будет исполняться: на CPU, на GPU, на смешанной конфигурации или в сервере с параллельными запросами. Затем проверьте поддержку архитектуры модели, метода квантования, аппаратуры и конкретной версии движка. Эти условия должны выполняться одновременно.

Вариант Что это означает Что проверить перед выбором
GGUF с Q4_K_M, Q8_0 и другими типами Контейнер GGUF и выбранные типы представления тензоров, часто для llama.cpp Конвертер, поддержка архитектуры, типы тензоров и backend запуска
AWQ Метод квантования весов с учётом активаций Готовый checkpoint и поддерживаемое вычислительное ядро
GPTQ Метод послойного квантования с компенсацией ошибки Конфигурация checkpoint, реализация загрузки и ядро
bitsandbytes Библиотека для низкобитной загрузки и вычислений Backend, тип загрузки и вычислительная точность
FP8 Семейство 8-битных форматов с плавающей точкой Конкретная схема весов/активаций/кэша и аппаратная поддержка

GGUF — не синоним четырёх бит. В нём бывают и высокоточные, и квантованные тензоры. AWQ и GPTQ — методы, а FP8 — обозначение числового представления, которое ещё нужно связать с реализацией. Сопоставлять эти названия как полностью одинаковые категории неудобно. Обзор поддержки в Transformers, матрица совместимости vLLM.

В этой инструкции дальше выбран маршрут GGUF. Он не описывает получение AWQ- или GPTQ-checkpoint: переименование готового GGUF не заменяет соответствующий процесс квантования. Для выбора самого сервера полезно отдельное сравнение vLLM, Ollama, llama.cpp и SGLang.

Результат этапа — известный движок и формат, который он действительно умеет исполнять для выбранной модели. Если совместимость не подтверждена, начинать длительную конвертацию рано.

Шаг 2. Рассчитайте веса и отдельно заложите память на работу

Для грубой нижней оценки объёма весов используется формула:

байты весов ≈ число параметров × число бит на параметр / 8

Для условной модели ровно с 8 млрд параметров получаются следующие значения. Это расчёт полезных данных весов, не замер файла и не потребность запущенного сервера. ГБ здесь десятичные: 1 ГБ = 1 млрд байт.

Точность хранения Теоретический объём весов
16 бит 16 ГБ
8 бит 8 ГБ
4 бита 4 ГБ

В реальном файле есть масштабы групп, метаданные и тензоры другой точности. Поэтому Q4_K_M не обещает ровно четыре бита на каждый параметр. Например, таблица разработчиков llama.cpp для Llama 3.1 8B указывает среднюю разрядность около 4,89 бита на вес в этом варианте. Это характеристика указанного примера, а не универсальное значение всех Q4-моделей. Документация llama-quantize.

При запуске дополнительно нужны KV-кэш, рабочие буферы, активации и память среды исполнения. Размер кэша зависит в том числе от архитектуры внимания, длины контекста, числа одновременно обслуживаемых последовательностей и точности самого кэша. У некоторых архитектур есть ограниченные окна внимания, поэтому правило «весь кэш всегда растёт одинаково» тоже неверно. Стратегии KV-кэша.

Если файл весит 5 ГБ, из этого нельзя заключить, что видеокарты на 6 ГБ хватит. Для подготовки GGUF также потребуются оперативная память и место на диске под исходник, высокоточный промежуточный файл и квантованный результат. Удаление исходника ради освобождения места лишает вас надёжной основы для повторной конвертации.

Результат этапа — отдельные оценки для хранения, подготовки и инференса. Единого процента запаса для любой модели здесь нет.

Шаг 3. Подготовьте исходник и инструменты llama.cpp

Для примера нужен каталог source-model с исходными файлами поддерживаемой текстовой модели в формате Hugging Face: весами, конфигурацией и файлами токенизатора. Его размещают рядом с будущим каталогом llama.cpp. Это имя локального входного каталога, а не название модели в Hub.

До начала сохраните точную ревизию модели и условия её использования. У стороннего квантованного checkpoint дополнительно выясните, из какой базы он получен и с какими настройками. Для собственного квантования предпочтителен доступный высокоточный исходник, а не уже сильно сжатая копия неизвестного происхождения.

Следующий пример предназначен для терминала Linux с уже установленными Git, Python, CMake и совместимым C/C++-компилятором. Системные зависимости и варианты GPU-сборки перечислены в официальной инструкции по сборке.

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git rev-parse HEAD > build-revision.txt
python3 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements.txt
cmake -B build
cmake --build build --config Release --target llama-quantize

Файл build-revision.txt фиксирует фактически полученный commit. Само клонирование основной ветки не фиксирует совместимый набор версий на будущее. Сохраните также версии Python и установленных пакетов; новые архитектуры могут требовать обновлённого Transformers. Документация конвертера отдельно предупреждает о зависимости поддержки моделей от версии этой библиотеки. Не обновляйте окружение между двумя сравниваемыми вариантами без записи изменений.

Признак готовности — собранный инструмент build/bin/llama-quantize и возможность прочитать справку конвертера:

python convert_hf_to_gguf.py --help
./build/bin/llama-quantize --help

Это проверяет доступность инструментов, но ещё не подтверждает поддержку вашего checkpoint. Пути к бинарным файлам могут отличаться на других ОС и при другой конфигурации сборки.

Шаг 4. Сначала создайте высокоточный GGUF

Внутри каталога llama.cpp выполните документированный вариант конвертации локальной модели:

python convert_hf_to_gguf.py ../source-model --outtype f16 --outfile ../model-f16.gguf

Конвертер должен распознать архитектуру и сохранить GGUF. Если он сообщает о неподдерживаемой архитектуре или отсутствующих тензорах, смена суффикса файла ошибку не исправит. Проверьте полноту исходника и поддержку модели в используемой ревизии. Назначение аргументов видно в исходнике конвертера.

f16 здесь — выбранный промежуточный формат для примера, а не обещание оптимальности для любой базы. Если исходная модель использует BF16 или более сложную схему хранения, изучите предусмотренный конвертером вариант bf16 либо auto. Изменение высокоточной формы тоже следует учитывать при сравнении.

Результат этапа — файл model-f16.gguf и сохранённый журнал конвертации без необъяснённых ошибок. Создание этого файла ещё не означает, что модель прошла инференс. Для мультимодальных моделей одного языкового GGUF может быть недостаточно: проект отдельно описывает преобразование компонентов изображений и аудио. Здесь такой маршрут не выполняется и не предлагается как универсальный.

Шаг 5. Сделайте независимые варианты квантования

Из одного и того же высокоточного файла можно подготовить варианты для сравнения:

./build/bin/llama-quantize ../model-f16.gguf ../model-Q4_K_M.gguf Q4_K_M
./build/bin/llama-quantize ../model-f16.gguf ../model-Q8_0.gguf Q8_0

Входом в обе команды служит один высокоточный источник. Не делайте Q8_0 из Q4_K_M в расчёте вернуть утраченную точность. Документация llama.cpp предупреждает, что повторное квантование уже квантованных тензоров может существенно ухудшить качество по сравнению с обработкой 16- или 32-битного источника. Параметры и предупреждения llama-quantize.

В этом маршруте используется базовое квантование без importance matrix. Для некоторых методов и вариантов важна калибровка: небольшая выборка проходит через модель и помогает подобрать представление. Нельзя объявлять квантованную копию «оптимизированной для русского языка», если соответствующая процедура не выполнялась и её эффект не проверялся.

Полученные файлы сохраняйте с указанием базовой ревизии и настроек. Размер файла — полезная техническая характеристика, но не итоговая оценка модели.

Шаг 6. Проверьте модель в той нагрузке, ради которой её сжимали

Запускайте полученные варианты в совместимом движке с одинаковым шаблоном диалога, параметрами генерации и входными запросами. Если высокоточная версия не помещается на том же устройстве, явно отметьте это ограничение: сравнение времени на разных конфигурациях уже нельзя объяснять одним квантованием.

Для поиска по внутренним документам используйте реальные по структуре вопросы, длинные выдержки и ответы с точными числами. Для извлечения полей проверьте корректность значений и структуры. Учебный пример: из сообщения о переносе поставки нужно извлечь новую дату, не перепутав её с первоначальной. Это предлагаемый тестовый сценарий, а не выполненный эксперимент.

Сопоставьте следующие характеристики:

  • качество ответа по заранее известному эталону, включая отказы при нехватке данных;
  • время до первого токена и скорость дальнейшей генерации — раздельно;
  • пиковую занятую память при нужном контексте и параллельности;
  • ошибки загрузки, нехватку памяти и поведение под длительной нагрузкой.

Документация Transformers объясняет, почему уменьшение весов может ускорять генерацию при ограничении пропускной способностью памяти, но не обязано ускорять каждую операцию: распаковка и деквантование тоже требуют работы. Обработка длинного входа и поочерёдная генерация токенов имеют разные ограничения. Веса, активации и вычислительные режимы.

Результат этапа — выбранный файл с подтверждённым поведением в вашей задаче. В этой статье таких результатов нет: мы описываем, что именно измерять.

Почему квантованная модель всё равно не помещается или работает медленнее

Нехватка памяти при длинном документе. Сжатие весов не уменьшило кэш автоматически. Проверьте лимит контекста, параллельность и возможности управления KV-кэшем именно в вашем движке. Не меняйте все параметры сразу: иначе нельзя понять причину.

Загрузка проходит, но часть вычислений уходит на CPU. Это может быть заданное размещение или нехватка GPU-памяти. Экономия видеопамяти за счёт переноса данных не равна ускорению. Оцените фактическое размещение слоёв и обмен между устройствами.

Формат поддерживается, а нужного быстрого ядра нет. Проверьте сочетание метода, архитектуры GPU и версии сервера. Таблица поддержки формата — необходимое условие, но ещё не бенчмарк конкретной нагрузки.

Ответы стали хуже при нормальной скорости. Сверьте происхождение модели, шаблон диалога и настройки генерации, затем сравните менее агрессивный вариант. Ошибка шаблона может выглядеть как потеря качества от квантования. Файлы разных базовых моделей для такого вывода не подходят.

Частые вопросы о квантовании

Можно ли просто скачать готовый GGUF?

Да, если подтверждены источник, лицензия, базовая ревизия и совместимость. Собственная конвертация полезна, когда нужен контролируемый исходник или собственная дообученная модель. Готовый файл не освобождает от проверки на рабочей задаче.

Что выбрать: четыре или восемь бит?

Сравните поддерживаемые варианты в пределах своего бюджета памяти и требуемого качества. Универсального победителя нет: «восемь» не гарантирует отсутствие ошибок, а «четыре» не гарантирует падение качества именно в вашей операции. Не путайте номинальную разрядность с фактической памятью сервиса.

Квантование заменяет LoRA или дистилляцию?

Нет. Квантование меняет представление чисел; LoRA обучает добавочные параметры; дистилляция обучает модель-ученика. Их можно сочетать, но у каждого процесса своя цель. Отдельно разобрана дистилляция языковых моделей.

Можно ли квантовать дообученную модель?

Да, при поддержке выбранной архитектуры и способа сохранения. Сначала выясните, что у вас есть: полный checkpoint или адаптер с базовой моделью. Слияние адаптера, экспорт и последующее квантование образуют новый артефакт, который нужно заново проверить; успешный тест адаптера не сертифицирует автоматически итоговый GGUF.

Как AI студия Владимира Ломтева помогает запустить компактную LLM

AI студия Владимира Ломтева может подготовить данные и требования для локальной LLM, развернуть и протестировать выбранную модель, интегрировать её с корпоративной базой знаний или бизнес-системой. Формат весов выбирается вместе с архитектурой сервиса и ограничениями оборудования; заранее обещать конкретное ускорение по одной разрядности нельзя.

Первый шаг — описать один процесс: какие запросы поступают, какое время ответа сейчас, какие документы используются и какой критерий определяет пригодный результат. Обсудить задачу.

Итог: какой артефакт должен остаться после квантования

Для воспроизводимого запуска нужны исходная ревизия модели, версия инструментов, высокоточный источник, настройки квантования и выбранный выходной файл. Практическая готовность появляется после проверки качества и ресурсов в рабочем контексте, а не после появления файла с маленьким размером.

Начните с совместимого движка и независимых вариантов из одной базы. Если модель не помещается, разделите память весов, кэша и исполнения. Если качество снизилось, сначала исключите различия базы и шаблона, затем меняйте степень квантования.

Оставить заявку

Заполните форму и мы свяжемся с вами

← Все статьи

Комментарии (0)

Пока нет комментариев. Будьте первым!

Оставить комментарий
Регистрация не требуется