Дистилляция LLM — это обучение небольшой модели-ученика повторять ответы или распределения вероятностей большой модели-учителя. В результате компактная модель решает выбранную задачу почти как большая, но требует меньше видеопамяти и отвечает быстрее. Метод описали Джеффри Хинтон и соавторы в 2015 году, а сегодня так обучены, например, Gemma 2 на 2 и 9 млрд параметров и шесть моделей DeepSeek-R1-Distill.
Материал подготовлен AIrassvet 23 октября 2026 года для руководителей и ИТ-директоров, которые выбирают, как запустить языковую модель на своих серверах дешевле и быстрее. Мы опираемся на научные статьи и карточки моделей, ссылки на которые приведены в конце. Собственных экспериментов по дистилляции в этой статье нет: все результаты принадлежат авторам исследований и разработчикам моделей.
Содержание
- Кратко
- Что входит и не входит в эту статью
- Что такое дистилляция простыми словами
- Как устроена дистилляция: три способа
- Примеры дистиллированных моделей
- Дистилляция, квантизация, дообучение и RAG: в чём разница
- Где дистилляция применяется в бизнесе
- Как проходит проект дистилляции
- Ограничения и риски
- Глоссарий
- Частые вопросы
- Первоисточники и метод
Кратко
- Суть: большая модель-учитель создаёт ответы или вероятности, маленькая модель-ученик учится их повторять.
- Зачем: ученик в разы меньше, поэтому его дешевле запускать на своих серверах, а ответы приходят быстрее.
- Цена: ученик обычно уступает учителю и хорошо работает только в той области, на которой его учили.
- Отличие от квантизации: квантизация сжимает ту же модель, дистилляция обучает новую, меньшую.
- Юридический вопрос: лицензия или условия учителя могут ограничивать обучение других моделей на его ответах.
Что входит и не входит в эту статью
Мы объясняем дистилляцию текстовых языковых моделей: как она устроена, где применяется и какие у неё ограничения. Мы не разбираем квантизацию — ей посвящена отдельная статья «Квантизация LLM: что это», — а также прунинг и пошаговую настройку обучения. Общие вопросы дообучения собраны в FAQ о дообучении LLM на данных компании.
Что такое дистилляция простыми словами
Дистилляция знаний (knowledge distillation) — способ перенести умения большой модели в маленькую. Большую модель называют учителем, маленькую — учеником. Ученик учится не только на правильных ответах из данных, но и на том, как отвечает учитель.
Идею предложили Джеффри Хинтон, Ориол Виньялс и Джефф Дин в статье 2015 года «Distilling the Knowledge in a Neural Network». Они показали, что знания ансамбля из многих моделей можно сжать в одну модель, которую проще развернуть для большого числа пользователей. Ключевой приём — учить ученика на «мягких» ответах учителя: не на одном правильном варианте, а на вероятностях всех вариантов.
Аналогия: ученик-повар учится не по одной записи «блюдо готово», а наблюдая, как мастер выбирает между несколькими приёмами и насколько уверен в каждом. Так ученик перенимает не только результат, но и ход решения.
Как устроена дистилляция: три способа
1. Дистилляция по вероятностям. Учитель для каждого шага выдаёт распределение вероятностей следующего токена, а ученик учится повторять это распределение. Хинтон и соавторы предложили «смягчать» распределение температурой: при высокой температуре видно, какие неправильные варианты учитель считает близкими к правильному, и эта информация помогает ученику. Способ требует доступа к выходам учителя целиком, то есть открытой модели.
2. Дистилляция по ответам. Учитель генерирует готовые ответы на большой набор запросов, а ученика обычно дообучают на парах «запрос — ответ учителя». Юн Ким и Александр Раш описали такой вариант для машинного перевода в 2016 году: их лучший ученик работал в 10 раз быстрее учителя при небольшой потере качества. Этот способ подходит и для закрытой модели, доступной только через API, если её условия это разрешают.
3. Дистилляция на ответах самого ученика. Ученик сам генерирует ответы, а учитель оценивает их, и ученик исправляется там, где ошибся. Такой подход описан, например, в работе MiniLLM 2023 года: авторы заменили привычную цель обучения на обратную дивергенцию Кульбака — Лейблера, чтобы ученик не переоценивал маловероятные варианты учителя.
На практике способы сочетают: сначала ученика дообучают на ответах учителя, затем уточняют по вероятностям или на собственных ответах.
Примеры дистиллированных моделей
| Модель | Учитель и метод | Что сообщают авторы |
|---|---|---|
| DistilBERT, 2019 | BERT, дистилляция на этапе предобучения | Модель на 40% меньше и на 60% быстрее BERT, сохраняет 97% его способностей понимания языка |
| Gemma 2 2B и 9B, 2024 | Дистилляция знаний по Хинтону вместо обучения предсказанию следующего токена | Лучшие результаты для своего размера, конкурируют с моделями в 2–3 раза больше |
| DeepSeek-R1-Distill, 2025 | DeepSeek-R1, дообучение на 800 тыс. примеров, созданных учителем | Шесть моделей от 1,5 до 70 млрд параметров на базе Qwen2.5 и Llama 3 |
Пример DeepSeek показателен. Учитель DeepSeek-R1 — модель на 671 млрд параметров, из которых при генерации активны 37 млрд. По данным карточки модели, ученик DeepSeek-R1-Distill-Qwen-32B решает 72,6% задач AIME 2024 с первой попытки против 79,8% у самой DeepSeek-R1 и 63,6% у OpenAI o1-mini. Это результаты разработчика на математическом бенчмарке, а не гарантия качества в ваших задачах.
Дистилляция, квантизация, дообучение и RAG: в чём разница
| Метод | Что меняется | Что получаете | Когда выбирать |
|---|---|---|---|
| Дистилляция | Обучается новая, меньшая модель на ответах учителя | Компактную модель, похожую на учителя в выбранной задаче | Задача повторяется часто, а большая модель слишком дорогая или медленная |
| Квантизация | Те же веса хранятся с меньшей точностью | Ту же модель, которой нужно меньше памяти | Модель подходит по качеству, но не помещается в железо |
| Дообучение | Веса модели меняются на ваших примерах | Модель, которая лучше следует вашему формату и стилю | Нужен единый формат ответов или специальная терминология |
| RAG | Модель не меняется, ей подают найденные документы | Ответы со ссылками на актуальные документы | Знания часто меняются и нужны источники |
Методы совместимы: дистиллированную модель можно квантовать и подключить к RAG. Как выбрать между RAG, дообучением и промптами, мы разбирали в отдельном сравнении.
Где дистилляция применяется в бизнесе
Дистилляция оправдана там, где одна и та же узкая задача выполняется тысячи раз, а качество большой модели уже устраивает. Типичные сценарии:
- Классификация и маршрутизация обращений, писем и заявок по фиксированному списку категорий.
- Извлечение данных из документов в заданные поля: реквизиты, суммы, даты, номенклатура.
- Ответы по шаблону в поддержке, где ответ строится из ограниченного набора фактов.
- Работа в закрытом контуре: большую модель используют один раз как учителя, а в эксплуатацию идёт небольшая модель на своих серверах.
- Быстрые ответы на слабом железе: на рабочих станциях, в филиалах или на оборудовании без мощных GPU.
Какие задачи вообще закрывают небольшие модели, мы собрали в статье о малых языковых моделях.
Как проходит проект дистилляции
- Выбрать задачу и критерий качества. Например, доля правильно определённых категорий на контрольном наборе.
- Выбрать учителя и проверить его лицензию. Учитель должен решать задачу достаточно хорошо: ученик обычно не превосходит учителя.
- Собрать входные данные. Реальные запросы, письма или документы, на которых учитель создаст ответы.
- Получить и отфильтровать ответы учителя. Ошибочные ответы удаляют, иначе ученик их выучит.
- Обучить ученика. Обычно дообучают готовую небольшую открытую модель, а не обучают с нуля.
- Сравнить ученика с учителем на отложенном наборе, которого не было в обучении.
- Запустить и наблюдать. Отслеживать качество на реальных данных и повторять дистилляцию при изменении задачи.
Ограничения и риски
- Ученик наследует ошибки учителя. Если учитель систематически ошибается, ученик повторит это без предупреждения.
- Узкая специализация. Ученик хорошо работает на задаче, на которой его учили, и может заметно хуже справляться с другими.
- Нужно много примеров. DeepSeek использовала 800 тыс. примеров для своих учеников. Для узкой задачи нужно меньше, но объём всё равно определяют тестом.
- Лицензии и условия. Gemma Terms of Use, по которым распространяются Gemma 1–3, относят к производным моделям всё, что обучено переносом поведения Gemma, включая дистилляцию. Условия коммерческих API тоже могут ограничивать обучение моделей на ответах. Подробности — в нашем FAQ о лицензиях открытых LLM.
- Данные уходят учителю. Если учитель — облачный сервис, все входные данные для дистилляции передаются провайдеру.
- Без теста нет результата. Цифры из статей и карточек моделей получены на их бенчмарках, а не на ваших данных.
Глоссарий
- Учитель (teacher) — большая модель, чьи ответы или вероятности служат образцом.
- Ученик (student) — меньшая модель, которую обучают повторять учителя.
- Мягкие метки (soft targets) — вероятности всех вариантов ответа, а не только правильный вариант.
- Температура — параметр, который сглаживает распределение вероятностей учителя.
- Логиты — сырые оценки модели до превращения их в вероятности.
- Дивергенция Кульбака — Лейблера — мера различия двух распределений вероятностей, которую минимизируют при обучении ученика.
- SFT (supervised fine-tuning) — дообучение модели на парах «запрос — правильный ответ».
Частые вопросы
Чем дистилляция отличается от дообучения?
Дообучение меняет модель на ваших примерах, а дистилляция переносит поведение большой модели в маленькую. Технически дистилляция по ответам — это тоже дообучение, но примеры для него создаёт модель-учитель, а не люди. Поэтому дистилляцию выбирают, когда большая модель уже решает задачу хорошо и её нужно заменить более дешёвой.
Можно ли дистиллировать закрытую модель, доступную через API?
Технически можно дистиллировать по её ответам, но сначала проверьте условия использования сервиса: они могут ограничивать обучение других моделей на ответах. Кроме того, все входные данные уйдут провайдеру. С открытыми моделями проще, но и у них есть условия: например, Gemma Terms of Use для Gemma 1–3 считают модель, обученную дистилляцией Gemma, производной.
Сколько данных нужно для дистилляции?
Готовой цифры нет: объём зависит от задачи и размера ученика. DeepSeek использовала 800 тыс. примеров, чтобы перенести общее умение рассуждать. Для узкой задачи, например классификации обращений, обычно начинают с меньшего набора и увеличивают его, пока качество ученика на отложенном тесте не перестанет расти.
Нужна ли дистилляция, если можно квантовать модель?
Не всегда. Если исходная модель после квантизации помещается в ваше железо и отвечает достаточно быстро, квантизации хватит. Дистилляция нужна, когда даже квантованная большая модель слишком дорога для объёма запросов или когда задача узкая и маленькая специализированная модель справляется с ней не хуже.
Первоисточники и метод
Мы проверили 23 октября 2026 года аннотации статей на arXiv, карточку DeepSeek-R1 на Hugging Face и условия Gemma:
- Distilling the Knowledge in a Neural Network — Hinton, Vinyals, Dean, 2015.
- Sequence-Level Knowledge Distillation — Kim, Rush, 2016.
- DistilBERT — Sanh и соавторы, 2019.
- MiniLLM: On-Policy Distillation of Large Language Models — Gu и соавторы, 2023.
- A Survey on Knowledge Distillation of Large Language Models — Xu и соавторы, 2024.
- Gemma 2: Improving Open Language Models at a Practical Size — Google DeepMind, 2024.
- DeepSeek-R1 и карточка модели с результатами учеников — DeepSeek, 2025.
- Gemma Terms of Use — Google.
Ограничения: проценты и бенчмарки приведены по данным авторов, мы их не воспроизводили. Подходы к дистилляции быстро развиваются, поэтому перед проектом стоит свериться с актуальными работами.
Как AIrassvet помогает получить компактную модель для своих серверов
Дистилляция окупается, когда задача понятна и есть данные для проверки. На сайте AIrassvet указаны направления, которые закрывают эту задачу:
- внедрение и дообучение LLM, в том числе развёртывание на серверах заказчика: подбор учителя и ученика под задачу и доступное железо;
- ML-решения для повторяющихся задач классификации и прогнозирования, где небольшая модель заменяет дорогую;
- аудит процесса, подготовка данных и тестирование: контрольный набор, сравнение ученика с учителем и решение, нужна ли дистилляция вообще.
Первый шаг — выбрать один процесс, в котором модель отвечает на однотипные запросы, и зафиксировать текущий результат, источники данных, ограничения по их обработке и критерий приёмки.
Итог: дистилляция — способ сделать хорошую модель дешёвой
Дистилляция не делает модель умнее учителя. Она переносит то, что большая модель уже умеет в узкой задаче, в маленькую модель, которую проще и дешевле запускать.
Начинайте с проверки: решает ли большая модель вашу задачу достаточно хорошо, разрешает ли её лицензия дистилляцию и хватает ли квантизации. Если ответы «да», «да» и «нет», дистилляция — следующий шаг.
