Дообучение LLM (fine-tuning) — это дополнительное обучение готовой языковой модели на примерах компании, чтобы она стабильно отвечала в нужном формате, стиле и с нужной терминологией. Новых знаний о компании оно почти не добавляет: для ответов по документам обычно нужен RAG. Начать можно с нескольких десятков качественных примеров — OpenAI рекомендует 50, — а основная часть работы — подготовка эталонных данных и проверка качества.
Материал подготовлен AIrassvet 19 октября 2026 года. Он адресован руководителям, ИТ-директорам и владельцам продуктов, которые решают, нужно ли дообучать модель под свою задачу. Ответы опираются на документацию OpenAI и Yandex AI Studio, научные статьи о LoRA, QLoRA и сравнении дообучения с RAG, лицензии открытых моделей и текст 152-ФЗ. Собственных экспериментов по дообучению для этой статьи мы не проводили; статусы платформ проверены на дату публикации и могут измениться.
Содержание
- Кратко
- Что входит и не входит в эту статью
- Вопросы о смысле и выборе метода
- Вопросы о данных и праве
- Вопросы о стоимости, сроках и железе
- Вопросы о платформах и моделях
- Вопросы о качестве и эксплуатации
- Что даёт дообучение и чего не даёт: сводная таблица
- Первоисточники и метод проверки
Кратко
- Дообучение меняет поведение модели, а не её знания. Yandex AI Studio прямо пишет, что дообучение не добавляет модели новой информации, например базу знаний поддержки.
- Порог входа по данным низкий, по качеству — высокий. У OpenAI минимум — 10 примеров, старт — 50 хорошо подготовленных диалогов.
- LoRA делает дообучение доступным. Авторы метода сообщают о сокращении обучаемых параметров в 10 000 раз и памяти GPU в 3 раза для GPT-3 175B.
- Платформы меняются. OpenAI сворачивает самостоятельное дообучение: новые задачи для действующих клиентов закрываются 6 января 2027 года.
- Персональные данные в датасете — отдельный юридический вопрос по 152-ФЗ, его нужно решить до сбора примеров.
Что входит и не входит в эту статью
Здесь собраны вопросы о дообучении текстовых языковых моделей на примерах компании: supervised fine-tuning (обучение на парах «запрос — правильный ответ») и его облегчённый вариант LoRA. Мы не разбираем обучение модели с нуля, дообучение моделей компьютерного зрения и генерации изображений, а также подробный выбор между промптами, RAG и дообучением — ему посвящён отдельный разбор «RAG, fine-tuning или prompt engineering: что выбрать».
Термины. *LLM* — большая языковая модель. *Базовая модель* — модель, которую дообучают. *Датасет* — набор обучающих примеров. *LoRA* (Low-Rank Adaptation) — метод, при котором веса базовой модели заморожены, а обучаются небольшие дополнительные матрицы-адаптеры. *RAG* — подход, при котором модель перед ответом получает найденные фрагменты документов.
Вопросы о смысле и выборе метода
Что такое дообучение LLM простыми словами?
Дообучение LLM — это продолжение обучения готовой модели на ваших примерах «вопрос — эталонный ответ». Модель не создают заново: берут базовую, например открытую Qwen или облачную YandexGPT Lite, и показывают ей сотни правильных образцов. После этого она чаще отвечает в нужной структуре, тоне и терминах. Результат — копия модели или небольшой адаптер к ней, который используют вместо исходной версии.
Добавит ли дообучение модели знания о нашей компании?
Почти нет, и на это не стоит рассчитывать. Документация Yandex AI Studio прямо указывает, что дообучение не добавляет новой информации вроде базы знаний поддержки. Исследование Ovadia и соавторов (2023) показало, что RAG превзошёл дообучение без учителя как на знакомых модели фактах, так и на новых. Если сотрудникам нужны ответы по регламентам и прайсам, начинайте с поиска по документам, а не с дообучения.
Когда дообучение оправдано, а когда хватит промптов или RAG?
Дообучение оправдано, когда задача повторяется тысячи раз и модель должна выдерживать строгий формат: классифицировать обращения, извлекать поля из писем, писать ответы в фирменном стиле. Если проблему решают инструкция и несколько примеров в промпте — дообучать рано. Если модели не хватает фактов из документов — нужен RAG. Сначала измерьте ошибки на наборе реальных запросов, затем выбирайте метод по типу ошибки.
Чем LoRA отличается от полного дообучения?
При полном дообучении меняются все веса модели, при LoRA — только небольшие добавочные матрицы, а исходные веса заморожены. Авторы LoRA (Hu и соавторы, 2021) сообщают, что для GPT-3 175B метод сокращает число обучаемых параметров в 10 000 раз и требования к памяти GPU в 3 раза по сравнению с полным дообучением. Для бизнеса это значит меньше железа и возможность держать несколько адаптеров под разные задачи.
Вопросы о данных и праве
Сколько примеров нужно для дообучения?
Технический минимум у OpenAI — 10 примеров, но документация советует начать с 50 тщательно подготовленных диалогов и оценить результат; заметные улучшения там связывают примерно с 50–100 примерами. Для классификации и извлечения полей обычно нужно больше, чтобы покрыть все классы и редкие случаи. Важнее объёма — единый стандарт ответов: противоречивые эталоны научат модель противоречиям.
В каком формате готовить датасет?
Обычно это файл JSONL: одна строка — один пример в формате диалога с ролями system, user и assistant. Так требует OpenAI, похожие форматы используют Yandex AI Studio и библиотеки для открытых моделей. В каждый пример кладите реальный вход и ответ, который вы готовы подписать как эталон. Отдельно отложите проверочную выборку, которая не попадает в обучение, — без неё нельзя честно сравнить модели до и после.
Можно ли дообучать модель на персональных данных клиентов?
Можно только при законном основании и после юридической проверки; безопаснее обезличить примеры до обучения. По ч. 3 ст. 6 152-ФЗ поручение обработки подрядчику требует договора с перечнем данных, действий и целей. Ст. 12 обязывает уведомить Роскомнадзор до трансграничной передачи, а ч. 5 ст. 18 запрещает вести базы с данными граждан РФ за рубежом, кроме оговорённых случаев. Это не юридическая консультация — решение принимайте с юристом.
Кто владеет дообученной моделью и датасетом?
Это определяет договор и лицензия базовой модели. По ст. 1296 ГК РФ исключительное право на программу или базу данных, созданную по заказу, принадлежит заказчику, если договор не предусматривает иное. Но веса базовой модели остаются под её лицензией: например, лицензия Llama 3.1 требует начинать название распространяемой производной модели со слова «Llama». Пропишите в договоре, кому принадлежат датасет, адаптер и скрипты обучения.
Вопросы о стоимости, сроках и железе
Сколько стоит дообучение LLM?
Универсальной цены нет: стоимость складывается из подготовки данных, вычислений, оценки качества и последующего обслуживания модели. При LoRA вычисления — не единственная и не обязательно главная статья: эталоны готовят и проверяют эксперты, и их время тоже стоит денег. Добавьте стоимость инференса: дообученную открытую модель нужно где-то запускать. Просите подрядчика разложить смету по этим четырём статьям, а не называть одну сумму.
Сколько времени занимает дообучение?
Сам запуск обучения занимает часы, проект целиком — недели. Yandex AI Studio оценивает дообучение от 1 часа до 1 суток в зависимости от объёма данных и загрузки системы. Дольше всего идут сбор и согласование эталонных примеров, несколько итераций «обучили — проверили — поправили данные» и приёмка на отложенной выборке. Планируйте сроки от готовности датасета, а не от запуска GPU.
Какое железо нужно, чтобы дообучить модель у себя?
Для LoRA и QLoRA хватает одной серверной видеокарты на модели среднего размера, для полного дообучения больших моделей нужен кластер. Авторы QLoRA (Dettmers и соавторы, 2023) показали дообучение модели на 65 млрд параметров на одной GPU с 48 ГБ памяти за счёт 4-битного квантования. Реальная потребность зависит от размера модели, длины примеров и выбранного метода. Подробнее о стоимости железа — в обзоре локальных LLM 2026.
Вопросы о платформах и моделях
Можно ли дообучить ChatGPT через API OpenAI?
Новым клиентам — уже нет. OpenAI сворачивает самостоятельное дообучение: с 7 мая 2026 года оно закрыто для организаций, которые раньше его не запускали, с 2 июля 2026 года — для тех, кто не использовал дообученные модели, а 6 января 2027 года новые задачи закроются и для действующих клиентов. Уже дообученные модели работают до вывода их базовых моделей из эксплуатации.
Можно ли дообучить YandexGPT или GigaChat?
Да, у обоих есть такие функции, но условия нужно проверять на дату проекта. Yandex AI Studio описывает дообучение методом LoRA для YandexGPT Lite, классификаторов на её основе и модели эмбеддингов, с датасетом до 5 ГБ; 19 октября 2026 года на странице было указано, что функция отключена из-за инцидента. В документации GigaChat есть раздел о дообучении, актуальные требования к датасету уточняйте у Сбера.
Какие открытые модели можно дообучать для коммерческого использования?
Многие, если соблюдать лицензию конкретной модели. Например, Qwen3-8B опубликована под Apache 2.0 — это разрешительная лицензия. Лицензия Llama 3.1 разрешает коммерческое использование, но требует отдельного разрешения Meta, если у компании более 700 млн активных пользователей в месяц, и ставит условия к названию производных моделей. Сохраняйте копию лицензии вместе с версией модели в документации проекта.
Вопросы о качестве и эксплуатации
Как проверить, что дообучение помогло?
Сравните базовую и дообученную модель на одной отложенной выборке реальных запросов по заранее согласованным критериям. Для классификации и извлечения полей считайте долю верных ответов, для текстов — оценку экспертом по чек-листу. Проверьте и регресс: не стала ли модель хуже справляться с общими задачами. Как собрать такой набор, мы описывали в статье «Свой бенчмарк для выбора LLM».
Что будет с дообученной моделью, когда выйдет новая версия базовой?
Адаптер привязан к конкретной версии базовой модели, поэтому при её замене дообучение обычно повторяют. У облачных провайдеров дообученная модель живёт, пока жива базовая: OpenAI прямо связывает отключение дообученных моделей с выводом их основы. Храните датасет, скрипты и проверочную выборку — тогда переобучение займёт дни, а не месяцы. О переходе между версиями — в материале об отключении моделей LLM.
Может ли дообучение ухудшить модель?
Да. Узкий или однообразный датасет может сделать модель хуже в задачах, которых не было в обучении, а ошибки в эталонах она воспроизведёт уверенно. Дообучение на ответах с выдуманными фактами повышает риск галлюцинаций. Защита — чистые и согласованные примеры, отложенная выборка, проверка на общих задачах и возможность быстро вернуться к базовой модели. Про подготовку данных подробнее — в статье о данных для внедрения ИИ.
Что даёт дообучение и чего не даёт: сводная таблица
| Задача | Дообучение | Что обычно лучше |
|---|---|---|
| Строгий формат ответа (JSON, шаблон письма) | Подходит | Сначала попробовать промпт со схемой |
| Фирменный стиль и терминология | Подходит | — |
| Классификация обращений по своим категориям | Подходит | Дообучение или классификатор |
| Ответы по актуальным документам и прайсам | Не подходит | RAG с поиском по документам |
| Факты, которые часто меняются | Не подходит | RAG или запрос к системе-источнику |
| Работа без внешнего облака | Подходит вместе с открытой моделью | Локальное развёртывание |
*Таблица — методика редакции, обобщающая источники ниже, а не результат собственного эксперимента.*
Первоисточники и метод проверки
Мы использовали только открытые первоисточники, проверенные 19 октября 2026 года:
- OpenAI: Supervised fine-tuning — минимум 10 и старт с 50 примеров, формат JSONL.
- OpenAI: Deprecations — график сворачивания самостоятельного дообучения.
- Yandex AI Studio: Дообучение — модели, LoRA, сроки, объём датасета, статус функции.
- Hu et al., LoRA, 2021 и Dettmers et al., QLoRA, 2023 — эффективность методов.
- Ovadia et al., Fine-Tuning or Retrieval?, 2023 — сравнение дообучения и RAG.
- Qwen3-8B на Hugging Face и лицензия Llama 3.1 — условия лицензий.
- 152-ФЗ, ст. 6, ст. 12, ст. 18 и ГК РФ, ст. 1296.
Цифры приведены по данным авторов и вендоров, мы их не перепроверяли. Ограничения: условия GigaChat не удалось проверить по первоисточнику, а статусы облачных платформ меняются быстрее, чем выходят обновления статей.
Как AIrassvet помогает с дообучением LLM
Дообучение окупается, когда до запуска GPU понятно, какую ошибку модели оно исправляет и как это измерить. На сайте AIrassvet указаны направления, которые закрывают эту задачу:
- внедрение и дообучение LLM, в том числе развёртывание модели на серверах заказчика, если примеры нельзя отправлять во внешнее облако;
- RAG-системы на базе знаний компании — для случаев, когда модели не хватает фактов, а не формата;
- аудит процесса и подготовка данных: сбор эталонных примеров, отложенная выборка, тестирование до и после.
Первый шаг — выбрать один процесс, где модель ошибается, зафиксировать текущий уровень ошибок, источники данных, ограничения по их обработке и критерий приёмки.
Итог: сначала измерить ошибку, потом дообучать
Дообучение LLM на данных компании — рабочий инструмент для формата, стиля и классификации, но не способ «загрузить» в модель базу знаний. Для старта хватает десятков качественных примеров, а главные риски лежат в данных: персональная информация, противоречивые эталоны, отсутствие проверочной выборки.
Поэтому начинайте с набора реальных запросов и замера ошибок, сверяйте выбранную платформу с её актуальным статусом и заранее решайте вопросы права на датасет и адаптер. Тогда дообучение станет управляемым экспериментом, а не покупкой GPU-часов наугад.
