Подготовка данных для ИИ — это не «навести порядок во всех системах», а собрать и проверить ровно те данные, которые нужны одному выбранному сценарию: для базы знаний это актуальные документы с правами доступа, для прогноза — история событий нужной детализации, для ИИ-агента — справочники и доступ к системам, для компьютерного зрения — размеченные изображения. Для каждого набора определяют владельца, источник, проверяют полноту, актуальность и согласованность и фиксируют это в паспорте данных. Такой подход позволяет запустить пилот за недели, а не ждать завершения многолетнего проекта по «озеру данных».
Материал подготовлен AIrassvet и проверен по открытым источникам 1 октября 2026 года. Он адресован собственникам и руководителям компаний, ИТ-директорам и руководителям направлений, которые планируют первый или следующий ИИ-проект. Ссылки на стандарты приведены по сведениям об их текстах на дату проверки; это не юридическая консультация по работе с персональными данными. Раздел об AIrassvet в конце описывает услуги издателя.
Содержание
- Почему проекты ИИ упираются в данные
- Какие данные нужны разным сценариям ИИ
- Качество данных: что проверять
- Паспорт данных для ИИ-проекта
- Подготовка документов для базы знаний
- Подготовка табличных данных для прогнозов
- Данные для ИИ-агентов и автоматизации
- Персональные данные и коммерческая тайна
- Пошаговый план подготовки
- Как понять, что данные готовы
- Частые вопросы
- Первоисточники и метод проверки
Почему проекты ИИ упираются в данные
Модели стали доступны: их можно вызвать по API или развернуть на своих серверах. Но результат определяет не только модель, а то, что ей дают на вход. Типичные ситуации, на которых останавливаются проекты:
- Документы в беспорядке. Регламенты в нескольких версиях, нет понятной актуальной, часть знаний живёт только в переписке.
- Справочники расходятся. Один и тот же клиент или товар записан по-разному в CRM, 1С и таблицах.
- История неполная. Для прогноза нужны продажи по дням и точкам за несколько лет, а сохранились только месячные итоги.
- Нет владельца. Никто не отвечает за то, чтобы данные были правильными и обновлялись.
- Нет доступа. Данные есть, но получить их можно только ручной выгрузкой.
Важно понимать: ни одну из этих проблем не нужно решать «для всей компании» до старта. Достаточно решить её для данных первого сценария. Если сценарий ещё не выбран, начните с аудита бизнес-процессов перед внедрением ИИ.
Какие данные нужны разным сценариям ИИ
| Сценарий | Какие данные нужны | Ключевые требования | Частая проблема |
|---|---|---|---|
| База знаний и ассистент сотрудников (RAG) | Регламенты, инструкции, договоры, FAQ, переписка поддержки | Актуальная версия, владелец документа, права доступа, читаемый текст | Устаревшие и дублирующиеся версии |
| Прогноз спроса, оттока, цен (ML) | История продаж, остатков, цен, акций, клиентов | Нужная детализация, длина истории, единые справочники, отметки событий | Пропуски и смена учёта посреди истории |
| ИИ-агент и автоматизация процессов | Справочники клиентов и товаров, статусы, правила, доступ к CRM и 1С | Согласованные справочники, API или стабильный способ доступа, описанные правила | Правила процесса не записаны |
| Компьютерное зрение | Фото, видео, сканы документов | Разметка, разнообразие условий съёмки, примеры брака и редких случаев | Мало примеров редких дефектов |
| Анализ обращений и отзывов | Тексты обращений, звонков, отзывов с метаданными | Связь с клиентом и результатом, обезличивание | Нет связи текста с итогом обращения |
Таблица показывает главное: «подготовить данные к ИИ» вообще невозможно, можно подготовить данные к конкретному сценарию.
Качество данных: что проверять
Для оценки качества данных в аналитике и машинном обучении в России действует серия национальных стандартов ГОСТ Р 71484-2024, подготовленная на основе международной серии ISO/IEC 5259. ГОСТ Р 71484.1-2024 содержит обзор и терминологию и описывает жизненный цикл данных из шести этапов: формирование требований, планирование, комплектование, подготовка, предоставление и вывод из эксплуатации. ГОСТ Р 71484.2-2024 задаёт характеристики и показатели качества данных. Оба стандарта утверждены приказами Росстандарта от 28 октября 2024 года и введены в действие с 1 января 2025 года; серия также включает части о требованиях к управлению качеством данных и о структуре этого процесса.
Применять стандарты целиком в небольшом проекте не обязательно, но их перечень характеристик — хороший чек-лист. Для первого проекта чаще всего важны следующие:
| Характеристика | Вопрос для проверки | Пример проблемы |
|---|---|---|
| Наполненность | Заполнены ли поля, нужные сценарию? | У половины заказов нет канала привлечения |
| Согласованность | Совпадают ли данные в разных системах? | Разные коды одного товара в 1С и на сайте |
| Актуальность | Насколько свежи данные и как часто обновляются? | Прайс в базе знаний от прошлого года |
| Достоверность | Можно ли доверять источнику? | Цифры из ручной таблицы без автора |
| Прослеживаемость | Понятно ли, откуда пришла запись и кто её менял? | Ответ ассистента нельзя проверить по источнику |
| Репрезентативность | Отражают ли данные реальные условия? | Обучающие фото сделаны только при дневном свете |
| Сбалансированность | Достаточно ли примеров редких классов? | Пять примеров брака на десять тысяч нормальных |
| Доступность | Можно ли получить данные без ручной работы? | Выгрузка только через сотрудника раз в месяц |
Названия характеристик приведены по перечню ГОСТ Р 71484.2-2024; вопросы и примеры — редакционная адаптация для бизнеса.
Паспорт данных для ИИ-проекта
Паспорт данных — короткий документ на каждый набор данных проекта. Он заменяет долгие обсуждения «готовы ли у нас данные» конкретными ответами. Минимальный состав:
- Назначение: для какого сценария и какой задачи модели используется набор.
- Источник и способ получения: система, таблица, API, частота выгрузки.
- Владелец: кто отвечает за правильность и обновление.
- Состав и объём: поля, период, число записей или документов.
- Качество: результаты проверки по характеристикам из чек-листа, известные проблемы.
- Ограничения: персональные данные, коммерческая тайна, кто имеет право доступа.
- Версия и дата: когда набор собран и когда обновится.
Паспорт полезен и после запуска: когда ИИ начинает ошибаться, первым делом проверяют, не изменились ли данные.
Подготовка документов для базы знаний
Для ассистентов на основе RAG данные — это документы. Подготовка включает:
- Инвентаризацию. Где хранятся документы, какие из них нужны сценарию.
- Выбор актуальных версий. Устаревшие версии исключают или помечают; у каждого документа есть владелец и дата.
- Права доступа. Ассистент должен показывать сотруднику только то, что ему разрешено видеть. Права переносятся из исходных систем, а не настраиваются заново вручную.
- Извлечение текста. Сканы распознают, таблицы и схемы проверяют вручную — именно там чаще всего теряется смысл.
- Контрольные вопросы. 50–100 реальных вопросов сотрудников с правильными ответами и ссылками на документы — эталон для проверки качества.
Подробнее об устройстве таких систем — в статьях Корпоративная база знаний с ИИ и Точность RAG и галлюцинации.
Подготовка табличных данных для прогнозов
Для прогноза спроса, оттока или оптимизации запасов нужны исторические таблицы. Чек-лист подготовки:
- Детализация: данные на том уровне, на котором будет приниматься решение, например по дням, точкам и товарам.
- Длина истории: для сезонных процессов история должна охватывать несколько сезонов; если её нет, это ограничение нужно зафиксировать в паспорте.
- Справочники: единые коды товаров, клиентов и точек на всём периоде; переименования и объединения сведены.
- События: акции, отсутствие товара, изменения цен, закрытия точек отмечены, иначе модель примет дефицит за падение спроса.
- Разрывы учёта: смена учётной системы или методики посреди истории описана и учтена.
О применении таких данных — в статье Прогнозирование спроса с ИИ.
Данные для ИИ-агентов и автоматизации
ИИ-агент работает с живыми системами: CRM, 1С, почтой, мессенджерами. Для него важны не исторические массивы, а:
- Согласованные справочники. Агент должен однозначно найти клиента, товар, договор.
- Доступ к системам. API или стабильный способ работы с интерфейсом, учётная запись с минимально необходимыми правами.
- Записанные правила. Как обрабатывается заявка, кто согласует исключения, какие статусы существуют. То, что «все знают», агент не знает.
- Журнал действий. Где фиксируется, что сделал агент, чтобы можно было проверить и откатить.
Записать правила процесса часто сложнее, чем выгрузить данные, но без этого агент будет действовать непредсказуемо. Подход к этому описан в статье Техническое задание на ИИ-агента.
Персональные данные и коммерческая тайна
Данные клиентов и сотрудников — персональные данные, их обработку регулирует Федеральный закон № 152-ФЗ «О персональных данных». На этапе подготовки нужно решить:
- какие поля действительно нужны сценарию, а какие можно исключить или обезличить;
- где будет работать модель: во внешнем сервисе или в контуре компании;
- кто получит доступ к подготовленным наборам и к ответам системы.
Для коммерческой тайны логика та же: чем чувствительнее данные, тем сильнее аргументы в пользу модели на собственных серверах. Подробнее — в статье Можно ли отправлять клиентские данные в ИИ.
Пошаговый план подготовки
Шаг 1. Выберите один сценарий
Опишите задачу, решение, которое она поддерживает, и критерий успеха пилота. Без сценария невозможно определить, какие данные нужны.
Шаг 2. Составьте карту данных сценария
Перечислите нужные наборы данных, их источники и владельцев. Отметьте, что есть, чего не хватает и что придётся собирать заново.
Шаг 3. Проверьте качество
Пройдите по чек-листу характеристик для каждого набора. Измерьте простые показатели: долю пустых полей, число дублей, расхождения справочников, дату последнего обновления.
Шаг 4. Исправьте то, что блокирует пилот
Не всё сразу: только проблемы, без решения которых сценарий не заработает. Остальное запишите в паспорт как известные ограничения.
Шаг 5. Подготовьте эталон для проверки
Контрольные вопросы с ответами, отложенный период истории для проверки прогноза, размеченные примеры для зрения. Эталон нужен, чтобы оценить качество ИИ честно.
Шаг 6. Настройте обновление
Определите, как данные будут обновляться после запуска и кто за это отвечает. Разовая выгрузка подходит для пилота, но не для работающей системы.
Как понять, что данные готовы
| Критерий | Признак готовности |
|---|---|
| Сценарий | Задача и критерий успеха пилота записаны |
| Состав | Все наборы данных сценария перечислены, у каждого есть владелец |
| Качество | Проверка по чек-листу проведена, блокирующие проблемы устранены, остальные описаны |
| Доступ | Данные получаются без ручной работы или с понятным регламентом выгрузки |
| Ограничения | Решено, какие персональные и конфиденциальные данные используются и где работает модель |
| Эталон | Есть набор для проверки качества результата |
| Обновление | Назначен ответственный и способ обновления после запуска |
Если хотя бы один критерий не выполнен, это не повод отменять проект, а список задач на ближайшие недели.
Частые вопросы
Нужно ли строить хранилище данных перед внедрением ИИ?
Не обязательно. Для первого проекта достаточно подготовить данные одного сценария: нужные наборы, их владельцев, проверку качества и способ обновления. Хранилище оправдано, когда сценариев становится много и они используют общие данные.
Сколько данных нужно для ИИ-проекта?
Это зависит от сценария. Базе знаний нужны актуальные документы по теме, прогнозу — история нужной детализации за несколько сезонов, компьютерному зрению — достаточно примеров каждого класса, включая редкие. Универсального порога нет, поэтому объём проверяют на эталонной выборке во время пилота.
Какие стандарты описывают качество данных для ИИ?
В России действует серия ГОСТ Р 71484-2024 «Искусственный интеллект. Качество данных для аналитики и машинного обучения», подготовленная на основе ISO/IEC 5259. Части 1 и 2 введены с 1 января 2025 года и описывают терминологию, жизненный цикл данных, характеристики и показатели качества.
Можно ли использовать данные клиентов для ИИ?
Можно при соблюдении требований к обработке персональных данных по 152-ФЗ. На этапе подготовки исключают лишние поля, обезличивают данные там, где это возможно, и выбирают, где будет работать модель: во внешнем сервисе или в контуре компании.
Кто в компании должен отвечать за подготовку данных?
У каждого набора данных должен быть владелец из бизнеса, который понимает смысл данных и отвечает за их правильность, и технический ответственный за выгрузку и обновление. Без владельца качество данных после запуска быстро снижается.
Что делать, если данных мало или они плохого качества?
Начать с сценария, которому хватает имеющихся данных, например с базы знаний по уже существующим документам. Параллельно наладить сбор недостающих данных для более сложных сценариев и зафиксировать ограничения в паспорте данных.
Первоисточники и метод проверки
Проверено 1 октября 2026 года:
- ГОСТ Р 71484.1-2024 (ИСО/МЭК 5259-1:2024) — обзор, терминология, жизненный цикл данных; приказ Росстандарта от 28.10.2024 № 1537-ст, введён с 1 января 2025 года.
- ГОСТ Р 71484.2-2024 (ИСО/МЭК 5259-2:2024) — характеристики и показатели качества данных; приказ от 28.10.2024 № 1551-ст, введён с 1 января 2025 года.
- Федеральный закон № 152-ФЗ «О персональных данных» — рамка обработки персональных данных.
Тексты стандартов изучены по публикации в открытой нормативной базе. Таблица сценариев, чек-лист, паспорт данных, шаги и критерии готовности — редакционный анализ AIrassvet.
Как AIrassvet помогает подготовить данные к ИИ-проекту
Если ИИ-проект откладывается из-за неуверенности в данных, удобно начать с одного сценария и проверки только его данных. На сайте AIrassvet, который также использует название «AI студия Владимира Ломтева», описаны направления, применимые к этой задаче:
- Аудит процесса и подготовка данных выбранного сценария: карта данных, проверка качества, паспорт и эталон для проверки.
- Подготовка документов и построение базы знаний на RAG с учётом версий и прав доступа.
- Подготовка исторических данных для ML-прогнозирования спроса, оттока и запасов.
- Развёртывание моделей на серверах компании, если данные нельзя передавать во внешние сервисы.
Первый шаг — выбрать один процесс, описать его текущие показатели, источники данных, ограничения и критерий, по которому вы признаете пилот успешным.
Итог: готовьте данные под сценарий, а не вообще
Подготовка данных для ИИ начинается с выбора сценария: только он определяет, какие документы, таблицы, справочники или изображения нужны и какое качество достаточно. Серия ГОСТ Р 71484-2024 даёт удобный перечень характеристик качества, а паспорт данных превращает проверку в конкретный список задач.
Выберите один процесс, составьте карту данных, устраните то, что блокирует пилот, подготовьте эталон и назначьте владельцев. Так компания получит работающий ИИ-проект и заодно наведёт порядок именно в тех данных, которые приносят пользу.
