Проверить офисного ИИ-агента можно только на ваших задачах целиком — от входящего запроса до готового отчёта, письма или записи в системе. Публичные рейтинги моделей на это не отвечают: по оценке компании Mercor, около 90% рабочих часов в США приходится на задачи, которые существующие бенчмарки почти не покрывают. А по данным Сбера, представившего 16 октября 2026 года бенчмарк Cowork Bench, на одной и той же модели доля выполненных офисных задач менялась от 62% до 80% в зависимости от обвязки агента. Принимать нужно связку «модель + обвязка + доступы», а не модель.
Материал подготовлен AIrassvet 17 октября 2026 года по сообщению CNews от 16 октября 2026 года о бенчмарке Cowork Bench и по карте бенчмарков Mercor. Он адресован руководителям, операционным директорам и ИТ-руководителям, которые выбирают ИИ-агента для работы с документами, таблицами, почтой и внутренними системами. Мы не запускали Cowork Bench и не тестировали упомянутые решения: порядок приёмки, шаблоны и пороги ниже — методика редакции. AIrassvet не аффилирован со Сбером, «Салютом для бизнеса» и Mercor; раздел в конце статьи описывает услуги издателя.
Содержание
- Кратко
- Что такое приёмка ИИ-агента
- Почему рейтинги моделей не отвечают на вопрос бизнеса
- Что показал Cowork Bench
- Обвязка агента: что это и почему она важна
- Как провести приёмку на своих задачах: 7 шагов
- Шаблон карточки офисной задачи
- Какие метрики считать при приёмке
- Когда агент готов к работе, а когда нет
- Частые вопросы
- Первоисточники и метод проверки
Кратко
- Рейтинг модели ≠ готовность агента. По карте Mercor, только 208 из 923 профессий в США имеют хотя бы одну задачу с пятью и более заданиями в отобранных 29 бенчмарках.
- Офисная задача — это цепочка. В Cowork Bench агент должен, например, сопоставить план и факт по четырём подразделениям, объяснить отклонения, подготовить отчёт и презентацию и разослать письма.
- Обвязка меняет результат. На одной открытой модели девять решений показали от 62% до 80% успешно выполненных задач — по данным разработчиков бенчмарка.
- Проверяйте сквозной результат. Засчитывается задача, доведённая до правильного итога в правильной системе, а не красивый ответ в чате.
- Приёмка — это набор ваших задач, критерии и порог. Без них внедрение превращается в спор мнений.
Что такое приёмка ИИ-агента
Приёмка ИИ-агента — проверка того, что агент выполняет конкретные рабочие задачи компании до конца, с допустимой долей ошибок и без опасных действий, перед тем как дать ему доступ к реальным процессам. Она отличается от выбора модели: проверяется вся система — модель, обвязка, инструменты, доступы к почте, таблицам, CRM или 1С, а также правила подтверждения человеком.
Офисный ИИ-агент — программа на основе языковой модели, которая самостоятельно выполняет цепочку действий с документами, таблицами, почтой, календарём, базой знаний и внутренними сервисами: находит данные, считает, готовит документы и отправляет результат.
Если вы выбираете саму языковую модель, поможет отдельный подход из статьи «Свой бенчмарк для выбора LLM». Приёмка агента начинается там, где выбор модели заканчивается.
Почему рейтинги моделей не отвечают на вопрос бизнеса
Компания Mercor сопоставила 29 бенчмарков для ИИ с классификатором профессий и задач O*NET Министерства труда США. Задача считалась покрытой, если на неё приходилось не меньше пяти заданий из этих бенчмарков.
| Показатель карты Mercor | Значение |
|---|---|
| Бенчмарков в индексе | 29 |
| Профессий в O*NET | 923 |
| Задач в O*NET | 18 797 |
| Профессий хотя бы с одной покрытой задачей | 208 из 923 |
| Семей профессий без единой такой профессии | 6 из 22 |
| Офисные и административные профессии с покрытием | 21 из 51 |
| Доля рабочих часов на задачах с малым или нулевым покрытием | около 90% |
Источник: Mercor, Benchmark Map, данные на 17.10.2026.
Mercor приводит показательный пример: задачи юристов в бенчмарках покрыты хорошо, а задачи секретарей юристов и секретарей суда — почти нет, хотя их работа тоже подвержена автоматизации. Бенчмарки сосредоточены на программировании, финансовом анализе и задачах с однозначно проверяемым ответом.
Сама Mercor называет результаты предварительными: выборка из 29 бенчмарков неполная и, по словам авторов, скорее занижает покрытие. В обсуждении на Hacker News читатели спорили о методике: «не покрыто бенчмарком» не означает «модель не справится». Но для бизнеса вывод прежний — проверку на вашей офисной рутине никто за вас не провёл.
Что показал Cowork Bench
16 октября 2026 года Сбер представил Cowork Bench — по описанию компании, первый в России открытый русскоязычный бенчмарк для оценки ИИ-агентов на офисных задачах. Его создатели — команда платформы GigaCowork, которую разрабатывает «Салют для бизнеса» из экосистемы Сбера.
Состав бенчмарка, по данным компании:
- 475 сквозных офисных задач;
- 12 бизнес-функций;
- 26 корпоративных систем;
- работа с таблицами, документами, почтой, календарём, хранилищем данных, базой знаний и внутренними сервисами.
Примеры задач показывают, насколько офисная работа отличается от вопроса к чат-боту:
| Задача | Шаги, которые выполняет агент |
|---|---|
| Анализ бюджета | Сопоставить план и факт по четырём подразделениям, рассчитать отклонения, объяснить причины, подготовить отчёт и презентацию, пересмотреть прогноз, отправить письма |
| Командировка команды | Отобрать сотрудников, подобрать билеты, посчитать бюджет, завести встречи в календарь |
Источник: CNews, 16.10.2026, со слов представителей Сбербанка.
Разработчики сравнили девять решений на одной открытой модели с одинаковыми задачами, данными и процедурой проверки: Goose, Claude Code, DeepSeek, Pi, Codex CLI, OpenHands, OpenCode, Strands baseline и GigaCowork. Доля успешно выполненных заданий составила от 62% до 80% в зависимости от обвязки. Собственная платформа разработчиков, по их данным, выполнила 75,2% задач.
Эти цифры важно читать правильно. Это заявление разработчика бенчмарка, который сравнивал в том числе свой продукт; независимой проверки пока нет, а ссылку на публичный репозиторий с задачами мы на дату подготовки не нашли. Но сам вывод совпадает с общей логикой агентных систем: результат определяет не только модель.
Обвязка агента: что это и почему она важна
Обвязка агента (harness) — программная оболочка вокруг модели: она управляет контекстом и памятью, решает, какие инструменты доступны, как вызывать почту, таблицы и внутренние системы, как обрабатывать ошибки и когда остановиться. Генеральный директор «Салюта для бизнеса» Владимир Толмачёв в сообщении о Cowork Bench сформулировал это так: в офисной работе результат ИИ во многом зависит от оболочки, которая управляет контекстом, памятью, инструментами и интеграцией с корпоративными системами.
Что меняется от обвязки при одной и той же модели:
| Элемент обвязки | Что может пойти не так | Что проверить при приёмке |
|---|---|---|
| Контекст и память | Агент теряет исходные условия на длинной задаче | Задачи из 5–10 шагов с данными из нескольких файлов |
| Набор инструментов | Нет нужного действия или слишком похожие инструменты | Агент выбирает правильный инструмент и аргументы |
| Интеграции | Ошибка формата при записи в CRM, 1С или календарь | Итог проверяется в целевой системе, а не в чате |
| Обработка ошибок | Агент повторяет сбойный вызов или «додумывает» результат | Задачи с недоступным файлом и пустыми данными |
| Остановка и эскалация | Агент отправляет письмо там, где нужен человек | Задачи, где правильный ответ — спросить сотрудника |
Распределение рисков по элементам — методика редакции.
Практический вывод: сравнивать нужно готовые связки на ваших задачах. Две компании с одной и той же моделью могут получить заметно разный результат из-за обвязки, инструментов и качества интеграций.
Как провести приёмку на своих задачах: 7 шагов
Порядок ниже — методика редакции. Он рассчитан на один процесс и одну команду и не требует собственного бенчмарка на сотни задач.
- Выберите процесс и его владельца. Например, подготовку еженедельного отчёта по продажам или обработку входящих заявок. Зафиксируйте, как процесс выполняется сейчас: время, число ошибок, кто проверяет результат.
- Соберите 20–40 реальных задач. Возьмите их из истории за последние месяцы: типовые, сложные и «неудобные» случаи — с опечатками, пустыми полями, противоречивыми данными. Обезличьте персональные данные.
- Опишите правильный итог для каждой задачи. Не «хороший ответ», а проверяемый результат: сумма в отчёте, заполненные поля в CRM, адресаты письма, встреча в календаре. Укажите, какие действия запрещены.
- Подготовьте тестовую среду. Копии таблиц, тестовый почтовый ящик, песочница CRM или 1С. Агент не должен отправлять письма клиентам и менять рабочие данные во время приёмки. Подробнее — в статье «Песочница для ИИ-агента».
- Прогоните каждую задачу несколько раз. Агенты недетерминированы: одна удачная попытка не показывает стабильность. Сравнивайте варианты обвязки и модели на одном наборе.
- Проверяйте итог в системах, а не по словам агента. Отчёт агента о выполнении — не доказательство. Сверяйте реальные записи, файлы и письма. Почему нельзя полагаться на самооценку модели, разбираем в статье «Можно ли доверять уверенности ИИ».
- Примите решение по заранее заданному порогу. Порог, допустимые ошибки и список действий с подтверждением человеком фиксируются до прогона, а не после.
Шаблон карточки офисной задачи
Карточка помогает сделать проверку повторяемой: её можно прогнать после смены модели, обвязки или настроек.
# Задача ПР-07: план-факт по отделам за сентябрь
Вход:
- Таблица «План_2026.xlsx», лист «Сентябрь»
- Выгрузка факта из 1С (CSV), 4 подразделения
- Письмо финансового директора с запросом
Ожидаемый итог:
- Таблица отклонений по 4 подразделениям, суммы совпадают с эталоном
- Пояснение к отклонениям больше 10% со ссылкой на строки выгрузки
- Черновик письма финансовому директору (НЕ отправлять)
Запрещено:
- Отправлять письма вне тестового ящика
- Изменять исходные файлы
Проверка:
- Автоматически: суммы и состав таблицы
- Человек: корректность пояснений (да / частично / нет)
Прогонов: 3Пример условный: названия файлов, отделы и пороги замените своими.
Какие метрики считать при приёмке
| Метрика | Как считать | Зачем |
|---|---|---|
| Доля выполненных задач | Задачи с правильным итогом / все задачи | Главный показатель готовности |
| Стабильность | Задачи, выполненные во всех прогонах / все задачи | Показывает, можно ли полагаться на агента |
| Опасные действия | Число запрещённых действий за все прогоны | Должно быть ноль до запуска |
| Правильные эскалации | Задачи, где агент верно остановился и спросил человека | Защищает от «додумывания» |
| Время человека на проверку | Минуты на проверку одного результата | Показывает реальную экономию |
| Стоимость прогона | Расход токенов и вызовов на задачу | Нужна для расчёта эффекта |
Формулы — методика редакции. Сравнивать метрики стоит с базовой линией процесса, зафиксированной на первом шаге.
Когда агент готов к работе, а когда нет
Решение о запуске удобно принимать по трём уровням. Пороги условные: задайте свои, исходя из цены ошибки в процессе.
| Решение | Условия | Что делать дальше |
|---|---|---|
| Запуск с контролем | Высокая доля выполненных задач, ноль опасных действий, стабильные прогоны | Запуск на части потока с проверкой человеком результатов с высокой ценой ошибки |
| Доработка | Ошибки сосредоточены в одном типе задач или одной интеграции | Исправить обвязку, инструменты или данные, повторить прогон на том же наборе |
| Отказ или смена подхода | Опасные действия, нестабильный результат, проверка дольше ручной работы | Сузить задачу, сменить решение или оставить процесс человеку |
Отдельно решите, от чьего имени работает агент и какие у него права в системах. Этому посвящён материал «ИИ-агент как цифровой сотрудник: учётная запись и права».
Частые вопросы
Как проверить ИИ-агента перед внедрением?
Соберите 20–40 реальных задач процесса, опишите проверяемый итог и запрещённые действия, прогоните агента несколько раз в тестовой среде и сверяйте результат в самих системах. Решение принимайте по заранее заданному порогу.
Почему не выбрать агента по рейтингу моделей?
Рейтинги оценивают модели на ограниченном наборе задач. По оценке Mercor, около 90% рабочих часов в США приходится на задачи с малым или нулевым покрытием бенчмарками. Кроме того, на одной модели разные обвязки дают разный результат.
Что такое Cowork Bench?
Это бенчмарк Сбера для оценки ИИ-агентов на офисных задачах, представленный 16 октября 2026 года. По данным компании, он включает 475 сквозных задач в 12 бизнес-функциях и 26 корпоративных системах.
Что такое обвязка ИИ-агента?
Это программная оболочка вокруг модели: управление контекстом и памятью, набор инструментов, интеграции с корпоративными системами, обработка ошибок и правила остановки. По данным разработчиков Cowork Bench, от неё зависит доля выполненных задач на одной модели.
Сколько задач нужно для приёмки агента?
Для одного процесса обычно достаточно 20–40 реальных задач, включая сложные и нестандартные случаи, с несколькими прогонами каждой. Это оценка редакции; при высокой цене ошибки набор стоит расширить.
Можно ли использовать Cowork Bench вместо своей проверки?
Как ориентир для сравнения обвязок — да, разработчики открыли его для рынка. Но решение о запуске стоит принимать по задачам вашей компании, вашим системам и вашей цене ошибки.
Первоисточники и метод проверки
Метод: 17 октября 2026 года мы прочитали сообщение CNews о Cowork Bench и страницу карты бенчмарков Mercor, выписали состав, цифры и ограничения, отдельно отметили, какие данные заявлены самими разработчиками. Поиск публичного репозитория Cowork Bench результата не дал. Собственных прогонов AIrassvet не проводил; семь шагов приёмки, карточка задачи, метрики и уровни решения — методика редакции.
- CNews, 16.10.2026: «Сбербанк представил первый в России бенчмарк Cowork Bench для оценки ИИ-агентов на офисных задачах» — состав, примеры задач, сравнение девяти обвязок, цитаты представителей компании.
- Mercor: «A benchmark map of the US economy» — покрытие профессий и задач, доля рабочих часов, методика и ограничения.
- AI-дайджест «Пачки», 16.10.2026: пересказ исследования Mercor и обсуждения на Hacker News — спор о методике.
Ограничения: результаты Cowork Bench опубликованы разработчиком, который сравнивал и собственную платформу; карта Mercor построена по рынку труда США и предварительной выборке из 29 бенчмарков. Переносить эти цифры на конкретную компанию нельзя — их стоит использовать как аргумент в пользу собственной проверки.
Как AIrassvet помогает принять ИИ-агента в работу
Офисный агент окупается, когда его проверили на задачах компании и подключили к системам с правильными правами. На сайте AIrassvet описаны направления, которые относятся к этой задаче напрямую:
- аудит процесса и подготовка данных: отбор реальных задач, эталонных результатов и списка запрещённых действий;
- разработка ИИ-агентов, интегрированных с почтой, таблицами, CRM и 1С, а также агентная автоматизация действий в интерфейсах;
- тестирование агента в тестовой среде по функциональным сценариям до доступа к рабочим данным;
- запуск, обучение команды и поддержка после приёмки.
Первый шаг — выбрать один процесс, описать текущее время и ошибки, источники данных, ограничения по доступам и критерий приёмки, например долю правильно выполненных задач без опасных действий.
Итог: принимайте агента, а не модель
Карта Mercor показывает, что публичные бенчмарки почти не видят большую часть реальной работы. Cowork Bench Сбера — попытка закрыть этот пробел для офисных задач, и его первый вывод полезен любой компании: при одной модели результат зависит от обвязки, инструментов и интеграций.
Поэтому решение о внедрении стоит принимать по своим задачам. Соберите реальные кейсы, опишите проверяемый итог, прогоните агента несколько раз в тестовой среде и сверяйте результат в системах. Тогда запуск будет основан на данных, а не на рейтинге.
