Можно ли доверять уверенности ИИ в своём ответе? Как единственному фильтру качества — нет. В эксперименте, опубликованном 15 октября 2026 года, три языковые модели решили 20 задач на Python и все 179 ответов пометили как «уверен», хотя четыре решения не прошли скрытые тесты. Метка уверенности, которую модель пишет в том же ответе, не отделяла верный код от ошибочного. Исследования показывают, что самооценку можно сделать полезным сигналом, но только после проверки на своих данных. Ошибки ловят внешние проверки: тесты, правила, второй проход и контроль человека по уровню риска.
Материал подготовлен AIrassvet 16 октября 2026 года по эксперименту разработчика, опубликованному на Хабре 15 октября 2026 года, и по двум исследованиям: Kadavath и соавторов (2022) о способности моделей оценивать свои ответы и Kalai и соавторов (2025) о причинах галлюцинаций. Он адресован руководителям, которые внедряют ИИ в процессы, владельцам продуктов, ИТ- и QA-лидам. Мы не повторяли эксперимент и не измеряли калибровку моделей: схема проверок и правила маршрутизации — методика редакции. AIrassvet не аффилирован с автором эксперимента и авторами исследований; раздел в конце статьи описывает услуги издателя.
Содержание
- Кратко
- Что показал эксперимент со 179 ответами
- Чего из эксперимента вывести нельзя
- Что говорят исследования о самооценке моделей
- Почему модели не говорят «не знаю»
- Чем заменить самооценку: лестница проверок
- Как проверить, работает ли сигнал уверенности у вас
- Частые вопросы
- Первоисточники и метод проверки
Кратко
- 179 из 179 ответов — «уверен». Ни одна из трёх моделей ни разу не выбрала вариант «не уверен», хотя он был в инструкции.
- Ошибки были, и простые. Четыре решения (около 2,2%) провалили тесты: неправильный разбор обычной даты, потерянные
..в пути, подпись единицы со сдвигом на одну позицию. - Фильтр по метке пропустил бы все ошибки. Если отправлять на проверку только ответы с меткой «не уверен», очередь осталась бы пустой.
- Самооценка не бесполезна, но требует калибровки. Исследование 2022 года показывает, что вероятностная самооценка может работать на части задач, но хуже переносится на новые.
- Надёжнее внешние проверки: автоматические правила и тесты, второй проход, сверка с источниками и контроль человека там, где цена ошибки высока.
Что показал эксперимент со 179 ответами
Самооценка модели — это утверждение модели о том, насколько она уверена в собственном ответе: словом («уверен»), баллом или вероятностью.
Разработчик проверил простую идею: если попросить модель в конце ответа честно написать, уверена ли она в коде, можно ли по этой метке заранее отсеивать плохие решения, не запуская тесты (Хабр, 15.10.2026).
Условия эксперимента:
- 20 задач, в каждой нужно написать одну функцию на Python 3.9 без сторонних библиотек; в условия специально заложены легко пропускаемые детали;
- 247 скрытых тестов, которых модели не видели; задача засчитывалась, только если пройдены все её тесты;
- модели не могли запускать код и в том же ответе писали строку
CONFIDENCE: SUREилиCONFIDENCE: UNSURE, причём «уверен» разрешалось писать, только если модель уверена, что код пройдёт строгие скрытые тесты; - 3 модели × 20 задач × 3 повтора; в итоговой выборке 179 ответов, один остался с тайм-аутом.
Результаты:
| Модель (как указано в API) | Ответов | Прошли тесты | «Уверен» | «Не уверен» | «Уверен», но с ошибкой |
|---|---|---|---|---|---|
| gpt-6.1-sol | 60 | 60 | 60 | 0 | 0 |
| claude-haiku-5-5 | 60 | 59 | 60 | 0 | 1 |
| glm-5.3-flash | 59 | 56 | 59 | 0 | 3 |
| Всего | 179 | 175 | 179 | 0 | 4 |
Какие ошибки получили метку «уверен»:
- функция разницы дат резала строку
YYYY-MM-DDтак, будто дефисов нет, и падала на обычных датах — хотя в комментариях модель подробно разбирала редкие граничные случаи; - нормализация пути превращала
../../aвaв двух из трёх повторов, при этом над кодом стоял правильный комментарий о том, что..нужно сохранять; format_bytes(1024)возвращала1.0 MiBвместо1.0 KiB— ошибка на единицу в подписи; не прошли 11 из 14 тестов задачи.
Главный вывод автора: использовать такую метку как разрешение не прогонять тесты нельзя — по крайней мере когда оценка идёт в том же ответе, без запуска кода и без второго прохода.
Чего из эксперимента вывести нельзя
Автор сам подробно перечисляет ограничения, и для бизнеса они важны не меньше результата:
- Нельзя ранжировать модели. Задач всего 20, три повтора одной задачи — это не три разные задачи.
- Проверен один вариант вопроса. Другие формулировки, вопрос об уверенности отдельным сообщением и возможность запустить код не проверялись.
- Условия на стороне API не равны. Запросы шли через сторонний агрегатор, фактический бэкенд под каждым именем модели не проверен, температура и seed не задавались.
- Тесты не идеальны. Задачи, тесты и эталоны готовились с помощью Claude; проверяющий скрипт довольно снисходительный.
- Учёт неполный. Шесть ответов без метки (пустые и обрезанные) были перезапрошены, а серия ещё одной модели развалилась и не вошла в таблицу.
Поэтому корректный вывод узкий: в этой постановке словесная метка уверенности в том же ответе не отличала верный код от ошибочного. Это не измерение калибровки моделей в целом.
Что говорят исследования о самооценке моделей
Картина сложнее, чем «модели всегда самоуверенны». В работе «Language Models (Mostly) Know What They Know» (Kadavath и соавторы, 2022) показано:
- крупные модели хорошо откалиброваны на вопросах с выбором ответа и вопросах «верно/неверно», если задать их в правильном формате;
- можно попросить модель сначала дать ответ, а затем оценить вероятность того, что он верен (P(True)), — и на разных задачах это даёт обнадёживающие результаты;
- самооценка улучшается, если модель сначала видит несколько своих вариантов ответа;
- предсказание «знаю ли я ответ» (P(IK)) работает, но хуже калибруется на новых типах задач.
Калибровка — это совпадение заявленной уверенности с фактической точностью: если модель говорит «уверена на 80%», она должна быть права примерно в 80% таких случаев.
| Вид сигнала | Как получают | Чего ожидать |
|---|---|---|
| Словесная метка в том же ответе («уверен / не уверен») | Инструкция в промпте | В эксперименте октября 2026 года — одна и та же метка на всех ответах |
| Оценка вероятности после ответа (P(True)) | Отдельный шаг самопроверки | По исследованию 2022 года — полезна на части задач, требует проверки калибровки |
| Согласованность нескольких ответов | Несколько генераций и сравнение | Помогает самооценке, но увеличивает стоимость |
| Внешняя проверка | Тесты, правила, источники, человек | Не зависит от мнения модели о себе |
Практический смысл: самооценке нельзя верить по умолчанию, но её можно использовать как дополнительный сигнал, если на ваших данных проверено, что он отличает верные ответы от ошибочных.
Почему модели не говорят «не знаю»
Одно из объяснений даёт работа «Why Language Models Hallucinate» (Kalai, Nachum, Vempala, Zhang; сентябрь 2025): процедуры обучения и оценки вознаграждают угадывание больше, чем признание неуверенности. Модели оптимизированы как хорошие участники экзамена, а на большинстве тестов угадать выгоднее, чем ответить «не знаю». Авторы предлагают менять систему оценки в популярных бенчмарках, которые штрафуют неуверенные ответы.
Для бизнеса из этого следует простое правило: если система вознаграждает только «правильные» ответы и не поощряет отказ, модель будет отвечать уверенно и там, где не знает. Отказ «не знаю» нужно явно разрешать в инструкции, учитывать в оценке и не считать ошибкой.
О том, как ошибки проявляются в системах поиска по базе знаний, мы подробно писали в статье «Точность RAG и галлюцинации».
Чем заменить самооценку: лестница проверок
Методика редакции: проверки выстраиваются от дешёвых и автоматических к дорогим и ручным, а глубина зависит от цены ошибки.
| Уровень | Что проверяет | Примеры | Когда обязателен |
|---|---|---|---|
| 1. Формат и правила | Структуру и допустимые значения | Схема JSON, обязательные поля, диапазоны сумм и дат | Всегда, если ответ уходит в другую систему |
| 2. Исполнение и тесты | Работает ли результат | Автотесты для кода, расчёт контрольной суммы, сверка итогов | Для кода, расчётов, преобразования данных |
| 3. Сверка с источниками | Подтверждаются ли факты | Ссылка на документ из базы знаний, совпадение цитаты | Для ответов клиентам и сотрудникам по документам |
| 4. Второй проход | Независимый взгляд на ответ | Отдельный запрос на проверку, другая модель как проверяющий | Для сложных или неоднозначных случаев |
| 5. Человек | Решение по существу | Проверка выборки, подтверждение действия | Для денег, юридически значимых и необратимых действий |
Правила маршрутизации:
- Привязывайте проверку к риску, а не к уверенности модели. Ответ о графике работы офиса и платёжное поручение требуют разного контроля, даже если модель одинаково «уверена» в обоих.
- Агент должен иметь возможность проверить себя сам. Если агент пишет код, дайте ему запустить тесты в изолированной среде; если считает — дайте инструмент расчёта.
- Выборочная проверка человеком даже при прохождении всех автоматических проверок. Автотесты ловят только то, что в них заложено.
- Журналируйте метку уверенности и результат проверки. Это данные для ответа на вопрос, стоит ли вообще учитывать самооценку.
Как организовать проверку кода, написанного с помощью ИИ, — в статье «Аудит кода после вайбкодинга», а как тестировать агента до запуска — в материале о песочнице для ИИ-агента.
Как проверить, работает ли сигнал уверенности у вас
Если вы хотите использовать самооценку модели для маршрутизации — например, отправлять человеку только «неуверенные» ответы, — сначала проверьте её на своих данных (методика редакции):
- Соберите 50–100 реальных задач с известным правильным ответом или способом проверки.
- Получите ответы и сигнал уверенности тем способом, которым планируете пользоваться в работе.
- Проверьте каждый ответ внешним способом: тестами, сверкой с документом или экспертом.
- Постройте простую таблицу: сколько ошибок среди «уверенных» и среди «неуверенных» ответов.
- Если доля ошибок в обеих группах одинакова или почти все ответы «уверенные», сигнал бесполезен для маршрутизации.
- Повторяйте проверку при смене модели, промпта или типа задач — по исследованию 2022 года, калибровка плохо переносится на новые задачи.
Тот же подход применим к выбору модели: собственный набор задач надёжнее публичных рейтингов. Подробнее — в статье «Свой бенчмарк для выбора LLM».
Частые вопросы
Можно ли доверять уверенности ИИ в своём ответе?
Как единственному фильтру — нет. В эксперименте октября 2026 года все 179 ответов получили метку «уверен», хотя четыре были ошибочными. Самооценка может быть полезным дополнительным сигналом только после проверки на ваших задачах.
Почему языковые модели почти всегда уверены?
Одно из объяснений: обучение и популярные тесты вознаграждают угадывание сильнее, чем признание неуверенности. Модели оптимизированы давать ответ, а не говорить «не знаю», если отказ явно не разрешён и не учитывается при оценке.
Что такое калибровка модели?
Это совпадение заявленной уверенности с фактической точностью. У хорошо откалиброванной модели ответы с уверенностью 80% верны примерно в 80% случаев. Калибровку измеряют на наборе задач с известными ответами.
Чем заменить самооценку модели?
Внешними проверками: правилами и схемами для формата, тестами и расчётами для кода и чисел, сверкой с источниками для фактов, вторым проходом для сложных случаев и проверкой человеком для рискованных действий.
Помогает ли спросить модель «ты уверена?» отдельным сообщением?
В эксперименте это не проверялось. Исследования показывают, что отдельный шаг самопроверки и сравнение нескольких ответов могут улучшить самооценку, но результат нужно измерить на своих задачах.
Нужно ли проверять ответы ИИ, если ошибок мало?
Да. В эксперименте ошибок было около 2,2%, но фильтр по самооценке пропустил бы их все. Глубина проверки должна зависеть от цены ошибки, а не от средней доли ошибок.
Первоисточники и метод проверки
Метод: 16 октября 2026 года мы прочитали эксперимент на Хабре, выписали условия, таблицу результатов, разобранные ошибки и ограничения, затем сверили выводы с аннотациями двух исследований на arXiv. Собственных замеров калибровки AIrassvet не проводил; лестница проверок, правила маршрутизации и порядок проверки сигнала — методика редакции.
- Хабр, 15.10.2026: эксперимент «все 179 ответов были SURE» — условия, результаты по трём моделям, четыре ошибки, ограничения.
- arXiv:2207.05221: Kadavath и соавторы, «Language Models (Mostly) Know What They Know», 2022 — калибровка, P(True), P(IK).
- arXiv:2509.04664: Kalai, Nachum, Vempala, Zhang, «Why Language Models Hallucinate», 2025 — почему обучение и оценка вознаграждают угадывание.
Ограничения: эксперимент небольшой (20 задач, три модели, один вариант промпта, сторонний API-агрегатор); исследования оценивали другие модели и задачи, их выводы нельзя напрямую переносить на конкретную модель в вашем процессе.
Как AIrassvet помогает выстроить проверку ответов ИИ
Надёжность ИИ в процессе определяется не моделью, а тем, как устроены проверки вокруг неё. На сайте AIrassvet описаны направления, которые относятся к этой задаче напрямую:
- тестирование ИИ-решений до запуска: функциональные сценарии и набор задач с известными ответами для измерения ошибок;
- RAG-системы на базе знаний компании, где ответ сопровождается ссылкой на документ-источник и его можно сверить;
- разработка ИИ-агентов с инструментами самопроверки — запуском тестов и расчётов — и подтверждением человеком рискованных действий;
- аудит процессов: где цена ошибки высока и какой уровень контроля нужен на каждом шаге.
Первый шаг — выбрать один процесс, где уже используется или планируется ИИ, описать текущий способ проверки результата, источники данных, ограничения и критерий допустимой доли ошибок.
Итог: доверяйте проверкам, а не уверенности
Эксперимент со 179 ответами показал простую вещь: модель может написать «уверена» под ошибочным кодом, даже когда её прямо просят ставить эту метку только при полной уверенности. Исследования добавляют нюанс: вероятностную самооценку можно сделать полезной, но только после проверки калибровки на своих задачах.
Поэтому в рабочих процессах уверенность модели — в лучшем случае дополнительный сигнал. Качество обеспечивают внешние проверки, выбранные по цене ошибки: правила и тесты, сверка с источниками, второй проход и человек там, где ошибка обходится дорого.
