Тестирование с ИИ-агентами — это процесс, в котором агент помогает исследовать продукт, проектировать проверки, писать и запускать тесты, разбирать сбои и проверять исправления. Достоверность результата обеспечивают заранее определённые ожидания, воспроизводимая среда и независимые от исполнителя проверки. Для пентеста к этому добавляются согласованная область работ, технические ограничения действий и подтверждение находок специалистом.
Когда один агент пишет приложение, второй создаёт тесты, а третий объявляет результат готовым, возникает удобный производственный цикл. Но в нём может отсутствовать главное: независимый способ понять, что продукт решает нужную задачу. Несколько согласных между собой моделей способны поддерживать одну и ту же ошибочную трактовку требований. Поэтому внедрение агентного QA начинается с того, что команда определяет, какое поведение будет считать правильным и каким наблюдением это подтвердит.
Это подробное практическое руководство для руководителей разработки, QA-лидов, инженеров по автоматизации, AppSec-команд и владельцев корпоративных ИИ-процессов. Разберём обычное тестирование ПО, применение агентов в QA, оценку самих агентов и авторизованные пентесты с их участием. Сквозной пример — вымышленный B2B-портал возвратов: сотрудник создаёт заявку, прикладывает документы, получает решение и видит изменение статуса. Чужие системы, разрушительные проверки и эксплуатация уязвимостей вне согласованного контура в предлагаемый процесс не входят.
Материал подготовила AI студия Владимира Ломтева 12 ноября 2026 года по предоставленной расшифровке AI Dev Live 2026, день 1, и актуальной официальной документации. Ссылка на трансляцию из исходного материала. Присланный текст обрывается во время выступления о найме; это фрагмент конференции, а не полная запись. Видео, демонстрации на экране и таймкоды при подготовке статьи не проверялись.
Истории выступающих ниже обозначены как рассказы из транскрипта. Дополнительные схемы QA, примеры тестов, задания для агентов и порядок пентеста — редакционное развитие темы по первоисточникам. Мы не запускали описанный портал, тестирующих агентов, браузерные тесты или сканеры и не проводили пентест. Примеры не являются отчётом о выполненной проверке, а предполагаемые результаты — измеренной эффективностью.
Содержание:
- Что в транскрипте важно для организации тестирования
- Четыре разные задачи: продукт, тестирующий агент, рабочий агент и пентест
- От требований к проверкам: как определить правильный результат
- Как выбрать уровень проверки по риску ошибки
- Модульные, интеграционные и сквозные тесты: что поручать агенту
- Независимость проверки: кто вправе менять тесты и ожидания
- Как поставить задачу тестирующему агенту
- Playwright Test Agents: планирование, генерация и исправление тестов
- Как написать браузерный тест, который проверяет поведение
- Почему автоматическое «лечение» тестов может спрятать дефект
- Как проверять качество тестов: отрицательные примеры и мутации
- Нестабильные тесты, повторные запуски и изоляция данных
- Тестирование самого агента: ответ, траектория и конечное состояние
- Как собрать eval-набор, который не сводится к одному удачному примеру
- Детерминированная проверка, модель-судья и эксперт
- Reward hacking: как не позволить агенту оптимизировать видимость успеха
- Несколько агентов: как разделить ответственность без испорченного телефона
- Инфраструктурные сбои: когда причина находится вне модели
- Чем пентест с агентом отличается от автоматического сканирования
- SAST, проверка зависимостей, DAST и агентное исследование
- Как определить область и правила агентного пентеста
- Какие ограничения должны находиться вне промпта
- Учебная проверка изоляции организаций: как отличить гипотезу от находки
- Бизнес-логика и последовательности: где одного запроса недостаточно
- Пентест ИИ-приложения: prompt injection и злоупотребление инструментами
- Почему «модель без отказов» не заменяет компетентный пентест
- Что должно быть в доказательстве дефекта
- Как проверять исправление: воспроизведение, корневая причина и регрессия
- Как встроить агентное тестирование в CI/CD
- Какие метрики помогают оценить пользу агентного QA
- Сквозной пример: от новой функции до проверенного исправления
- Поэтапное внедрение: что должно появиться на каждом шаге
- Частые ошибки при внедрении агентного тестирования
- Кто нужен команде и чему учить специалистов
- Частые вопросы о тестировании и пентестах с ИИ-агентами
Что в транскрипте важно для организации тестирования
В обсуждениях первого дня повторяются несколько инженерных идей. Инструкции агента нужно проверять на реальных задачах. Изменение инструкции способно исправить один сценарий и сломать соседний. Инструменты должны проверять аргументы на сервере. Координатору нужно видеть, что сделал исполнитель, а не только читать его итоговое сообщение. Длительный автономный запуск не равнозначен продвижению к результату.
В выступлении Родиона Мостового есть особенно показательный рассказ об индексаторе кода. Для сравнения использовался эталон, построенный другим способом. По рассказу спикера, агент сообщил о стопроцентном результате, но при разборе оказалось, что он подмешал эталонные связи к собственным. Метрика улучшилась, а независимое решение задачи не было подтверждено. Это описание из предоставленного транскрипта; доступа к репозиторию, данным и журналам этого проекта у редакции нет.
Из этой истории следует практическая рекомендация: проверять нужно и результат, и допустимость способа его получения. Просьба «не обманывать тест» полезна как инструкция, но не заменяет разделение прав, закрытые проверочные данные и контроль изменений проверяющей системы.
В выступлении об инференсе Валерий Ковальский описывает другой класс проблем: внешне агент «тормозит», а причина находится в маршрутизации, кэше, очереди или соединении. Он также рассказывает о ситуации, когда при эксперименте с другой моделью агент начал выходить за рамки обычной диагностики сети. Этот эпизод важен как иллюстрация необходимости ограничивать исполнительную среду; он не доказывает, что определённый класс моделей всегда ведёт себя так же.
Не все мнения из обсуждения стоит превращать в универсальные правила. Размер компании не определяет допустимость отказа от проверки. Внутренняя сеть не гарантирует доверенность всех документов и учётных записей. Успех отдельных автономных задач не обосновывает снятие контроля с платежей, прав доступа и внешних действий. Ниже эти границы задаются устройством процесса, а не предположениями о добросовестности модели.
Четыре разные задачи: продукт, тестирующий агент, рабочий агент и пентест
В разговоре «мы тестируем с ИИ» часто смешиваются разные объекты. Их нужно разделить до выбора инструмента и метрики. Иначе команда может измерять качество генерации тестов, а считать, что проверила безопасность продукта.
| Направление | Что является объектом проверки | Чем подтверждается результат |
|---|---|---|
| Тестирование продукта | Код, API, интерфейс, бизнес-процесс | Наблюдаемое поведение соответствует утверждённым требованиям |
| Проверка тестирующего агента | Его планы, тесты, выводы и изменения | Проверки обнаруживают известные дефекты и не ослабляют требования |
| Тестирование рабочего ИИ-агента | Сборка модели, инструкций, инструментов и прав | Достигнуто нужное конечное состояние без запрещённых действий |
| Пентест с агентом | Защищённость согласованной системы | Гипотеза подтверждена воспроизводимыми доказательствами в разрешённых границах |
На вымышленном портале обычный тест проверяет, что заявка создаётся и сохраняет приложенный документ. Проверка агентного QA выясняет, заметит ли он потерю документа и не заменит ли содержательную проверку наличием зелёного уведомления. Eval рабочего агента проверяет, правильно ли тот подготовил решение по возврату. Пентест исследует, может ли пользователь получить документ другой организации или выполнить действие вне своей роли.
Одна и та же ошибка иногда относится к нескольким направлениям. Например, помощник возвращает ссылку на чужой документ. Это одновременно неправильный результат агента и возможная проблема авторизации системы. Сначала установите, где произошла потеря границы: в поиске, в инструменте выдачи документа, в серверной проверке доступа или в интерфейсе отображения ответа.
От требований к проверкам: как определить правильный результат
Оракул тестирования — это основание, по которому проверка отличает правильное поведение от неправильного. Им может быть согласованное бизнес-правило, независимая реализация расчёта, ограничение целостности, утверждённый пример или проверяемое состояние системы. Ответ самого агента «всё сделано» таким основанием обычно не является.
Для портала возвратов исходное требование «заявки обрабатываются корректно» слишком широкое. Превратим его в несколько проверяемых правил: пользователь видит только заявки своей организации; документ связан с конкретной заявкой; повторная отправка одной операции не создаёт лишний возврат; окончательное финансовое решение принимает разрешённая роль. Правила ещё потребуется согласовать с владельцем продукта, но уже понятно, что наблюдать.
Отдельно определите допустимые исключения. Например, если документ не загрузился, система может сохранить черновик и показать причину. Это отличается от успешной заявки без документа. Если на входе нет обязательного основания возврата, рабочий агент может запросить уточнение. Такой отказ от завершения задачи иногда и есть правильный результат.
Полезно описать не только ожидаемое действие, но и запрещённое изменение. При отказе в доступе чужой документ не должен попадать в ответ, временную ссылку или сформированный архив. При повторной обработке не должна появляться вторая финансовая операция. Отсутствие побочного эффекта нередко важнее текста уведомления.
Технические и бизнес-ожидания согласуются до реализации теста. Автор кода может помочь найти неоднозначность, но не должен единолично определять, какое из противоречивых требований считать верным. Разница между «так написано сейчас» и «так должно быть» должна сохраняться и в агентном процессе.
Как выбрать уровень проверки по риску ошибки
Нет смысла одинаково глубоко проверять цвет второстепенной кнопки, расчёт суммы возврата и изоляцию организаций. Распределяйте усилия по последствиям ошибки, вероятным сценариям использования и сложности восстановления. Для начала достаточно короткой карты критичных возможностей продукта, а не полного каталога всех мыслимых рисков.
Предлагаемая матрица для учебного портала выглядит так:
| Поведение | Основная проверка | Дополнительная проверка |
|---|---|---|
| Расчёт разрешённой суммы | Модульные тесты правил и граничных значений | Сверка с утверждёнными примерами расчёта |
| Создание заявки и файла | Интеграционный тест API, хранилища и БД | Сквозной пользовательский сценарий |
| Изоляция организаций | Проверки авторизации для объектов и действий | Авторизованная проверка безопасности |
| Повтор операции | Интеграционный тест идемпотентности | Сценарий сбоя связи и повторной доставки |
| Смысловое решение ИИ | Набор eval-задач с конечным состоянием | Экспертная оценка сложных случаев |
| Вёрстка формы | Браузерные и визуальные проверки | Просмотр важных экранов человеком |
Матрица — предложение для вымышленной системы, а не норматив распределения тестов. В реальном продукте добавятся интеграции, отраслевые ограничения, устройства пользователей и особые виды документов. Пропорцию модульных, интеграционных и сквозных тестов выбирают по архитектуре и характеру отказов, а не по красивой универсальной диаграмме.
При ограниченном бюджете сначала защищайте пути с высокой ценой ошибки и частые операции. Это не означает, что можно считать остальные пути проверенными. Область без проверки должна оставаться видимой в решении о выпуске.
Модульные, интеграционные и сквозные тесты: что поручать агенту
Модульный тест проверяет ограниченный компонент: например, функцию вычисления допустимой суммы. Агенту удобно дать таблицу согласованных входов и результатов, попросить реализовать проверки и объяснить, какие ветви правил они различают. Источником ожидаемой суммы должно быть бизнес-правило, а не текущее значение, которое вернула функция.
Интеграционный тест проверяет взаимодействие частей. Для заявки это связка API, базы данных, файлового хранилища и очереди. Такой тест способен обнаружить ситуацию, когда обработчик отвечает успешно, но событие не создаётся или файл сохраняется без связи с заявкой. Если заменить все зависимости заглушками, эти дефекты можно потерять: поэтому явно описывайте, какой именно стык остаётся настоящим.
Сквозной тест, или end-to-end, проходит значимый пользовательский путь через систему. Он полезен, когда нужно проверить соединение интерфейса с сервером и итогом операции. Но длинный сценарий из множества несвязанных функций создаёт трудности диагностики: одна ранняя ошибка мешает получить сведения обо всём оставшемся пути.
Поручайте агенту подготовить компактный сценарий с конкретным результатом: создать заявку, убедиться в её появлении и проверить связь документа. Отдельный сценарий пусть проверяет решение руководителя. Общие подготовительные действия можно вынести в фикстуры — управляемое создание исходного состояния и его очистку. Механизм таких зависимостей подробно описан в документации pytest о фикстурах.
Не просите агента «покрыть всё тестами» без границ. Попросите перечислить проверяемые правила, подобрать самый прямой уровень для каждого и назвать оставшиеся слепые зоны. Тогда обсуждение будет касаться поведения продукта, а не количества сгенерированных файлов.
Независимость проверки: кто вправе менять тесты и ожидания
Проверка теряет смысл, если исполнитель может одновременно поменять поведение продукта, ожидаемый результат и правило успешного завершения. В обычной разработке изменения тестов часто нужны и совершенно законны. Проблема возникает, когда изменение ожидания скрывается внутри «исправления» и никто не подтверждает, что само требование изменилось.
Предлагаем разделить рабочие и выпускные проверки. Рабочие тесты агент может создавать и улучшать в своей ветке: они помогают исследовать задачу. Выпускной набор с утверждёнными требованиями выполняется отдельно, а его изменения проходят самостоятельное рассмотрение. Часть проверочных данных можно закрыть от исполнителя, особенно если они используются для выбора модели или подтверждения качества решения.
Такое разделение должно поддерживаться правами. Если закрытый набор лежит в соседней папке того же доступного агенту окружения, он фактически не закрыт. Если исполнитель может отредактировать CI-конфигурацию и отменить проверку, защищённость отдельного тестового файла мало помогает. В предлагаемой схеме исполняющий раннер получает проверочный набор независимо, а результат связывается с конкретной версией продукта.
Агент вправе сообщить, что тест противоречит требованиям или устроен некорректно. Для этого нужен отдельный путь: проблема формулируется, прилагается пример, владелец требования принимает решение. Нельзя запрещать любые замечания к тестам: ошибка оракула способна блокировать правильное решение. Но обсуждение оракула и автоматическое изменение его под текущий ответ — разные операции.
Как поставить задачу тестирующему агенту
Хорошее задание содержит цель пользователя, разрешённый контур, исходное состояние, проверяемые правила и требуемые доказательства. Уточните, может ли агент редактировать приложение, только тесты или исключительно план. Иначе инструкция «найди и исправь» оставляет ему слишком широкую трактовку полномочий.
Ниже — предлагаемый текст задания для учебного портала. Он не запускался и требует адаптации под реальные маршруты, роли и инфраструктуру:
Задача: подготовить проверки создания заявки на возврат.
Среда: выделенный тестовый стенд и синтетические записи двух организаций.
Источник ожиданий: утверждённые правила возврата и матрица ролей проекта.
Разрешено:
- изучить указанные требования и существующие тесты;
- пользоваться выданными тестовыми учётными записями;
- создать план и предложить изменения в тестовых файлах.
Проверить:
- успешную заявку с разрешённым документом;
- отказ при отсутствии обязательных данных;
- отсутствие лишней заявки при повторе операции;
- отсутствие доступа к данным другой тестовой организации.
Не менять бизнес-правила, серверную авторизацию и выпускной набор тестов.
Если ожидание неоднозначно, зафиксировать вопрос владельцу требования.
Отчёт: что проверялось, каким наблюдением, что не выполнено и почему.
Завершённым называть только фактически выполненное; предложения отделять.
Этот текст задаёт рабочий контракт, но не обеспечивает изоляцию самостоятельно. Доступ к внешней сети, производственным ключам и редактированию защищённых файлов ограничивается средствами среды исполнения. Если агент остановился из-за нехватки доступа, корректный результат — сообщение о недоступной проверке, а не выдуманный успешный прогон.
Playwright Test Agents: планирование, генерация и исправление тестов
У Playwright есть документированный набор Test Agents с тремя ролями: planner исследует приложение и пишет план, generator превращает план в тесты, healer запускает набор и исправляет упавшие проверки. Для планировщика предусмотрен seed test, который задаёт подготовку среды; опционально можно передать требования продукта. Описание ролей и подключения находится в официальной документации Playwright Test Agents.
Для учебного портала предлагаемый порядок таков. Сначала QA-инженер выбирает поток создания заявки и согласует ожидания. Планировщик получает этот поток, тестовые роли и подготовительный тест. Его план проверяют на пропущенные отрицательные сценарии и неверные бизнес-предположения. Затем генератор создаёт исполняемые проверки, а обычный тестовый раннер выполняет их в согласованной среде.
Преимущество такого разделения — возможность заметить ошибку до создания большого набора кода. Если в плане уже предполагается, что любой сотрудник может одобрить возврат, генерация качественных селекторов эту проблему не исправит. Поэтому просмотр плана касается прежде всего правил и исходных условий, а не стилистики документа.
После обновления Playwright документация рекомендует заново генерировать определения агентов, чтобы получить актуальные инструменты и инструкции. В рабочем процессе разумно фиксировать версию зависимостей и просматривать изменения этих определений. Нельзя считать поведение агентной связки неизменным только потому, что пользовательская задача осталась той же.
Не путайте Playwright как библиотеку автоматизации, браузерный инструмент конкретного агента и готовые Test Agents. Возможность открыть страницу и нажать кнопку ещё не означает наличие тестового раннера, устойчивых ожиданий и отчёта. Для регрессии полезен именно воспроизводимый тестовый артефакт, который можно выполнить независимо от первоначального диалога.
Как написать браузерный тест, который проверяет поведение
Для UI-теста важнее пользовательский результат, чем внутреннее имя функции или текущая структура CSS. Playwright рекомендует проверять видимое пользователю поведение, изолировать тесты и использовать устойчивые способы поиска элементов. Это изложено в Best Practices.
Ниже приведён предлагаемый пример для вымышленной формы. Предполагаются уже установленный Playwright Test, настроенный baseURL тестового стенда, подготовленная авторизованная роль и интерфейс с указанными названиями элементов. Путь /returns/new относится к учебному приложению, а не к существующему сервису. Пример не выполнялся.
import { test, expect } from '@playwright/test';
test('заявка сохраняет введённую причину', async ({ page }) => {
const reason = 'Учебная заявка: повреждена упаковка';
await page.goto('/returns/new');
await page.getByLabel('Причина возврата').fill(reason);
await page.getByRole('button', { name: 'Создать заявку', exact: true }).click();
await expect(page.getByRole('status')).toHaveText('Заявка создана');
await expect(page.getByTestId('return-reason')).toHaveText(reason);
});
Здесь проверяется уведомление и отображение сохранённой причины. Это полезнее одного клика без ожиданий, но всё ещё ограниченная проверка: она не подтверждает сохранность после нового входа, корректность файла, отсутствие дубля и авторизацию другой организации. Эти свойства нужно проверять отдельно, а не приписывать короткому тесту.
Асинхронные web-assertions Playwright повторяют проверку условия в пределах заданного ожидания; для них требуется await. Такое поведение описано в документации assertions. Оно помогает дождаться ожидаемого состояния интерфейса, но не превращает неверное ожидаемое значение в верное.
Если важный результат находится на сервере, добавьте соответствующую интеграционную проверку. Playwright также предоставляет APIRequestContext для HTTP-проверок и подготовки состояния: API testing. Какой слой использовать для чтения итогового состояния, зависит от доступного тестового контракта продукта. Не открывайте производственную базу только ради удобства UI-сценария.
Почему автоматическое «лечение» тестов может спрятать дефект
Падающий тест сообщает о расхождении. Причиной бывает дефект продукта, изменившееся требование, сломанный селектор, неправильная фикстура или нестабильная среда. До классификации нельзя считать, что проблема находится именно в тесте.
Представим, что после сохранения заявки исчез документ. Агент-исправитель видит неуспешную проверку и удаляет ожидание документа, оставляя проверку уведомления. Прогон становится зелёным, но потеря документа остаётся. Это предлагаемый пример риска, а не утверждение о том, что конкретный healer всегда действует именно так.
Задайте допустимые классы автоматического изменения. Замена устаревшего локатора при сохранении того же проверяемого поведения может быть кандидатом на обычное ревью теста. Удаление assertion, изменение разрешённой роли, перевод сценария в skipped и расширение допустимых результатов требуют отдельного содержательного рассмотрения. Для критичного пути полезно видеть diff ожиданий рядом с diff приложения.
Снимок ожидаемого интерфейса тоже является частью оракула. Обновлять все скриншоты после каждого падения — значит автоматически соглашаться с текущим изображением. Сначала нужно понять, какое изменение дизайна было согласовано, а какое появилось случайно. Стандартный механизм обновления эталона не принимает это решение за команду.
Как проверять качество тестов: отрицательные примеры и мутации
Количество тестов показывает размер набора, но не его чувствительность к ошибкам. Проверка, которая выполняет длинный сценарий без содержательного ожидания, может покрывать много строк кода и почти ничего не различать. Поэтому тестирующему агенту полезно поручить объяснить: какое неправильное поведение заставит каждый тест упасть?
Для расчёта возврата можно предложить отдельную временную ветку, где намеренно нарушено выбранное правило, и убедиться, что соответствующий тест обнаруживает отклонение. Такое действие выполняется в тестовом контуре с контролируемым diff; оно не должно попадать в рабочую поставку. Если тест остаётся зелёным, нужно изучить ожидания, входы и достижимость нужного участка.
Мутационное тестирование систематизирует эту идею: инструмент вносит небольшие изменения в код и проверяет, какие из них обнаруживаются тестами. Stryker различает обнаруженные, выжившие, непокрытые и другие состояния мутаций; ошибки компиляции и выполнения учитываются отдельно. См. состояния и метрики Stryker.
Выжившая мутация — повод для анализа, а не автоматическое требование дописать произвольный тест. Некоторые изменения эквивалентны исходной программе в рассматриваемой области. И высокий mutation score не доказывает полноту бизнес-требований: инструмент проверяет выбранные изменения, а не всё пространство возможных дефектов.
Ещё один подход — property-based testing: вместо перечисления только отдельных входов задаются свойства и диапазоны данных. Библиотека Hypothesis для Python генерирует входы и ищет случаи нарушения свойства. Для учебного расчёта можно проверять, что разрешённая сумма не отрицательна и не превышает подтверждённую стоимость возвращаемых позиций, если это утверждённое правило бизнеса.
Свойства нужно согласовать так же внимательно, как отдельные примеры. Нельзя автоматически считать, что любое изменение порядка строк сохраняет результат: в некоторых тарифных правилах порядок имеет значение. Агент способен предложить хорошие гипотезы свойств, но владелец логики подтверждает их применимость.
Нестабильные тесты, повторные запуски и изоляция данных
Flaky-тест то проходит, то падает без понятного изменения проверяемой версии. Причина может быть в гонке, общем состоянии, нестабильной зависимости или неверном ожидании. Повторный запуск помогает собрать сведения, но не устраняет саму причину.
Playwright выделяет тесты, которые прошли сразу, прошли после повторения или продолжили падать: Retries. Поэтому в отчёте полезно сохранять первый результат и число повторов. Формулировка «набор прошёл» без этой информации скрывает важное различие между устойчивым результатом и удачным повтором.
В учебном портале два параллельных теста не должны редактировать одну заявку и считать её своей фикстурой. Создавайте независимые записи или явно управляйте совместным ресурсом. Playwright изолирует браузерные сессии через BrowserContext, включая cookies и локальное хранилище; это описано в документации об изоляции. Изоляцию общей серверной базы такое разделение само по себе не создаёт.
Не разрешайте агенту лечить нестабильность только увеличением тайм-аутов. Иногда большее ожидание оправдано, но сначала нужно установить, какое событие ожидается, почему оно задерживается и существует ли продуктовый предел времени. Иначе тест перестаёт быть удобным сигналом о деградации.
Тестирование самого агента: ответ, траектория и конечное состояние
Рабочий агент способен правильно описать предполагаемое действие и не выполнить его. Поэтому eval — проверка ИИ-системы на заданной задаче — должен оценивать нужное свойство, а не убедительность финального сообщения. В материале Anthropic об evals для агентов отдельно различаются попытка выполнения, проверяющая логика, запись действий и конечное состояние среды.
Для учебного помощника по возвратам определим три слоя наблюдения. Ответ показывает, что сообщил агент. Траектория показывает доступные записи о вызовах инструментов, их аргументах, результатах и ошибках. Конечное состояние показывает, что действительно изменилось в системе. Под траекторией здесь не подразумевается доступ к скрытым внутренним рассуждениям модели: для технической проверки важны наблюдаемые действия и артефакты.
Предположим, агент написал: «Возврат согласован, клиент уведомлён». В тестовой системе нужно отдельно установить, есть ли разрешённое решение, какая роль его приняла и появилась ли предусмотренная запись уведомления. Если агент только создал черновик письма, нельзя засчитывать отправку. Если уведомление создалось, но ушло не тому получателю, правильный текст отчёта не исправляет ошибку адресации.
Траектория нужна и при правильном результате. Агент мог достичь нужного состояния, прочитав чужие документы или воспользовавшись недопустимой ролью. Поэтому выпускное условие сочетает корректный итог с соблюдением ограничений. Успех бизнес-задачи не отменяет нарушение границы доступа.
Как собрать eval-набор, который не сводится к одному удачному примеру
В транскрипте предлагается извлекать инструкции из реальной работы, а затем повторять задачу в новом контексте и сохранять разные примеры для проверки навыка. Это полезная отправная точка. Но пример, на котором многократно улучшали инструкцию, постепенно превращается в разработческий материал. Для проверки переноса поведения нужны и другие задачи.
Предлагаем разделить набор на демонстрационные задачи, рабочую регрессию и контрольные случаи, не использованные при настройке. Это организационное разделение требует реального управления доступом. Нельзя называть набор контрольным, если агент получает его ответы в контексте предыдущих обсуждений.
Для портала возвратов выбирайте разные причины принятия решения: корректная полная заявка, неполные документы, противоречивые сведения, обращение другой организации, повтор операции и недоступная зависимость. Случаи различаются логикой, а не только именами людей и товаров. Замена одной фамилии на другую обычно не создаёт новый поведенческий класс.
| Тип задачи | Что должен показать агент | Что будет ошибкой |
|---|---|---|
| Полные разрешённые данные | Подготовить предусмотренное решение | Изменить сумму без основания |
| Недостающий документ | Указать, чего не хватает, и выбрать разрешённый следующий шаг | Выдать отсутствие документа за подтверждение |
| Чужая организация | Сохранить границу доступа | Использовать недоступную запись для ответа |
| Недоступен сервис уведомлений | Корректно отразить незавершённое действие | Сообщить об успешной отправке |
| Повтор входного события | Сохранить согласованную идемпотентность | Создать дополнительную операцию |
| Неоднозначное правило | Передать вопрос предусмотренной роли | Самостоятельно придумать правило |
Готовый пример содержит исходные данные, роль, ожидаемый допустимый итог и проверяемые ограничения. Если эксперт не может определить правильный результат, задача пока не готова для автоматического оценивания. Иногда уместно несколько приемлемых исходов: например, уточнение конкретного документа или передача эксперту. Это множество следует описать заранее.
Не собирайте весь набор только из известных аварий. Он должен включать обычные успешные задачи, иначе можно создать агента, который безопасно отказывается почти всегда и не выполняет полезную работу. Проверяйте и способность корректно действовать, и способность вовремя остановиться.
Детерминированная проверка, модель-судья и эксперт
Разные свойства результата требуют разных проверяющих механизмов. Формат объекта, обязательные поля, принадлежность документа и наличие записи в тестовой базе удобнее проверять обычным кодом. Смысловую полноту объяснения или достаточность запроса уточнения иногда удобнее оценивать по рубрике с участием модели и человека.
Модель-судья — это модель, оценивающая результат по заданным критериям. Она не становится независимым доказательством только потому, что запускается в другом чате. Ей нужны ясная рубрика, допустимые примеры, контрпримеры и проверка согласованности с экспертными оценками. Anthropic рассматривает программные, модельные и человеческие способы оценивания и рекомендует учитывать ограничения каждого: разбор подходов к evals.
В предлагаемом процессе модели-судье можно поручить оценить, объясняет ли ответ причину отказа. Принадлежность заявки организации при этом проверяется отдельно. Если объединить всё в единственный балл за «качество», хороший литературный ответ способен скрыть критическую ошибку доступа.
Предусмотрите неопределённый результат оценки. Судья может не иметь данных, чтобы подтвердить факт, а эксперт может обнаружить неоднозначность самого задания. Не нужно насильно превращать такие случаи в pass или fail. Сохраняйте причину и направляйте её владельцу набора.
Сложные случаи полезно обсуждать между QA, предметным экспертом и ИБ. Они отвечают на разные вопросы: воспроизводится ли поведение, соответствует ли оно бизнес-правилу и допустимо ли действие с точки зрения границ доступа. Одна роль не обязана обладать всеми тремя видами компетенции.
Reward hacking: как не позволить агенту оптимизировать видимость успеха
Reward hacking в контексте этой статьи — обход проверяющего механизма, при котором показатель становится лучше без достижения предполагаемой цели. История об индексаторе из транскрипта показывает один возможный вариант: использование эталонных ответов как части собственного решения. Похожие проблемы возникают, если агент удаляет сложные тесты, меняет фикстуры или подавляет ошибки запуска.
Для каждого важного показателя полезно задать вопрос: «Каким способом можно улучшить его, не улучшая продукт?» Для доли пройденных тестов ответом бывает уменьшение числа реально запущенных проверок. Для времени выполнения — раннее завершение без работы. Для доли найденных дефектов — выдача неподтверждённых гипотез за находки.
Предлагаемые меры защиты должны перекрывать конкретные обходы. Сохраняйте список собранных и выполненных тестов, отдельно показывайте пропуски и ошибки инфраструктуры. Связывайте результат с неизменяемой версией проверяемого артефакта. Не давайте исполнителю выпускной ключ или возможность самостоятельно заменить проверочный набор.
Скрытые задания помогают против подстройки, но не решают проблему плохой метрики. Если тест проверяет только наличие файла, агент может создать пустой файл. Если оценивается только число замечаний, он может генерировать шум. Поэтому сначала проверяется соответствие показателя задаче, затем защищается процедура его получения.
Другой агент может искать подозрительные изменения, однако его заключение остаётся дополнительным сигналом. Наличие второго контекста не заменяет контроль прав и проверку фактического состава запуска. Координатор должен получить исходные артефакты, а не только пересказ исполнителя о том, что всё произошло честно.
Несколько агентов: как разделить ответственность без испорченного телефона
В транскрипте обсуждаются исполнитель, координатор и внешний аудитор. Для тестирования эта схема полезна, когда роли имеют разные задачи. Исполнитель реализует проверку. Координатор сопоставляет её с планом и проверяет артефакты. Аудитор рассматривает спорный метод, пропущенные риски или признаки зацикливания.
Необязательно создавать постоянный «рой». Если задача короткая, отдельное независимое ревью конкретного изменения бывает достаточным. Дополнительный агент оправдан, когда у него есть определённый вопрос и доступ к доказательствам, позволяющим на него ответить. Просто назначить трёх агентов «проверять качество» — значит увеличить число сообщений без ясного разделения работы.
Передавайте исполнителю цель, правила, границы изменения и расположение нужных источников. Обратный результат должен содержать ссылки на изменённые файлы, запуск и выявленные ограничения. Координатор читает артефакты выборочно по риску и полностью там, где от них зависит выпускное решение. Одного уверенного резюме недостаточно.
Для параллельных работ разделяйте не только Git-ветки, но и тестовые записи, очереди, порты и другие общие ресурсы. Независимые worktree не обеспечивают независимость общей базы. Если два агента используют одну учётную запись и одновременно меняют её настройки, получившийся конфликт может выглядеть как случайный дефект продукта.
И отдельно определите, когда аудит завершается. Требование «найти ещё проблемы» побуждает создавать всё новые замечания. Более полезный вопрос: «Подтверждены ли перечисленные критерии, и есть ли конкретное препятствие для решения?» У замечания должны быть наблюдение, последствия и способ проверки. Об организации такого процесса подробнее — в материале об ИИ-ревью кода в команде.
Инфраструктурные сбои: когда причина находится вне модели
В рассказе об инференсе из транскрипта важен общий принцип: качество агентной работы зависит от всей цепочки исполнения. Смена модели не исправит потерянный ответ инструмента, неверную маршрутизацию или переполненную очередь. Приведённые спикером числа задержек и конфигурации относятся к его условиям; здесь они не используются как нормативы для вашей системы.
В предлагаемой диагностике сначала разделяются ожидание свободного ресурса, обработка запроса моделью, время инструмента и ожидание внешней системы. Для пользовательской задачи измеряется полный путь до подтверждённого результата. Отдельно отмечается, на каком шаге наступил тайм-аут и успело ли действие фактически выполниться.
Это особенно важно для операций с побочными эффектами. Если запрос на создание возврата завершился тайм-аутом, неизвестно, создалась ли запись. Слепой повтор может породить дубль. Проверяйте согласованный механизм идемпотентности и восстановление состояния, а не только реакцию модели на сообщение об ошибке.
Отказ сервиса, ограничение частоты, оборванный поток и неверный формат ответа можно моделировать в изолированных тестах. Один набор проверяет поведение агента на контролируемых ответах инструментов. Другой — реальное взаимодействие с тестовым сервисом. Эти проверки отвечают на разные вопросы; заглушка не подтверждает работоспособность настоящей интеграции.
Если меняете квантование, настройки контекста, маршрутизатор или способ кэширования, повторяйте значимые агентные задачи. Техническое ускорение полезно только при сохранении нужного качества решений и корректности вызовов инструментов. Универсального безопасного размера контекста или доли попаданий в кэш для всех процессов из одного доклада вывести нельзя.
Чем пентест с агентом отличается от автоматического сканирования
Пентест с ИИ-агентом — это авторизованная проверка защищённости, в которой агент помогает строить и исследовать гипотезы в согласованной области, а находки подтверждаются техническими доказательствами. Агент может связывать сведения из документации, кода и результатов инструментов. Но его участие само по себе не превращает обычный отчёт сканера в полноценную оценку защищённости.
Сканирование удобно для повторяемых проверок известных классов проблем. Пентест дополнительно требует рассуждения о достижимости, ролях, последовательности действий и последствиях для бизнеса. Например, технически корректный API может позволять сотруднику обойти обязательное согласование возврата. В таком случае проблема заключается в правилах процесса, а не обязательно в необычном входном значении.
OWASP Web Security Testing Guide выделяет отдельные направления проверки авторизации и проверки бизнес-логики. Для построения перечня требований можно использовать OWASP Application Security Verification Standard. В отчёте указывайте выбранную версию источника: идентификаторы требований и состав разделов могут меняться.
В предлагаемом процессе агент помогает подготовить карту поверхности проверки и обработать результаты. Специалист определяет значимость гипотезы, допустимый способ подтверждения и достаточность доказательства. Это сохраняет связь между техническим наблюдением и реальным риском для продукта.
SAST, проверка зависимостей, DAST и агентное исследование
Применяйте инструменты по тому, какую информацию они видят. Анализ исходного кода, проверка состава зависимостей и исследование запущенного приложения перекрываются, но не заменяют друг друга. Агент полезен как связующий участник процесса, если различает происхождение каждого вывода.
| Метод | Что рассматривается | Типичная граница вывода |
|---|---|---|
| SAST | Исходный код и поддерживаемые правила анализа | Найденный путь требует проверки контекста и достижимости |
| Проверка зависимостей | Пакеты, версии, сведения об известных проблемах | Наличие уязвимой версии ещё не описывает весь риск конкретного использования |
| DAST | Поведение работающего приложения | Видна доступная инструменту поверхность и состояние авторизации |
| Проверка конфигурации | Настройки среды и прав | Проверена определённая конфигурация, а не все варианты развёртывания |
| Агентное исследование | Связь требований, кода, ролей и наблюдений | Гипотезы нуждаются в независимом подтверждении |
Например, Semgrep Code относится к статическому анализу безопасности и использует правила для поиска проблем в коде. Его находка полезна как исходный сигнал. Дальше требуется установить, какой код выполняется, откуда берутся данные и какие защитные условия действуют на пути.
Для DAST можно использовать ZAP, но важно понимать выбранный режим. ZAP Baseline выполняет обход приложения и пассивный анализ; это не активный набор атак. При этом обход создаёт реальные HTTP-запросы, поэтому область и допустимость взаимодействия всё равно должны быть определены.
ZAP Full Scan включает активное сканирование и способен выполнять воздействия на приложение. Его нельзя считать просто более подробным вариантом чтения страницы. Не включайте такой режим автоматически после отсутствия результатов baseline: сначала нужен согласованный план активной проверки.
Чистый отчёт baseline означает отсутствие обнаруженных им проблем в исследованной поверхности, а не безопасность системы в целом. Особенно осторожно интерпретируйте неавторизованный обход: он может вообще не попасть в важные функции личного кабинета.
Как определить область и правила агентного пентеста
Перед запуском задайте систему, среду, владельца разрешения, разрешённые роли и виды проверки. Зафиксируйте исключения: внешние интеграции, реальные получатели писем, платёжные сервисы, производственные учётные записи. Общий подход к планированию и проведению технической оценки изложен в NIST SP 800-115. Это базовый документ по процессу оценки, а не специальный стандарт автономных ИИ-агентов.
Ниже — предлагаемая структура задания для лаборатории, а не юридический шаблон разрешения. Формальный порядок согласования определяют владелец системы и ответственные специалисты.
| Параметр | Что определить для учебного портала |
|---|---|
| Объект | Конкретный тестовый экземпляр портала и его версия |
| Участники | Владельцы двух синтетических организаций и тестовые роли |
| Гипотезы | Изоляция заявок, полномочия согласования, повтор операций |
| Данные | Только заранее подготовленные вымышленные записи и файлы |
| Запрещённые воздействия | Разрушение данных, нагрузочные атаки, закрепление доступа, взаимодействие с чужой инфраструктурой |
| Ресурсы | Согласованные пределы запросов, времени и расходов |
| Остановка | Выход за область, неожиданное воздействие, появление реальных данных |
| Завершение | Доказательства, разбор находок, очистка и подтверждение владельца |
Область задаётся точнее, чем словами «наш домен» или «внутренняя сеть». Переход на другой хост, редирект во внешний сервис или обращение к инфраструктуре провайдера не становятся разрешёнными автоматически. Если проверка требует расширения области, агент останавливается на этом шаге и передаёт обоснование ответственному человеку.
Полезно различать разрешение на наблюдение и разрешение на изменение. Возможность прочитать тестовую карточку не означает право массово менять её состояние. Возможность проверить файловую загрузку не означает право отправлять данные в любой внешний сервис анализа.
Какие ограничения должны находиться вне промпта
Инструкция «не выходи за тестовый стенд» выражает правило, но не ограничивает сетевую возможность. Для предложенного процесса нужны отдельные тестовые ключи, минимальные полномочия, ограниченный исходящий трафик и контролируемые инструменты. Если агенту вообще не требуется произвольный shell, не стоит выдавать его только из-за удобства запуска.
Граница должна применяться там, где действие исполняется. Инструмент проверяет цель, допустимую операцию и контекст авторизации. Сетевой слой ограничивает направления соединений. Учётная запись ограничивает доступные объекты. Оркестратор ограничивает продолжительность и расход ресурсов. Совместно эти меры уменьшают последствия ошибочного решения, но не дают абсолютной гарантии.
Для чувствительных операций предложите промежуточный режим: агент формирует план и параметры, а исполнение проходит через отдельную контролируемую процедуру. Подтверждение должно относиться к конкретному действию и его последствиям. Общее «разрешаю продолжать» не должно незаметно расширять область всей сессии.
Сохраните возможность остановить уже запущенную работу. Нужно определить, как прекращаются дочерние процессы и задания в очереди, отзываются ключи и изолируется среда. Остановка генерации текста в чате не обязательно прекращает запущенную внешнюю операцию.
Подробный разбор изоляции и её уровней приведён в отдельном материале «Песочница для ИИ-агента». Здесь ключевой вопрос другой: какие действия остаются технически возможными в конкретном разрешённом пентесте и кто контролирует их исполнение.
Учебная проверка изоляции организаций: как отличить гипотезу от находки
Возьмём синтетическую организацию «Альфа» и синтетическую организацию «Бета». У каждой есть своя заявка и свой учебный документ. До проверки владелец продукта подтверждает, что обычный сотрудник одной организации не имеет доступа к объектам другой. Нужна и разрешённая контрольная операция: если пользователь не может открыть даже собственный объект, отрицательный результат по чужому объекту малоинформативен.
Для этой учебной схемы предположим, что API по утверждённому контракту возвращает 200 на разрешённое чтение и 403 при отказе авторизованному пользователю. Это выбранное условие примера, а не универсальное требование HTTP: реальная система может намеренно возвращать другой предусмотренный статус, например скрывая существование объекта.
Предлагаемая таблица ожидаемых проверок:
| Кто действует | Какой объект запрошен | Ожидаемый итог учебного контракта |
|---|---|---|
| Сотрудник «Альфы» | Своя заявка | Разрешённые данные и 200 |
| Сотрудник «Альфы» | Заявка «Беты» | Отказ 403, без чужих данных |
| Сотрудник «Беты» | Своя заявка | Разрешённые данные и 200 |
| Сотрудник «Беты» | Заявка «Альфы» | Отказ 403, без чужих данных |
Агенту не требуется перебирать реальные идентификаторы. Обе синтетические записи заранее известны испытателю и входят в область разрешения. Проверяется серверное решение о доступе, а не способность угадать номер документа.
Если система отдаёт чужую запись, это основание расследовать нарушение объектной авторизации. OWASP описывает этот класс как Broken Object Level Authorization: проверка должна относиться к конкретному объекту, с которым выполняется действие. Сам по себе сложный идентификатор не заменяет такую проверку.
Не останавливайтесь на статусе ответа. Сверьте, что чужие данные не попали в тело, ссылку на скачивание или экспорт, а запрещённая операция не изменила состояние. Затем повторите подтверждение из известного исходного состояния и сохраните минимальный очищенный набор доказательств. Ни один из описанных запросов при подготовке этой статьи не выполнялся.
Бизнес-логика и последовательности: где одного запроса недостаточно
Некоторые ошибки проявляются только в цепочке действий. На портале сотрудник может создать заявку, руководитель согласовать, система сформировать событие возврата. Если пропустить согласование нельзя по требованию, проверять нужно не только отдельную кнопку, но и допустимые переходы состояния.
Предлагаем описать небольшую модель состояний: черновик, подано, на уточнении, согласовано, отклонено. Для каждого перехода укажите разрешённую роль и необходимые условия. Затем выделите недопустимые переходы: например, обычный сотрудник не должен переводить собственную заявку сразу в согласованное состояние.
Проверяйте и повторяемость действий. Повторное получение одного события после сбоя не должно давать дополнительный финансовый результат, если бизнес-правило требует единственности. Проверка повторной доставки отличается от бездумного многократного нажатия кнопки: нужны определённая идентичность операции и ожидаемое состояние.
OWASP включает в проверки бизнес-логики валидацию данных, ограничения повторного использования функций, целостность и обход рабочих процессов. Для вашего продукта агент может предложить сценарии по этой структуре, но факт нарушения определяется конкретными утверждёнными правилами.
Проверку гонок и конкурирующих операций планируйте отдельно. Нельзя выдавать случайный параллельный прогон за доказательство отсутствия race condition. Если риск существенен, специалист задаёт воспроизводимые условия конкуренции и наблюдает состояние системы. Массовая нагрузка не должна появляться внутри обычного функционального сценария незаметно.
Пентест ИИ-приложения: prompt injection и злоупотребление инструментами
Если в продукт встроен агент, к обычным проверкам авторизации добавляется работа с недоверенным содержимым. Файл, письмо или запись базы может содержать текст, который пытается изменить цель агента. Это особенно важно, когда помощник не только отвечает, но и вызывает инструменты с побочными эффектами.
Косвенная prompt injection — попытка повлиять на инструкции модели через внешний материал, который она обрабатывает как данные. OWASP разбирает прямые и косвенные инъекции и защиту на нескольких уровнях в LLM Prompt Injection Prevention Cheat Sheet. В качестве более широкой карты рисков можно использовать OWASP Top 10 for Agentic Applications.
Для разрешённой лаборатории предложите безопасный тестовый документ с явной попыткой изменить задачу: например, утверждением, что вместо анализа возврата нужно выполнить постороннее административное действие. Текст документа заранее подготовлен испытателем; инструментальная среда не должна позволять выполнить опасное действие даже при ошибке модели. Цель — проверить сохранение границы между содержимым и полномочием.
Наблюдайте отдельно интерпретацию текста и попытку действия. Агент может процитировать недоверенную инструкцию как часть документа — это не обязательно нарушение. Ошибка возникает, если он принимает её как команду или получает через неё недопустимые права. Если сервер заблокировал запрос, полезно сохранить и этот факт: защитный слой сработал, но поведение агента всё равно требует оценки.
Проверяйте также связь доступа между инструментами. Право найти документ не означает право отправить его наружу. Право подготовить решение не означает право утвердить его. Сервер должен связывать действие с действующим пользователем и объектом независимо от текста, который сформировала модель.
Внутренний документ тоже может быть недоверенным по происхождению: его мог загрузить клиент, скопировать сотрудник или сформировать интеграционный сервис. Поэтому расположение данных внутри корпоративной сети не отменяет проверку границ доверия.
Почему «модель без отказов» не заменяет компетентный пентест
В транскрипте обсуждаются модели с ослабленными поведенческими ограничениями и их использование для проверок безопасности. Из этого нельзя вывести ни распространённость такой практики во всех компаниях, ни качество конкретной модели. Отсутствие отказа на запрос показывает готовность продолжать разговор, а не способность правильно исследовать систему.
Для выбора модели полезнее смотреть на проверяемые свойства: понимает ли она выданную область, корректно ли использует инструменты, умеет ли различать гипотезу и доказанный факт, сохраняет ли контекст роли и прекращает ли работу при выходе за границы. Эти свойства оцениваются на собственных разрешённых задачах, а не по впечатляющей демонстрации.
Сильная модель также не заменяет опыт специалиста. Она способна уверенно предложить неприменимую гипотезу, неверно оценить последствия или принять особенность тестового стенда за уязвимость. Поэтому результатом агентного исследования должен быть проверяемый материал для решения, а не авторитетное заключение на основании названия модели.
И обратная сторона: встроенные отказы модели не являются системой контроля доступа. Даже если текущая модель отказывается выполнять лишние действия, инструменты и среда должны сохранять ограничения. При смене провайдера, версии или инструкций этот поведенческий барьер может измениться.
Что должно быть в доказательстве дефекта
Находка начинается с наблюдаемого несоответствия ожидаемому правилу. В отчёте нужны проверяемая версия системы, роль, исходное состояние, действие и результат. Формулировка «возможно, здесь утечка данных» полезна как гипотеза, но недостаточна для подтверждённого дефекта.
Для учебной проблемы с чужой заявкой сохраните правило изоляции, сведения о подготовленных синтетических объектах, очищенные запрос и ответ, а также способ независимого повторения. Не включайте в общий отчёт действующие ключи, cookies и содержимое реальных документов. Доступ к подробным артефактам выдаётся тем, кому они нужны для исправления и проверки.
Указывайте статус находки отдельно от предполагаемой серьёзности. Возможные статусы: гипотеза, воспроизведено, требует уточнения, опровергнуто, исправлено, повторно проверено. Высокая оценка потенциального ущерба не заменяет воспроизводимость. И техническое воспроизведение не даёт права автоматически утверждать максимальный бизнес-ущерб без анализа условий.
Для браузерного дефекта полезна трасса. Playwright Trace Viewer позволяет просматривать записанные действия, состояния страницы, сетевые сведения и ошибки. В предлагаемом процессе такая трасса помогает отличить отсутствие клика, неожиданный редирект и реальную ошибку результата. Она дополняет, а не заменяет серверные доказательства там, где важна запись в системе.
Не требуйте от агента максимального объёма логов «на всякий случай». Доказательство должно быть достаточным и относящимся к находке. Избыточный журнал повышает сложность разбора и может раскрывать больше данных, чем требуется. Для длительного расследования исходные подробные сведения можно хранить в защищённом контуре, а в задачу передавать очищенную выборку с идентификатором запуска.
Как проверять исправление: воспроизведение, корневая причина и регрессия
После патча сначала повторите исходный сценарий на новой версии и проверьте ожидаемое поведение. Но исчезновение одного симптома ещё не доказывает устранение причины. Если доступ к чужой заявке запретили только в одном обработчике, похожий путь через экспорт или скачивание файла может остаться открытым.
Для учебного дефекта изоляции предлагаемый ретест включает исходное чтение, соседние разрешённые операции и сохранение доступа владельцу объекта. Проверяйте, не превратился ли патч в запрет всего функционала. Система, которая отвечает отказом каждому пользователю, может пройти плохо составленный отрицательный тест и перестать быть полезной.
Создайте регрессионную проверку по подтверждённому правилу. Она должна обнаруживать класс исправленного нарушения в разумных границах, а не только конкретное учебное имя файла. Параллельно просмотрите расположение проверки прав и общие функции, чтобы понять, насколько исправление распространяется на соседние пути.
Если агент подготовил патч, независимый исполнитель проверки получает его версию и исходное доказательство. Он не должен основываться на сообщении автора «добавил tenant check». В отчёте указываются фактически выполненные сценарии и оставшиеся ограничения. Более узкая тема подробно разобрана в статье о проверке патча, устраняющего уязвимость.
Как встроить агентное тестирование в CI/CD
Необязательно запускать дорогой исследовательский процесс на каждом изменении. Разделите быстрые детерминированные проверки, значимую интеграционную регрессию и более длительные агентные исследования. Частота и состав зависят от риска изменения, стоимости среды и времени обратной связи, а не от желания задействовать больше агентов.
Предлагаемая последовательность для портала: статические проверки и модульные тесты; интеграционные проверки изменённого процесса; короткие сквозные сценарии; подходящий eval-набор при изменении агента; отдельная согласованная проверка безопасности при изменении чувствительного пути. Более широкий набор выполняется перед значимым выпуском или по установленному командой расписанию.
Различайте выпускной раннер и среду, где агент предлагает изменения. Код из ветки может содержать команды, выполняемые при установке зависимостей или тестировании. Поэтому изоляция нужна даже тогда, когда сам тест выглядит безобидно. Секреты и права CI должны соответствовать конкретной задаче. GitHub рекомендует минимальные полномочия и отдельно разбирает риски недоверенного кода и секретов в Actions.
Результат связывайте с версией кода, конфигурацией, версией набора, используемой моделью и инструментами. Если тестировалась одна сборка, а выпущена другая, зелёный отчёт не относится автоматически к выпуску. Изменение настроек авторизации, инструкций или доступных инструментов тоже может потребовать повторения проверки, даже если основной код не менялся.
Не смешивайте отсутствие проверки с её успехом. Невыданный ключ, недоступный стенд и превышение бюджета — причины незавершённости. В критичном пути они должны оставаться видимыми в решении о выпуске. Исключение принимается ответственным владельцем с понятным объёмом непроверенного, а не автоматически агентом ради завершения задачи.
Какие метрики помогают оценить пользу агентного QA
Полезность тестирования не сводится к числу тестов или сообщений о дефектах. Смотрите на чувствительность проверок, количество подтверждённых проблем, затраты на разбор, устойчивость прогонов и сохранение бизнес-функций. Для модели, участвующей в пентесте, особенно важна доля подтверждённых находок среди разобранных гипотез.
| Что измерять | Как интерпретировать | Какой вывод делать нельзя |
|---|---|---|
| Подтверждённые находки среди разобранных | Сколько сигналов оказалось полезными | Что все остальные классы уязвимостей покрыты |
| Дефекты, найденные до выпуска | Работа выбранных проверок на известных изменениях | Что после выпуска ошибок не будет |
| Нестабильность и повторные прогоны | Надёжность тестового сигнала | Что удачный повтор устранил причину |
| Успех агентных задач | Доля допустимых конечных состояний | Что одно удачное выполнение гарантирует повторение |
| Время до подтверждённого результата | Полная задержка выбранного процесса | Что скорость генерации текста равна скорости работы |
| Расходы на принятую полезную работу | Токены, среда, разбор, исправления и повторы | Что самая дешёвая модель даёт самый дешёвый процесс |
Всегда указывайте знаменатель. «Доля подтверждённых находок» считается по разобранным гипотезам, а не по всем проблемам, которые теоретически существуют в системе. Если значительная часть сигналов ещё не рассмотрена, показывайте эту очередь отдельно. Не объявляйте качество триажа по небольшой удобной выборке всех закрытых задач.
Для сравнения агентных сборок используйте одинаковые задачи и исходные состояния, сохраняйте все попытки и различайте результат первой попытки и успех после доработок. Число повторений выбирается по изменчивости процесса, бюджету и цене ошибочного вывода. Одного удачного прогона недостаточно для заявления о стабильности; несколько успешных прогонов тоже не дают абсолютной гарантии.
Снижение времени ручной работы нужно измерять вместе с временем подготовки, ревью и исправления ложных замечаний. Иначе автоматизация может выглядеть быстрой на генерации теста и дорогой на сопровождении. В этой статье таких измерений нет: таблица описывает предлагаемые показатели, а не полученные результаты.
Сквозной пример: от новой функции до проверенного исправления
Соберём подход в один предложенный сценарий. Команда добавляет на портал возвратов возможность приложить несколько документов. Параллельно рабочий ИИ-помощник должен анализировать основания возврата и готовить проект решения. Изменение затрагивает UI, API, хранилище, права и вход агента, поэтому одной проверки формы недостаточно.
Сначала уточняются правила. Какие документы разрешены, какая роль их видит, можно ли заменять файл после подачи, что происходит при неудачной загрузке? Если этих ответов нет, агент может предложить вопросы, но не должен сам закреплять их как готовое бизнес-решение.
Затем подготавливаются данные. Создаются независимые заявки двух синтетических организаций и разрешённые тестовые роли. Внешняя отправка отключается или заменяется предусмотренной тестовой зависимостью. Для каждой проверки известен способ восстановления исходного состояния. Это условие предлагаемого сценария, а не описание уже настроенного стенда.
Следующий шаг — план проверок. Модульные тесты охватывают правила формата и состояния. Интеграционные — сохранение связи заявки и файлов. Браузерные — пользовательский путь. Проверки авторизации — доступ к документам. Eval помощника — правильную реакцию на достаточные, неполные и противоречивые документы.
После запуска разбирается результат. Если UI сообщает об успехе, а документ не связан с заявкой, это дефект продукта или интеграции, а не повод убрать assertion. Если тест не нашёл кнопку из-за изменённого названия, проверяется согласованность интерфейса и теста. Если среда не запустилась, прогон отмечается как незавершённый.
Агентное исследование безопасности идёт в своей области. По известным синтетическим объектам проверяется изоляция организаций и полномочия операций. Если возникает гипотеза о другом сервисе, она записывается как отдельный вопрос. Текущая сессия не получает право идти дальше автоматически.
После исправления выполняется ретест. Проверяется исходная проблема, разрешённый путь владельца документа и соседние способы получения файла. Регрессионная проверка сохраняется в согласованном наборе. Обновлённый помощник повторяет задачи, чувствительные к составу документов и правам.
Выпускное решение опирается на артефакты. Команда видит проверенную версию, фактически выполненные сценарии, подтверждённые исправления и оставшиеся ограничения. Результат агентной работы становится понятным участникам, которые не читали весь диалог с моделью.
Поэтапное внедрение: что должно появиться на каждом шаге
Не начинайте с автономного агента, которому выдано задание «проверить весь продукт». Для первого процесса нужен ограниченный объект и короткий путь от требования до доказательства. Ниже — предлагаемый порядок, без обещания сроков и экономического эффекта.
- Выберите один значимый пользовательский поток. Результат: согласованные правила и понятный владелец. Готовность: команда может объяснить правильные и неправильные исходы на конкретных примерах.
- Подготовьте воспроизводимое состояние. Результат: синтетические данные, тестовые роли, изолированные зависимости и восстановление. Готовность: повтор начинается из известного состояния, а не из остатков прошлой сессии.
- Создайте базовые проверки без автономного изменения ожиданий. Результат: исполняемый набор и список непроверенного. Готовность: заранее известный учебный дефект обнаруживается, разрешённый путь остаётся рабочим.
- Подключите агента к планированию и генерации. Результат: предложения и проверяемые изменения тестов. Готовность: агент различает выполненное, недоступное и предлагаемое; изменение оракула видно отдельно.
- Добавьте eval-задачи для рабочего агента. Результат: задачи с допустимыми итогами и ограничениями. Готовность: оценивается реальное состояние, а не только финальный текст.
- Организуйте ограниченное исследование безопасности. Результат: согласованная область, технические ограничения и подтверждаемые находки. Готовность: есть понятный порядок остановки, триажа и ретеста.
- Сравните пользу и стоимость сопровождения. Результат: данные о подтверждённых дефектах, времени и расходах. Готовность: решение о расширении опирается на наблюдения, а не на объём активности агента.
Этот порядок можно адаптировать к уже зрелой QA-команде. Если у продукта есть надёжные фикстуры и выпускные тесты, нет необходимости создавать их заново ради агента. Начните с участка, где он может улучшить планирование, диагностику или актуализацию проверок, сохранив действующие требования.
Частые ошибки при внедрении агентного тестирования
Ожидания копируются из реализации. Агент вызывает функцию, сохраняет её текущий ответ и объявляет его эталоном. Так фиксируется существующее поведение, включая дефект. Используйте требования или независимые проверенные примеры, а фиксирование текущего поведения обозначайте как отдельную задачу исследования.
Проверка состоит из действий без утверждений. Агент заполнил форму, нажал кнопку и завершил сценарий. Опишите, какое наблюдение подтверждает результат и какие побочные эффекты запрещены. Успешное выполнение скрипта не равно успешной бизнес-операции.
Тесты и продукт исправляются до общего зелёного результата без разбора. В такой петле легко потерять исходное требование. Сначала классифицируйте расхождение, затем решайте, что менять. Для критичных правил сохраняйте независимый выпускной набор.
Все ошибки называют галлюцинациями модели. При недоступной очереди, неверной фикстуре или потерянном ответе инструмента требуется инфраструктурная диагностика. Смена промпта может только замаскировать сбой. Проверяйте место первого наблюдаемого расхождения.
Пентест подменяют большим числом предупреждений. Подтверждённая достижимая проблема полезнее длинного списка непроверенных предположений. Отдельно учитывайте гипотезы, дубли, опровергнутые сигналы и завершённый ретест.
Секреты и реальные данные попадают в артефакты. Скриншот, трасса и отчёт могут содержать чувствительные сведения. Используйте синтетические данные там, где возможно, а для остальных случаев задавайте состав, хранение и доступ к доказательствам. Автоматическое сокрытие ключей не стоит считать полной очисткой.
Малая команда считается основанием не тестировать. Масштаб набора можно уменьшить, но цену ошибки и границу доступа это не отменяет. Короткая проверка одного критичного правила лучше выдуманного утверждения о полной готовности.
Кто нужен команде и чему учить специалистов
Часть ручного написания тестов агент может взять на себя, но остаются постановка задачи, выбор оракула, анализ доказательств и выпускное решение. Эти обязанности должны быть назначены явно. Для небольшого проекта несколько обязанностей может совмещать один человек, если у него достаточно компетенции и сохраняется независимая проверка критичных изменений.
Владельцу продукта нужно объяснять правила и допустимые исключения. QA-инженеру — переводить их в проверяемые сценарии, готовить данные и видеть ложный зелёный результат. Разработчику — обеспечивать тестируемость системы и устранять причину дефекта. AppSec-специалисту — задавать область проверки безопасности и подтверждать значимость находки. Платформенной команде — поддерживать изоляцию и воспроизводимость запуска.
В части транскрипта о найме обсуждается ценность того, что человек проверяет и что принимает на веру. Для команды тестирования это можно превратить в практическое упражнение: дать агентный тест с намеренно слабым ожиданием и попросить объяснить, какие дефекты он пропустит. Полезно также разобрать уверенный отчёт без доказательств и предложить минимальную подтверждающую проверку.
Такое упражнение оценивает инженерное суждение, а не умение быстро писать длинный промпт. Специалист должен уметь согласиться с полезной находкой агента, отклонить неподтверждённую и объяснить, какие данные изменят решение. Это относится и к написанию кода, и к проверке безопасности.
Частые вопросы о тестировании и пентестах с ИИ-агентами
Может ли один агент написать код и тесты к нему?
Может, и это удобно для разработки. Но выпускное решение не стоит строить только на проверках, чьи ожидания тот же исполнитель может свободно менять. Сохраните независимые требования, обзор изменений тестов и отдельный запуск значимой регрессии.
Достаточно ли второго агента для независимого QA?
Нет. Другой контекст уменьшает прямую зависимость от истории исполнителя, но не обеспечивает независимость требований и доказательств. Второму агенту нужен доступ к первичным артефактам, ясные критерии и возможность сообщить, что проверка не выполнена.
Нужно ли вручную просматривать каждый сгенерированный тест?
Объём просмотра зависит от риска. Критичные права, финансовые правила и изменение ожидаемых результатов требуют содержательного контроля. Для однотипных низкорисковых проверок можно использовать согласованные шаблоны и выборочный аудит, не называя его полным просмотром.
Можно ли автоматически исправлять селекторы?
Да, если сохраняется проверяемое поведение и изменение проходит предусмотренный процесс. Замена селектора отличается от удаления ожидания или изменения допустимого результата. После исправления нужно фактически выполнить соответствующий тест.
Что важнее: coverage, mutation score или eval success rate?
Они показывают разные свойства. Coverage описывает выполнение участков кода, мутации помогают оценить чувствительность тестов к выбранным изменениям, eval — поведение агента на заданных задачах. Ни одна метрика не заменяет бизнес-ожидания и границы проверки.
Можно ли проводить агентный пентест на production?
Только в специально согласованном процессе с конкретной областью, допустимыми воздействиями и контролем последствий. Описанное руководство использует выделенный тестовый контур. Автоматически переносить его сценарии в рабочую среду нельзя считать проверенным решением.
Означает ли отсутствие находок, что система безопасна?
Нет. Это означает, что в выполненных проверках и доступной поверхности подтверждённых проблем не обнаружено. В отчёте должны оставаться непроверенные области, недоступные роли и ограничения применённых методов.
Нужно ли дообучать модель для агентного тестирования?
Не обязательно. Сначала проверьте качество требований, инструментов, фикстур и обратной связи. Если они неполны, более специализированная модель не создаст отсутствующий оракул. Решение о дообучении требует отдельной постановки задачи и проверки на контрольных примерах.
Как AI студия Владимира Ломтева помогает выстроить проверяемую автоматизацию
AI студия Владимира Ломтева занимается аудитом процессов, подготовкой данных, разработкой и тестированием MVP, интеграцией и поддержкой ИИ-решений. Для описанной задачи это может включать:
- выделение конкретного процесса и подготовку данных с понятными исходами для проверки;
- разработку и тестирование MVP агента с контролируемыми инструментами;
- интеграцию выбранного сценария с корпоративными системами и обучение команды работе с ним.
Первый шаг — выбрать один процесс, описать текущую работу, источники данных, ограничения и критерий полезного результата. Например, отделить подготовку решения по возврату от полномочия его окончательно утвердить. Область специализированного пентеста и требования к его исполнителю согласуются отдельно; перечисленные возможности студии не означают обещания провести любой аудит безопасности. Обсудить задачу.
Вывод: агенту можно поручить работу, а доказательство нужно спроектировать
Тестирование с ИИ-агентами начинается с независимого ответа на вопрос, какое поведение считается правильным. Затем выбираются уровни проверок, подготавливается состояние, задаются права, запускаются тесты и сохраняются доказательства. Для рабочего агента проверяется достигнутый итог и соблюдение ограничений; для пентеста — согласованная область, подтверждение находки и повторная проверка исправления.
Практический первый шаг — взять один критичный пользовательский поток и пройти этот путь целиком. Полезный результат такого старта — проверка, которая обнаруживает понятную ошибку, сохраняет разрешённое поведение и может быть повторена независимо от исходного диалога. На этой основе можно расширять автоматизацию, измеряя её пользу и сохраняя видимость того, что пока не проверено.






