Запусти агента один раз и скомпилируй: как превратить прогоны AI-агента в детерминированные воркфлоу
Большинство задач агента повторяются изо дня в день, а мы каждый раз платим модели за то, чтобы она заново нашла ту же кнопку. Рассказываю, как я записываю успешный прогон агента, компилирую его в детерминированный сценарий и зову агента обратно только тогда, когда сценарий ломается.
Pavel Duglas
AI Automation & MVP Architect
Большинство AI-агентов, которые я вижу в проде, каждый день делают одно и то же. Заходят в один и тот же кабинет поставщика, ставят те же фильтры, выгружают тот же отчет и кладут его в ту же таблицу. И каждый раз модель с нуля рассуждает, где находится кнопка. Вы платите по тарифу топовой модели за решение, которое было принято еще вчера. Поэтому мой подход по умолчанию другой: пусть агент один раз разберется с задачей, потом я компилирую этот прогон в скучный детерминированный сценарий, а агента бужу только тогда, когда сценарий сломался.
Вы платите за рассуждения, которые уже были
Агент отлично справляется с исследованием. Он разберется со страницей, которую видит впервые, закроет странный модальный диалог, догадается, что «Экспорт» спрятан под тремя точками. В первый раз это действительно ценно.
В десятый раз это просто расход. И дело не только в деньгах. Каждый новый проход рассуждений - это новый шанс сделать что-то иначе. Сегодня агент выбирает экспорт в CSV, завтра в XLSX, потому что после обновления модели у нее сместились предпочтения. Сегодня он укладывается в 40 секунд, завтра думает 4 минуты, потому что решил перепроверить каждую строку. Пайплайну, который стоит дальше, креатив не нужен. Ему нужна одна и та же структура данных в одно и то же время.
Поэтому я делю работу на два режима:
- Режим исследования - агент с инструментами решает новую или изменившуюся задачу.
- Режим воспроизведения - детерминированный скрипт выполняет известные шаги, без модели в цикле или только с маленькими узкими вызовами модели для извлечения данных.
Самая интересная инженерия - это мост между ними.
Когда задачу пора компилировать
Не каждую задачу агента стоит превращать в скрипт. Перед компиляцией я смотрю на такие признаки:
- Задача успешно отработала хотя бы 3-5 раз с похожей последовательностью шагов. Если каждый прогон выглядит по-своему, у вас еще не воркфлоу, а исследование.
- Меняются входные данные, но не путь. Другой период, те же клики. Другой ID клиента, те же вызовы API.
- У результата фиксированная схема. Таблица, JSON-объект, файл в известном формате.
- Ошибку можно обнаружить. По результату понятно, сработало или нет, без человека, который щурится на экран.
Если задача проходит по всем четырем пунктам, держать ее на чистом агенте - значит сознательно платить больше за меньшую предсказуемость.
Пайплайн: исследовать, записать, скомпилировать, воспроизвести, откатиться
Шаг 1: Пишите структурированный трейс, а не лог чата
Транскрипт переписки для компиляции бесполезен. Нужен структурированный трейс каждого вызова инструмента: аргументы, что агент увидел и почему пошел дальше. Я логирую каждый шаг примерно так:
{
"step": 4,
"tool": "browser.click",
"args": {"selector": "button[data-test=export]", "text": "Export"},
"observed_before": {"url": "/reports/sales", "has_text": "Sales report"},
"observed_after": {"download_started": true},
"duration_ms": 820
}
Два поля, которые обычно пропускают, - observed_before и observed_after. Именно из них потом получаются проверки. Без них вы записываете слепые клики, а слепые клики - это ровно те хрупкие макросы, которые все ненавидели еще до появления агентов.
Шаг 2: Вытащите скелет
Возьмите несколько успешных трейсов и сравните их. Шаги, которые есть в каждом прогоне, в том же порядке и с тем же инструментом, - это скелет. Шаги, которые встречаются только иногда, обычно оказываются восстановлением: закрыть баннер с cookies, убрать попап «Что нового», повторить загрузку медленной страницы.
Эти шаги восстановления важны, не выбрасывайте их. Превратите их в опциональные обработчики: «если видно окно с текстом X, нажать закрыть». Именно на этом спотыкается большинство автоматизаций, написанных руками, и именно здесь агент уже провел исследование за вас.
Это извлечение я делаю моделью, один раз, офлайн. Отдаю ей трейсы и прошу список шагов в строгой схеме. Потом проверяю глазами. Ревью занимает минут десять, и это самый дешевый контроль качества во всей системе.
Шаг 3: Параметризуйте
Все, что менялось между прогонами и явно является входными данными, становится параметром: даты, ID аккаунтов, поисковые запросы, имена файлов. А вот если менялось то, что меняться не должно, например селектор, который в понедельник был одним, а в пятницу другим, это тревожный звоночек. Либо на сайте идет A/B-тест, либо агент нашел два пути. Берите более стабильный, второй оставьте как запасной селектор.
Стабильность селекторов здесь решает очень многое. Я ранжирую их примерно так: сначала data-атрибуты и ARIA-роли, потом видимый текст, в самом конце структурные CSS-пути. Никогда не компилируйте XPath вроде div[3]/div[2]/span. Он умрет при следующем деплое фронтенда.
Шаг 4: Закройте каждый шаг проверками
Именно это делает скомпилированный воркфлоу безопасным. У каждого шага есть предусловие и постусловие, взятые из записанных наблюдений. Перед нажатием на «Экспорт» проверяем, что мы на странице отчета по продажам. После нажатия проверяем, что загрузка началась в течение N секунд.
Упрощенный раннер выглядит так:
for step in workflow.steps:
if not check(step.pre, page):
if handler := match_recovery(page, workflow.handlers):
handler.run(page)
if not check(step.pre, page):
raise Drift(step=step.id, reason="precondition failed")
execute(step, page, params)
if not wait_for(step.post, page, timeout=step.timeout):
raise Drift(step=step.id, reason="postcondition failed")
Ключевое решение: раннер никогда не импровизирует. Он либо узнает известное состояние, либо бросает Drift. Это исключение - ваш сигнал, а не баг, который надо тихо проглотить.
Шаг 5: Откат на агента и перекомпиляция
Когда срабатывает Drift, передайте управление агенту с полным контекстом: воркфлоу, упавший шаг, текущее состояние страницы и цель. Агент доделывает задачу в режиме исследования, и бизнес продолжает работать. Его новый трейс уходит в тот же пайплайн, и следующий проход компиляции выдает обновленную версию сценария.
Два правила здесь я держу жестко:
- Агент на откате никогда не правит скомпилированный воркфлоу напрямую. Он выдает трейс. Новую версию утверждает человек или как минимум отдельный шаг ревью. Иначе получится самоизменяющийся скрипт, который постепенно уплывет в бессмыслицу.
- Версионируйте каждый воркфлоу. Когда что-то пошло не так дальше по цепочке, я хочу знать, какая версия отработала и из какого трейса она собрана.
Живой пример
У одного клиента агент каждый день собирал оптовые цены с 14 кабинетов поставщиков. В чисто агентном режиме это стоило ощутимых денег на токенах каждый день, занимало больше часа от начала до конца и выдавало немного разный порядок колонок в зависимости от настроения модели.
Мы неделю гоняли агента, чтобы собрать трейсы, скомпилировали 12 из 14 кабинетов в детерминированные сценарии (часть на Python с Playwright, несколько в виде проектов Browser Automation Studio, потому что команда клиента уже умела работать с BAS), а 2 кабинета оставили на агенте, потому что интерфейс там менялся постоянно.
Результаты через месяц:
- Время выполнения упало с часа с лишним примерно до 9 минут.
- Расходы на модель снизились примерно на 90 процентов, и почти все оставшееся теперь уходит на 2 нестабильных кабинета и на прогоны после отката.
Driftсработал 6 раз. Каждый раз агент доводил прогон до конца, и мы перекомпилировали сценарий. Бизнес ни разу не остался без цен.
Оставшиеся узкие вызовы модели - это задачи вроде «вытащи таблицу цен из этого HTML в эту схему». Маленькие, дешевые, их легко оценивать. Профиль рисков совсем другой, чем у «иди и сделай всю работу».
Что компилировать не надо
Некоторые задачи должны оставаться агентными, и попытка сделать вид, что это не так, просто плодит хрупкие скрипты:
- Задачи, где продукт - это само суждение. Разбор тикетов поддержки, черновики ответов, решение, какому лиду стоит позвонить. Компилировать можно сбор данных вокруг решения, но не само решение.
- Очень нестабильные цели. Если сайт редизайнят каждый месяц, вы потратите на перекомпиляцию больше времени, чем сэкономите.
- Редкие задачи. Если что-то запускается два раза в квартал, агент справится. Компиляция окупается на частоте.
- Все, что имеет необратимые последствия и не имеет четкого постусловия. Если вы не можете проверить успех, безопасно воспроизводить нельзя. Сначала наладьте наблюдаемость.
Метрики, которые я отслеживаю
Когда у вас есть оба режима, считайте их отдельно, иначе потеряете картину:
- Доля успешных воспроизведений по каждой версии воркфлоу. Ниже 95 процентов - значит, скелет собран неправильно или цель слишком нестабильна.
- Частота дрейфа и шаг, на котором он случается. Если один и тот же шаг падает снова и снова, у него слабый селектор или слабая проверка.
- Стоимость откатов в неделю. Это показывает, сколько на самом деле стоит нестабильная часть системы.
- Время до перекомпиляции после дрейфа. Если это занимает дни, узкое место - ваш процесс ревью, а не технологии.
Мое правило
Агенты нужны, чтобы понять, как что-то сделать. Код нужен, чтобы делать это каждый день. Ошибка в том, чтобы относиться к каждому прогону как к открытию. Запишите первые удачные прогоны, скомпилируйте стабильный путь, закройте его проверками на основе реальных наблюдений и держите агента как хорошо оплачиваемого подрядчика на экстренные случаи, а не как сотрудника на полный день. Расходы падают, результат становится предсказуемым, а когда что-то все же меняется, вы узнаете об этом из понятной ошибки Drift, а не из тихо испорченной таблицы.
Вопросы и ответы
Сколько успешных прогонов агента нужно, чтобы компилировать задачу в сценарий?
Я ориентируюсь на 3-5 успешных прогонов с похожей последовательностью шагов. Меньше - и вы не отличите скелет от случайных действий агента. Если после 5 прогонов шаги все еще сильно расходятся, задача пока не готова к компиляции, ее путь не устоялся.
Чем это отличается от обычных записанных макросов?
Макрос записывает слепые клики и ломается при первом изменении интерфейса без внятной ошибки. Скомпилированный воркфлоу содержит пред- и постусловия из реальных наблюдений агента, обработчики восстановления для попапов и баннеров и при любом несовпадении бросает Drift. А дальше не человек чинит скрипт вслепую, а агент доделывает задачу и выдает новый трейс для перекомпиляции.
На чем лучше писать скомпилированные сценарии: Playwright или Browser Automation Studio?
Берите то, что ваша команда уже умеет поддерживать. Playwright на Python удобен, если сценарии живут рядом с остальным кодом, в CI и под версионированием в git. BAS хорош, когда автоматизацию поддерживают люди, привыкшие к визуальному редактору, или нужны его встроенные возможности для работы с профилями и прокси. Подход с трейсами, проверками и откатом на агента одинаково работает в обоих вариантах.
Похожие статьи
Сделаю под ключ
Соберу ИИ-агента под реальную задачу
С инструментами, памятью и логами, чтобы он работал в проде, а не только в демо.
от 70 000 ₽ · 1-2 недели