Перейти к содержимому
PD
EN RU
AI-автоматизация 7 мин чтения

Запусти агента один раз и скомпилируй: как превратить прогоны AI-агента в детерминированные воркфлоу

Большинство задач агента повторяются изо дня в день, а мы каждый раз платим модели за то, чтобы она заново нашла ту же кнопку. Рассказываю, как я записываю успешный прогон агента, компилирую его в детерминированный сценарий и зову агента обратно только тогда, когда сценарий ломается.

PD

Pavel Duglas

AI Automation & MVP Architect

Большинство AI-агентов, которые я вижу в проде, каждый день делают одно и то же. Заходят в один и тот же кабинет поставщика, ставят те же фильтры, выгружают тот же отчет и кладут его в ту же таблицу. И каждый раз модель с нуля рассуждает, где находится кнопка. Вы платите по тарифу топовой модели за решение, которое было принято еще вчера. Поэтому мой подход по умолчанию другой: пусть агент один раз разберется с задачей, потом я компилирую этот прогон в скучный детерминированный сценарий, а агента бужу только тогда, когда сценарий сломался.

Вы платите за рассуждения, которые уже были

Агент отлично справляется с исследованием. Он разберется со страницей, которую видит впервые, закроет странный модальный диалог, догадается, что «Экспорт» спрятан под тремя точками. В первый раз это действительно ценно.

В десятый раз это просто расход. И дело не только в деньгах. Каждый новый проход рассуждений - это новый шанс сделать что-то иначе. Сегодня агент выбирает экспорт в CSV, завтра в XLSX, потому что после обновления модели у нее сместились предпочтения. Сегодня он укладывается в 40 секунд, завтра думает 4 минуты, потому что решил перепроверить каждую строку. Пайплайну, который стоит дальше, креатив не нужен. Ему нужна одна и та же структура данных в одно и то же время.

Поэтому я делю работу на два режима:

  • Режим исследования - агент с инструментами решает новую или изменившуюся задачу.
  • Режим воспроизведения - детерминированный скрипт выполняет известные шаги, без модели в цикле или только с маленькими узкими вызовами модели для извлечения данных.

Самая интересная инженерия - это мост между ними.

Когда задачу пора компилировать

Не каждую задачу агента стоит превращать в скрипт. Перед компиляцией я смотрю на такие признаки:

  1. Задача успешно отработала хотя бы 3-5 раз с похожей последовательностью шагов. Если каждый прогон выглядит по-своему, у вас еще не воркфлоу, а исследование.
  2. Меняются входные данные, но не путь. Другой период, те же клики. Другой ID клиента, те же вызовы API.
  3. У результата фиксированная схема. Таблица, JSON-объект, файл в известном формате.
  4. Ошибку можно обнаружить. По результату понятно, сработало или нет, без человека, который щурится на экран.

Если задача проходит по всем четырем пунктам, держать ее на чистом агенте - значит сознательно платить больше за меньшую предсказуемость.

Пайплайн: исследовать, записать, скомпилировать, воспроизвести, откатиться

Шаг 1: Пишите структурированный трейс, а не лог чата

Транскрипт переписки для компиляции бесполезен. Нужен структурированный трейс каждого вызова инструмента: аргументы, что агент увидел и почему пошел дальше. Я логирую каждый шаг примерно так:

{
  "step": 4,
  "tool": "browser.click",
  "args": {"selector": "button[data-test=export]", "text": "Export"},
  "observed_before": {"url": "/reports/sales", "has_text": "Sales report"},
  "observed_after": {"download_started": true},
  "duration_ms": 820
}

Два поля, которые обычно пропускают, - observed_before и observed_after. Именно из них потом получаются проверки. Без них вы записываете слепые клики, а слепые клики - это ровно те хрупкие макросы, которые все ненавидели еще до появления агентов.

Шаг 2: Вытащите скелет

Возьмите несколько успешных трейсов и сравните их. Шаги, которые есть в каждом прогоне, в том же порядке и с тем же инструментом, - это скелет. Шаги, которые встречаются только иногда, обычно оказываются восстановлением: закрыть баннер с cookies, убрать попап «Что нового», повторить загрузку медленной страницы.

Эти шаги восстановления важны, не выбрасывайте их. Превратите их в опциональные обработчики: «если видно окно с текстом X, нажать закрыть». Именно на этом спотыкается большинство автоматизаций, написанных руками, и именно здесь агент уже провел исследование за вас.

Это извлечение я делаю моделью, один раз, офлайн. Отдаю ей трейсы и прошу список шагов в строгой схеме. Потом проверяю глазами. Ревью занимает минут десять, и это самый дешевый контроль качества во всей системе.

Шаг 3: Параметризуйте

Все, что менялось между прогонами и явно является входными данными, становится параметром: даты, ID аккаунтов, поисковые запросы, имена файлов. А вот если менялось то, что меняться не должно, например селектор, который в понедельник был одним, а в пятницу другим, это тревожный звоночек. Либо на сайте идет A/B-тест, либо агент нашел два пути. Берите более стабильный, второй оставьте как запасной селектор.

Стабильность селекторов здесь решает очень многое. Я ранжирую их примерно так: сначала data-атрибуты и ARIA-роли, потом видимый текст, в самом конце структурные CSS-пути. Никогда не компилируйте XPath вроде div[3]/div[2]/span. Он умрет при следующем деплое фронтенда.

Шаг 4: Закройте каждый шаг проверками

Именно это делает скомпилированный воркфлоу безопасным. У каждого шага есть предусловие и постусловие, взятые из записанных наблюдений. Перед нажатием на «Экспорт» проверяем, что мы на странице отчета по продажам. После нажатия проверяем, что загрузка началась в течение N секунд.

Упрощенный раннер выглядит так:

for step in workflow.steps:
    if not check(step.pre, page):
        if handler := match_recovery(page, workflow.handlers):
            handler.run(page)
        if not check(step.pre, page):
            raise Drift(step=step.id, reason="precondition failed")
    execute(step, page, params)
    if not wait_for(step.post, page, timeout=step.timeout):
        raise Drift(step=step.id, reason="postcondition failed")

Ключевое решение: раннер никогда не импровизирует. Он либо узнает известное состояние, либо бросает Drift. Это исключение - ваш сигнал, а не баг, который надо тихо проглотить.

Шаг 5: Откат на агента и перекомпиляция

Когда срабатывает Drift, передайте управление агенту с полным контекстом: воркфлоу, упавший шаг, текущее состояние страницы и цель. Агент доделывает задачу в режиме исследования, и бизнес продолжает работать. Его новый трейс уходит в тот же пайплайн, и следующий проход компиляции выдает обновленную версию сценария.

Два правила здесь я держу жестко:

  • Агент на откате никогда не правит скомпилированный воркфлоу напрямую. Он выдает трейс. Новую версию утверждает человек или как минимум отдельный шаг ревью. Иначе получится самоизменяющийся скрипт, который постепенно уплывет в бессмыслицу.
  • Версионируйте каждый воркфлоу. Когда что-то пошло не так дальше по цепочке, я хочу знать, какая версия отработала и из какого трейса она собрана.

Живой пример

У одного клиента агент каждый день собирал оптовые цены с 14 кабинетов поставщиков. В чисто агентном режиме это стоило ощутимых денег на токенах каждый день, занимало больше часа от начала до конца и выдавало немного разный порядок колонок в зависимости от настроения модели.

Мы неделю гоняли агента, чтобы собрать трейсы, скомпилировали 12 из 14 кабинетов в детерминированные сценарии (часть на Python с Playwright, несколько в виде проектов Browser Automation Studio, потому что команда клиента уже умела работать с BAS), а 2 кабинета оставили на агенте, потому что интерфейс там менялся постоянно.

Результаты через месяц:

  • Время выполнения упало с часа с лишним примерно до 9 минут.
  • Расходы на модель снизились примерно на 90 процентов, и почти все оставшееся теперь уходит на 2 нестабильных кабинета и на прогоны после отката.
  • Drift сработал 6 раз. Каждый раз агент доводил прогон до конца, и мы перекомпилировали сценарий. Бизнес ни разу не остался без цен.

Оставшиеся узкие вызовы модели - это задачи вроде «вытащи таблицу цен из этого HTML в эту схему». Маленькие, дешевые, их легко оценивать. Профиль рисков совсем другой, чем у «иди и сделай всю работу».

Что компилировать не надо

Некоторые задачи должны оставаться агентными, и попытка сделать вид, что это не так, просто плодит хрупкие скрипты:

  • Задачи, где продукт - это само суждение. Разбор тикетов поддержки, черновики ответов, решение, какому лиду стоит позвонить. Компилировать можно сбор данных вокруг решения, но не само решение.
  • Очень нестабильные цели. Если сайт редизайнят каждый месяц, вы потратите на перекомпиляцию больше времени, чем сэкономите.
  • Редкие задачи. Если что-то запускается два раза в квартал, агент справится. Компиляция окупается на частоте.
  • Все, что имеет необратимые последствия и не имеет четкого постусловия. Если вы не можете проверить успех, безопасно воспроизводить нельзя. Сначала наладьте наблюдаемость.

Метрики, которые я отслеживаю

Когда у вас есть оба режима, считайте их отдельно, иначе потеряете картину:

  • Доля успешных воспроизведений по каждой версии воркфлоу. Ниже 95 процентов - значит, скелет собран неправильно или цель слишком нестабильна.
  • Частота дрейфа и шаг, на котором он случается. Если один и тот же шаг падает снова и снова, у него слабый селектор или слабая проверка.
  • Стоимость откатов в неделю. Это показывает, сколько на самом деле стоит нестабильная часть системы.
  • Время до перекомпиляции после дрейфа. Если это занимает дни, узкое место - ваш процесс ревью, а не технологии.

Мое правило

Агенты нужны, чтобы понять, как что-то сделать. Код нужен, чтобы делать это каждый день. Ошибка в том, чтобы относиться к каждому прогону как к открытию. Запишите первые удачные прогоны, скомпилируйте стабильный путь, закройте его проверками на основе реальных наблюдений и держите агента как хорошо оплачиваемого подрядчика на экстренные случаи, а не как сотрудника на полный день. Расходы падают, результат становится предсказуемым, а когда что-то все же меняется, вы узнаете об этом из понятной ошибки Drift, а не из тихо испорченной таблицы.

Вопросы и ответы

Сколько успешных прогонов агента нужно, чтобы компилировать задачу в сценарий?

Я ориентируюсь на 3-5 успешных прогонов с похожей последовательностью шагов. Меньше - и вы не отличите скелет от случайных действий агента. Если после 5 прогонов шаги все еще сильно расходятся, задача пока не готова к компиляции, ее путь не устоялся.

Чем это отличается от обычных записанных макросов?

Макрос записывает слепые клики и ломается при первом изменении интерфейса без внятной ошибки. Скомпилированный воркфлоу содержит пред- и постусловия из реальных наблюдений агента, обработчики восстановления для попапов и баннеров и при любом несовпадении бросает Drift. А дальше не человек чинит скрипт вслепую, а агент доделывает задачу и выдает новый трейс для перекомпиляции.

На чем лучше писать скомпилированные сценарии: Playwright или Browser Automation Studio?

Берите то, что ваша команда уже умеет поддерживать. Playwright на Python удобен, если сценарии живут рядом с остальным кодом, в CI и под версионированием в git. BAS хорош, когда автоматизацию поддерживают люди, привыкшие к визуальному редактору, или нужны его встроенные возможности для работы с профилями и прокси. Подход с трейсами, проверками и откатом на агента одинаково работает в обоих вариантах.

Похожие статьи

  • #AI Agents
  • #Workflow Automation
  • #Cost Optimization
  • #Reliability
  • #Browser Automation

Есть идея? Давайте превратим её в работающий продукт.

Получите понятную архитектуру, рабочий MVP и систему, которую можно тестировать, продавать и масштабировать.

Или оставьте заявку здесь

Заявка приходит мне в Telegram. Обычно отвечаю в течение нескольких часов.