Модель понерфили? Соберите поведенческую канарейку вместо гаданий
Провайдер LLM может поменять поведение модели без смены версии. Рассказываю, как я ловлю дрейф модели по данным, а не по веткам на форумах.
Pavel Duglas
AI Automation & MVP Architect
Раз в пару недель кто-нибудь пишет, что любимая модель за ночь поглупела. Половина комментаторов соглашается, половина говорит, что это самовнушение, и цифр нет ни у кого. Я давно не участвую в этих спорах, потому что для моих клиентов это не философский вопрос. Если классификатор лидов во вторник начал отдавать битый JSON, мне нужно узнать об этом во вторник, а не в пятницу от отдела продаж. Поэтому у меня крутится поведенческая канарейка: маленькая и скучная система, которая по данным говорит, ведет ли себя модель так же, как неделю назад.
Почему поведение меняется, хотя вы ничего не трогали
Когда вы ходите в облачную модель по API, вы арендуете движущуюся цель. Ваш код может не меняться месяц, а то, что стоит по ту сторону API, за это время успеет поменяться несколько раз. Причины, которые я реально встречал:
- Алиасы переезжают. Если вы вызываете что-то вроде “latest” или просто имя семейства без датированного снапшота, провайдер может перенаправить его на новый чекпоинт. Новее не значит лучше для вашей конкретной задачи.
- Меняется инференс. Провайдеры постоянно крутят инфраструктуру: батчинг, квантизацию, железо, маршрутизацию между кластерами. Почти все это незаметно. Но что-то сдвигает ответы на краях распределения.
- Донастройка безопасности. Модель, которая спокойно суммаризировала медицинские анкеты, вдруг начинает добавлять дисклеймеры или отказываться на пограничных кейсах.
- Меняются дефолты. Max tokens, reasoning effort, поведение tool calling. Если вы не задали параметры явно, их значения могут поменяться без вас.
- Ваша собственная сторона. Обновили библиотеку, и SDK иначе собирает сообщения. Кто-то поправил общий system prompt. Пересобрали индекс для RAG. Это самые частые причины и самые неловкие.
Смысл не в том, чтобы обвинить провайдера. Смысл в том, что у фразы «у меня работало, когда я тестировал» есть срок годности, и нужен сигнал, который скажет, когда он истек.
Что такое поведенческая канарейка
Канарейка - это фиксированный набор входов, который вы по расписанию прогоняете через продакшен-конфигурацию модели, оцениваете детерминированными проверками и сравниваете с сохраненной базовой линией. Все. Никакого LLM-as-judge на критическом пути, никаких дашбордов на 40 графиков. Она отвечает на один вопрос: сдвинулось ли поведение на известных входах сильнее, чем обычный шум?
Это не то же самое, что эвалы перед релизом. Эвал спрашивает: «достаточно ли хороша новая сборка, чтобы ее выкатывать». Канарейка спрашивает: «то, что я уже выкатил, все еще то, что я выкатывал». Кейсы можно использовать одни и те же, но канарейка работает всегда, на продакшен-настройках, по таймеру.
Шаг 1: собираем набор из реального трафика
Не придумывайте тестовые промпты из головы. Возьмите из продакшен-логов 30-80 реальных входов, обезличьте их и отберите осознанно:
- 60% типичных кейсов, которые отражают основной поток
- 25% пограничных кейсов, которые уже когда-то что-то ломали
- 15% провокационных или неоднозначных входов, где правильный ответ - отказ, флаг «нужна ручная проверка» или пустой результат
Для каждого входа сохраните ожидаемый ответ или, что реалистичнее, ожидаемые свойства ответа. Для классификатора лидов это нужная категория и обязательные поля JSON. Для пайплайна извлечения данных это точные значения 3-5 ключевых полей. Для суммаризатора это «не больше 120 слов, есть номер счета, нет выдуманных дат».
Заморозьте набор. Храните его в репозитории под версией. Добавляете новые кейсы - поднимаете версию и пересчитываете базовую линию, иначе прогоны станет не с чем сравнивать.
Шаг 2: оцениваем кодом, а не ощущениями
Каждая проверка должна быть функцией, которая возвращает число или булево значение. Вот что я ставлю почти на каждом проекте:
- Доля валидных ответов по схеме. Парсится ли ответ и проходит ли он схему Zod или Pydantic? Эта метрика ломается первой, и пропустить ее дороже всего.
- Точность полей. Точное совпадение по важным полям после нормализации: нижний регистр, обрезка пробелов, даты в ISO.
- Доля отказов и уклончивых ответов. Простой список регулярок на фразы, которых в вашем пайплайне быть не должно, плюс явное детектирование отказов.
- Распределение длины ответа. Медиана и p90 по токенам. Резкий рост длины на 40% часто первый видимый признак смены чекпоинта, даже когда точность держится.
- Задержка и стоимость. p50 и p95 по latency, входные и выходные токены на вызов. Дрейф стоимости - тоже дрейф.
- Форма вызовов инструментов. Для агентов: вызван ли нужный инструмент, валидны ли аргументы, уложился ли агент в разумное число шагов.
Ядро цикла оценки, без лишнего:
def run_canary(cases, call_model, schema):
results = []
for case in cases:
started = time.monotonic()
raw, meta = call_model(case["input"])
latency = time.monotonic() - started
parsed, valid = try_parse(raw, schema)
results.append({
"case_id": case["id"],
"valid": valid,
"correct": valid and match_fields(parsed, case["expect"]),
"refused": looks_like_refusal(raw),
"out_tokens": meta["output_tokens"],
"latency": latency,
"model_id": meta["model"],
"fingerprint": meta.get("system_fingerprint"),
})
return aggregate(results)
Обратите внимание на два последних поля. Всегда пишите тот идентификатор модели и fingerprint, которые API вернул в ответе, а не только то, что вы запросили. Когда появится дрейф, первым делом вы захотите понять, сменилась ли модель, которая реально отвечала.
Шаг 3: запускаем по расписанию на продакшен-настройках
Канарейка должна использовать ровно ту конфигурацию, что и прод: та же строка модели, та же температура, те же слои system prompt, те же инструменты, та же версия SDK. Я запускаю ее отдельной задачей на тех же воркерах, что и основной пайплайн, чтобы она шла по тому же коду. Если у канарейки свой путь в коде, она тестирует другую систему.
Частота зависит от ставок. Для большинства клиентских пайплайнов хватает раза в 6 часов. Для всего, что смотрит на клиента и идет с объемом, раз в час. При 50 кейсах на модели среднего уровня ежечасная канарейка стоит несколько долларов в месяц. Это самая дешевая страховка во всем стеке.
Если температура не нулевая, гоняйте каждый кейс дважды. Расхождение между двумя прогонами само по себе полезная метрика: если самосогласованность упала, что-то поменялось.
Шаг 4: сравниваем с базовой линией, а не с идеалом
Канарейка никогда не покажет 100%, и не должна. Важно движение. Сразу после запуска прогоните ее 10-20 раз за пару дней и сохраните распределение по каждой метрике. Это и есть базовая линия вместе с естественным шумом.
Дальше пороги алертов считаются относительно нее. Мои значения по умолчанию:
- Валидность по схеме упала больше чем на 2 пункта ниже базы: алерт сразу
- Точность полей упала больше чем на 5 пунктов два прогона подряд: алерт
- Медианная длина ответа сдвинулась больше чем на 30% в любую сторону: предупреждение
- Доля отказов на обычных кейсах выше нуля: алерт
- Сменился возвращаемый ID модели или fingerprint: информационное сообщение плюс отметка на всех графиках дальше
Два прогона подряд - это важно. Одиночные провалы обычно шум или временные проблемы у провайдера. Два подряд уже закономерность.
Пассивные сигналы: вторая половина канарейки
Канарейка проверяет известные входы. Прод видит неизвестные. Поэтому я параллельно слежу за несколькими дешевыми метриками прямо на живом трафике, без всякой разметки:
- Доля ошибок парсинга и ретраев в час
- Доля элементов, ушедших на ручную проверку
- Распределение длины ответов на живых вызовах
- Доля отказов на стороне потребителя, например ошибки API CRM из-за кривых полей
Если канарейка зеленая, а ретраи на живом трафике выросли вдвое, скорее всего с моделью все в порядке, а поменялись входные данные: новый источник трафика, парсер, который начал тащить мусор, клиент с новым форматом документов. Если двигается и то и другое, дело в модели или в вашем конфиге. Одно это разделение экономит часы отладки.
Канарейка сработала: порядок действий
Алерт без плана только добавляет тревоги. Я иду в таком порядке:
- Сначала свои изменения. Сравните деплои, слои промптов, версии SDK и индексы с момента последнего зеленого прогона. По моему опыту, так объясняется больше половины инцидентов.
- Проверьте возвращаемый ID модели и fingerprint. Если они сменились, ответ найден.
- Перезапустите упавшие кейсы вручную и прочитайте ответы глазами. Цифры говорят, что что-то сдвинулось. Как именно, видно только при чтении.
- Зафиксируйте версию или переключитесь. Если вы сидели на алиасе, закрепите датированный снапшот, который совпадал с базовой линией. Если у вас уже есть роутер моделей, переведите трафик по пострадавшей задаче на запасную модель и убедитесь по канарейке, что она зеленая.
- Если нужно, адаптируйтесь. Иногда новое поведение остается навсегда, и под него приходится подстраиваться: ужесточить инструкции по формату, добавить пару few-shot примеров, поставить шаг починки ответа. Потом осознанно пересчитайте базовую линию и запишите, почему.
Ключевой шаг здесь четвертый. Быстро переключиться можно, только если запасной вариант подготовлен до инцидента. Держите для каждой критичной задачи хотя бы одну альтернативную модель, которая уже проходит вашу канарейку, даже если вы ей не пользуетесь. Я ежедневно гоняю канарейку и по запасной модели ровно по этой причине.
Как это выглядит на реальном проекте
У одного клиента пайплайн раскладывает входящие B2B-лиды по восьми категориям и вытаскивает в CRM размер компании и бюджет. После обычной недели канарейка показала рост медианной длины ответа на 45%, при этом точность не изменилась. Ничего еще не сломалось. Через два дня валидность по схеме упала с 99% до 94%: в более длинных ответах перед JSON иногда появлялось поясняющее предложение. Канарейка дала нам фору в два дня. Мы закрепили снапшот, добавили более жесткую инструкцию по формату, проверили на канарейке, а на новую версию позже перешли уже осознанно. В отделе продаж никто ничего не заметил.
В этом и вся ценность: вы перестаете спорить, понерфили модель или нет, и начинаете заранее знать, делает ли ваша система свою работу.
С чего начать сегодня
Платформа для этого не нужна. Возьмите самую важную LLM-задачу, достаньте 30 реальных входов, напишите три функции оценки (валидность по схеме, правильность ключевых полей, длина), запускайте раз в шесть часов через cron и шлите результаты в Telegram-канал. Это работа на полдня. Через неделю накопится база, тогда добавьте пороги. Все остальное - доводка.
Вопросы и ответы
Можно ли использовать LLM-as-judge для оценки в канарейке?
На критическом пути я этого не делаю. Судья сам является моделью, которая может дрейфовать, и тогда вы не поймете, что поменялось: оцениваемая модель или оценщик. Для канарейки нужны детерминированные проверки: схема, точные поля, длина, отказы. Судью можно подключить как вспомогательный сигнал для текстовых задач, но алерты на нем строить не стоит.
Сколько кейсов нужно и во сколько это обходится?
Для старта хватает 30-50 реальных кейсов по одной задаче. При запуске раз в час на модели среднего уровня это несколько долларов в месяц. Больше 80-100 кейсов обычно не нужно: канарейка ищет сдвиг поведения, а не измеряет качество с точностью до процента. Для полноценной оценки качества держите отдельный, более крупный набор эвалов.
Если я закрепил датированный снапшот модели, канарейка все равно нужна?
Да. Снапшот защищает от переезда алиаса, но не от изменений инференса на стороне провайдера, смены дефолтных параметров, обновления SDK, правок промпта и пересборки индекса у вас. Кроме того, снапшоты рано или поздно выводят из эксплуатации, и канарейка понадобится, чтобы спокойно проверить миграцию на новую версию и вовремя подготовить запасную модель.
Похожие статьи
Сделаю под ключ
Соберу ИИ-агента под реальную задачу
С инструментами, памятью и логами, чтобы он работал в проде, а не только в демо.
от 70 000 ₽ · 1-2 недели