разбор · агентытема-фронтир · H 1.51
7.0
из 10
смотреть по главам — взять две-три нужные минуты
оценка машинная и частично зависит от длины ролика — спорите, открывайте оригинал
Воспроизводимость сбоев агентов: запись трасс на границах узлов
Your Agent Failed in Prod. Good Luck Reproducing It. - Tisha Chawla & Susheem Koul, Microsoft
Проблема воспроизводимости сбоев AI-агентов в проде: температура 0 не гарантирует детерминизм, нужно записывать границы узлов и использовать трассы для реплея и тестирования. Инструмент Chronicle от Microsoft демонстрирует подход.
Не детерминизм, а воспроизводимость: записывай границы узлов, используй трассы для тестов и дебага.
что из этого моё
Подход с записью трасс на границах узлов и реплеем можно внедрить в оркестрацию агентов: добавить аннотации к вызовам LLM/инструментов, сохранять входы/выходы и метаданные, затем использовать эти трассы для регрессионного тестирования и отладки инцидентов. Это повысит надёжность автоматизаций и ускорит поиск причин сбоев.
Что забрать
отметь, что берёшь в работу → или отбрось как не своёмоё →
добавить аннотации к вызовам LLM и инструментов в конвейере разборов для записи входов, выходов и метаданных
сохранять трассы на границах узлов (LLM, инструменты, RAG) в JSON-файлы для последующего реплея
настроить реплей трасс: стабить неизменённые узлы, запускать изменённый узел вживую и проверять ассертами
о чём говорят, по времени
главы доводят до 09:30 · дальше по ролику меток нет
01
Проблема воспроизводимости00:00 ↗
Пример сбоя агента и невозможность воспроизвести ошибку
02
Миф о температуре 002:30 ↗
Почему температура 0 не делает модель детерминированной
03
Реплейабельность вместо детерминизма05:00 ↗
Нужно записывать и воспроизводить состояние, а не выходы
04
Chronicle: реализация07:00 ↗
Инструмент для записи трасс и реплея
05
Итоги и рекомендации09:30 ↗
Пять ключевых выводов для продакшена