разбор · observability
7.0
из 10
смотреть по главам — взять две-три нужные минуты
оценка машинная и частично зависит от длины ролика — спорите, открывайте оригинал
Агентная наблюдаемость: мониторинг сигналов и самодиагностика
Everything You Need To Know About Agent Observability — Danny Gollapalli & Zubin Koticha, Raindrop
Агентная наблюдаемость выходит за рамки eval: нужны мониторинг в проде и два типа сигналов — явные (ошибки, задержки) и неявные (семантические классификаторы, regex, самодиагностика). Практические приёмы: использовать regex-сигналы для отслеживания фрустрации, обучать лёгкие классификаторы вместо LLM на каждом шаге, внедрять самодиагностику через простой tool и системный промпт.
Наблюдаемость агентов — это мониторинг семантических сигналов (regex, классификаторы, самодиагностика) для быс
что из этого моё
Применимо напрямую: внедрить мониторинг сигналов (regex, классификаторы) для агентов, использовать самодиагностику через tool, настраивать эксперименты с A/B по сигналам. Это повысит надёжность оркестрации и автоматизации.
Что забрать
отметь, что берёшь в работу → или отбрось как не своёмоё →
добавить в конвейер разборов regex-сигналы для отслеживания фрустрации пользователей
внедрить tool 'report' в системный промпт агента для самодиагностики проблем
настроить A/B-эксперимент: раскатывать изменения на часть пользователей и сравнивать частоту сигналов
о чём говорят, по времени
главы доводят до 35:00 · дальше по ролику меток нет
01
Введение и проблема00:00 ↗
Агентные сбои недетерминированы, нужен мониторинг, а не только eval.
02
Типы сигналов03:30 ↗
Явные (ошибки, задержки) и неявные (regex, классификаторы, самодиагностика).
03
Эксперименты и alerting10:00 ↗
Использование сигналов для A/B-тестов и алертов.
04
Самодиагностика20:00 ↗
Агент сам сообщает о проблемах через tool.
05
Кейсы и вопросы35:00 ↗
Примеры использования: поиск интентов, кластеризация проблем, экспорт данных.