разбор · наблюдаемость
3.0
из 10
смотреть не обязательно — забрать выжимку и пункты
оценка машинная и частично зависит от длины ролика — спорите, открывайте оригинал
Агентная наблюдаемость требует текстовых хранилищ и LLM-анализа
How agent o11y differs from traditional o11y — Phil Hetzel, Braintrust
Традиционная наблюдаемость (uptime, метрики, трейсы) не подходит для агентов из-за их недетерминированности, огромных полуструктурированных трейсов и вовлечения нетехнических специалистов. Агентная наблюдаемость требует новых систем, способных обрабатывать текстовые данные и поддерживать совместную работу.
Agent observability differs from traditional by handling non-deterministic, massive traces and involving non-t
что из этого моё
Для оператора входа в AI важно понимать, что агентная наблюдаемость — это не просто мониторинг аптайма, а оценка качества ответов и поведения агента. Можно внедрить практики: собирать трейсы, анализировать их с помощью LLM для выявления проблем, привлекать экспертов для разметки, использовать эвалы для итераций.
Что забрать
отметь, что берёшь в работу → или отбрось как не своёмоё →
настроить сбор трейсов агента в специализированное хранилище с полнотекстовым поиском
применить LLM для кластеризации трейсов и выявления интентов и проблем пользователей
использовать человеческую разметку для создания обучающих данных для автоматических скорингов
о чём говорят, по времени
главы доводят до 12:00 · дальше по ролику меток нет
01
Введение и о Braintrust00:00 ↗
Спикер представляет себя и компанию Braintrust, занимающуюся качеством агентов.
02
Традиционная наблюдаемость02:30 ↗
Объясняется, что традиционная наблюдаемость фокусируется на аптайме и технических метриках.
03
Проблема 1: Недетерминизм05:00 ↗
Агенты недетерминированы, поэтому нужны более широкие метрики.
04
Проблема 2: Сложность трейсов08:00 ↗
Агентные трейсы огромны и содержат много текста, что требует новых систем.
05
Проблема 3: Разные пользователи12:00 ↗
В агентную наблюдаемость вовлечены не только инженеры, но и эксперты предметной области.