разбор · агентытема-фронтир · H 1.50
4.0
из 10
смотреть не обязательно — забрать выжимку и пункты
оценка машинная и частично зависит от длины ролика — спорите, открывайте оригинал
Симуляции сокращают цикл разработки агентов с недель до часов
SimulationMaxxing: How we ship agents 20× faster — Aman Gupta (Nubank) + Shreya Rajpal (Snowglobe)
Nubank использует симуляции для генерации eval-данных, что сокращает цикл разработки агентов с недель до часов, ускоряя релизы в 20 раз. Симуляции позволяют тестировать агентов без ожидания продакшн-данных, повышая качество и снижая риски.
Симуляции заменяют прод-данные, сокращая релиз агентов с недель до часов, при высокой корреляции с реальностью
что из этого моё
Применимо напрямую: для оркестрации агентов можно внедрить симуляцию пользовательских сценариев, чтобы быстро тестировать изменения в промптах, инструментах и моделях без ожидания реальных данных. Это ускорит итерации и повысит качество агентов, особенно при выборе моделей и настройке автоматизации.
Что забрать
отметь, что берёшь в работу → или отбрось как не своёмоё →
создать скрипт генерации синтетических eval-данных для сценариев разбора видео
настроить конвейер симуляция -> eval -> оптимизация -> релиз для агента разбора
сравнить метрики агента на синтетических и реальных данных
о чём говорят, по времени
главы доводят до 10:00 · дальше по ролику меток нет
01
Введение и результаты00:00 ↗
Спикеры представляют тему и показывают улучшение TNPS агентов Nubank.
02
Почему eval — узкое место02:30 ↗
Объясняется, что метрики решаемы, но данные для eval — главная проблема.
03
Как симуляции ускоряют цикл05:00 ↗
Симуляции позволяют сократить время релиза с недель до часов.
04
Механика симуляции07:00 ↗
Описание того, как Snowglobe генерирует синтетические данные и запускает симуляции.
05
Результаты и выводы10:00 ↗
Симуляции коррелируют с продакшеном, помогают ловить регрессии и улучшать метрики.