Закрытый цикл эвалов для мультимодального агента Uber Eats
Uber Eats строит мультимодального агента для улучшения фото блюд, используя закрытый цикл: роутер, редактор, QA, логирование и автодонастройка через диагностера. Ключевое — эвалы на каждом этапе, человеческие метки как золотой стандарт, и автоматическая перенастройка агентов на основе обратной связи.
Мультимодальный агент улучшения фото в Uber Eats: роутер, редактор, QA, автотюнинг через диагнозера и нескольк
Можно применить для оркестрации агентов: строить закрытый цикл с логированием, автотюнингом и эвалами на каждом шаге. Особенно ценен подход с диагностером, который автоматически перенастраивает агентов на основе обратной связи — это снижает ручную работу. Также полезны метрики precision/recall для роутинга и pass@k для итеративных агентов.