Внедрить парное сравнение (A/B) ответов моделей в конвейер оценки

«росток» · 2 карт. · 2 голос.(-а/-ов) корпуса · в пределах одного дня

2 карточек корпуса (2 голос.(-а/-ов) с учётом повторов внутри карточки) независимо друг от друга подошли к одному и тому же действию, срок не определён — не у всех источников есть дата.

Как формулировали

• встроить парное сравнение A/B в конвейер оценки сгенерированных видео
• внедрить парные сравнения ответов моделей в конвейер разборов

Источники

• LMSys Chatbot Arena: краудсорсинг парных сравнений вместо бенчмарков · частично
• Оценка видео: парное сравнение, оси, дистилляция в VLM · частично

Соседние темы

• Настроить роутер или классификатор для выбора модели по сложности запроса — 1 общих карточек, 5 общих тега(ов)
• Выносить настраиваемый параметр или правило в конфиг конвейера, а не хардкодить — 5 общих тега(ов)
• Настроить автоматическую оценку ответов агента: LLM-судью или эталонный набор вместо ручной проверки — 4 общих тега(ов)
• Настроить трассировку и логирование вызовов агента и токенов — 3 общих тега(ов)
• Разделить планирование и исполнение на два отдельных промпта или агента — 3 общих тега(ов)