Оценка видео: парное сравнение, оси, дистилляция в VLM
Майор Брил из Character.ai рассказывает, как оценивать качество сгенерированных видео: от простых метрик к LLM-судьям и дистилляции в маленькую VLM-модель. Ключевые принципы: сравнивать видео попарно, оценивать конкретные оси (сторителлинг, физика), встраивать оценку в цикл генерации и не создавать AI-детектор.
Оценивайте видео сравнением, по реальным осям, встроив eval в цикл генерации — маленькая VLM быстрее и дешевле
Для оператора входа в AI это применимо при создании автоматизированных пайплайнов генерации видео для пользователей: можно внедрить подобную систему оценки качества (маленькая VLM, парное сравнение) для фильтрации слопа и улучшения результатов. Также принцип 'оценка внутри цикла генерации' применим к любым генеративным моделям, не только видео.