Транскрипция встреч с перекрывающимися спикерами и идентификацией говорящих остаётся сложной задачей. Модель Chorus Pro превосходит Gemini при большом числе участников и длинных аудиозаписях, обеспечивая точные таймкоды и распознавание перекрытий.
State of the Art Meeting Transcription with Overlapping Speakers and Speaker-Identification
наведи и нажми на цифру — раскроется глава
полный разбор ролика · 5 глав ↓
Проблема транскрипции
Транскрипция встреч с несколькими говорящими осложнена перекрывающейся речью и необходимостью сохранять идентичность спикеров на протяжении длительного времени.
Представлены две модели — универсальная Gemini Pro 3.1 и специализированная Chorus Pro, ориентированная на многоспикерные аудио.
Метрики оценки
CP WER — метрика, учитывающая правильное сопоставление речи разным спикерам, что важно при многоспикерных аудиозаписях.
Chorus Pro и Gemini сравниваются по этой метрике на двух тестовых наборах AMI и ICSI с разным числом участников.
Сравнение моделей
Gemini хорошо работает с до четырёх спикерами, но теряет качество и корректность при большем числе.
Chorus Pro превосходит Gemini на ICSI (до 8 спикеров), сохраняя точность и корректные таймкоды, несмотря на меньший размер модели.
Примеры транскрипций
Chorus Pro лучше фиксирует перекрытия и аудио, отсутствующее в эталонных транскриптах, что может влиять на оценку.
Gemini иногда не распознаёт перекрытия и даёт некорректные таймкоды, особенно на длинных записях и с большим числом спикеров.
Доступ и применение
Chorus Pro доступен через API и веб-интерфейс с поддержкой загрузки файлов и вывода в форматах с таймкодами (VTT, SRT).
Модель ориентирована на английский, но ведётся работа по расширению языков и корпоративным кастомизациям.