Voxtral превосходит Whisper в многоязычной транскрипции
Voxtral — мощные open source модели для многоязычной транскрипции, с версиями для пакетной и реального времени. Они превосходят Whisper в мульти-языке и поддерживаются vLLM для масштабируемого инференса. Fine-tuning возможен через Transformers и Trelis Studio.
Voxtral — лучший открытый ASR для многоязычности, но для устройств нужен Whisper или Moonshine.
На своих русских транскриптах проверить Voxtral вместо Whisper: в ролике прямо сказано, что Whisper сильнее на английском, а на остальных языках выигрывает Voxtral, и разрыв замерен на мультиязычном наборе FLEURS. Ограничение названо там же: Voxtral Mini вдвое больше Whisper Large Turbo и требует тридцатисекундных чанков с добиванием тишиной, так что на слабой машине выигрыш в точности съест время.