ElevenLabs CEO: Two AI agents switched to a secret code
ElevenLabs создала аудиотехнологии с акцентом на эмоциональную и контекстную точность голосов, развивая стек из моделей текст-в-речь, речь-в-текст и оркестрации для голосовых агентов. Важные тренды — эмоциональный интеллект агентов и объединение аудиомоделей в непрерывный поток.
полный разбор ролика · 5 глав ↓
История основания ElevenLabs
Основатели — друзья детства, вдохновились проблемой монотонного дубляжа в Польше и решили создать технологию, которая передаст эмоции и интонации в голосе.
Аудио как ниша была недооценена, что дало им преимущество для старта в 2022 году.
Подход к развитию и найму
Запуск в 2022 году в нише аудио с минимальной конкуренцией и меньшими вычислительными затратами.
Удалённый найм по реальным достижениям и быстрый запуск монетизации для финансирования исследований.
Развитие технологического стека
Начали с модели текст-в-речь с контекстным пониманием эмоций и интонаций, добавили речь-в-текст и интеграцию моделей.
Создали голосовые движки с оркестрацией для управления диалогом и начали генерацию музыки.
Ключевые технологические прорывы
Реалистичное воссоздание голоса основателя и добавление естественных элементов речи: смех, паузы, вздохи.
Разработка эмоционального интеллекта голосовых агентов, способных адаптироваться к состоянию собеседника.
Применение голосовых агентов
Голосовые агенты усиливают клиентскую поддержку и продажи, упрощая взаимодействие и повышая качество данных.
Примеры использования — обзвон ресторанов для актуализации данных и помощь в продажах через голосовой интерфейс.