LMArena создала платформу для оценки моделей ИИ на реальных пользовательских данных с масштабом и разнообразием, что отличает её от классических бенчмарков. Основная задача — обеспечить объективную, органичную обратную связь и масштабируемость через коммерческую компанию.
[State of Evals] LMArena's $1.7B Vision — Anastasios Angelopoulos, LMArena
полный разбор ролика · 5 глав ↓
Начало и бренд
LMArena сохранила приставку LM, чтобы подчеркнуть связь с языковыми моделями и Berkeley, где проект зародился.
Бренд Arena выбран для расширения и закрепления на рынке как первая платформа такого рода.
Ранние инвестиции и старт
Инвестор An поддержал проект на ранних этапах, предоставив гранты и ресурсы без жёстких обязательств.
Это позволило команде развиваться и принять решение о коммерциализации для масштабирования.
Причина создания компании
Для масштабирования и достижения качества платформы потребовалась компания с ресурсами и распределением.
Альтернативы (академия, некоммерческая организация) не обеспечивали нужных возможностей.
Использование инвестиций и масштаб
Большая часть бюджета уходит на оплату инференса моделей по рыночным ставкам без существенных скидок.
Платформа обслуживает десятки миллионов разговоров в месяц с разнообразной аудиторией, включая профессионалов.
Переход с Gradio на React
Gradio помогла быстро масштабироваться до миллиона пользователей, но ограничивала кастомизацию и развитие.
React позволяет создавать уникальные компоненты и улучшать UX, что важно для дальнейшего роста и найма разработчиков.