Artificial Analysis создали независимый сервис бенчмарков моделей ИИ с учётом качества, скорости и стоимости, чтобы помочь разработчикам и компаниям выбирать технологии без хаоса. Они предлагают публичные данные и частные кастомные отчёты для крупных клиентов, фокусируясь на объективности и практичности.
Artificial Analysis: The Independent LLM Analysis House — with George Cameron and Micah Hill-Smith
полный разбор ролика · 4 глав ↓
Введение и история
Проект начался как побочный, но быстро вырос благодаря потребности в независимых бенчмарках моделей ИИ. Основатели хотели помочь разработчикам и компаниям ориентироваться в быстро меняющемся ландшафте моделей, предлагая объективные данные.
Модель монетизации и клиенты
Artificial Analysis предлагает бесплатный публичный сайт с бенчмарками и платные кастомные отчёты для крупных компаний. Клиенты получают стандартизированные и индивидуальные отчёты для принятия решений по выбору моделей и технологий.
Причины запуска и подход к бенчмаркам
Основатели столкнулись с проблемой отсутствия объективных сравнений моделей, особенно с учётом скорости и стоимости. Они решили запускать тесты самостоятельно, чтобы обеспечить единообразие и сравнимость данных.
Технические сложности и решения
Оценка моделей требует контроля множества факторов: одинаковые запросы, формат ответов, случайные факторы. Они автоматизировали парсинг ответов и используют инструкции для моделей, чтобы стандартизировать вывод.