разбор · compound-ai
3.0
из 10
смотреть не обязательно — забрать выжимку и пункты
оценка машинная и частично зависит от длины ролика — спорите, открывайте оригинал
Compound AI и open-source модели обходят закрытые
Why Compound AI + Open Source will beat Closed AI — with Lin Qiao, CEO of Fireworks AI
Fireworks AI строит платформу для compound AI, объединяя множество open-source моделей, оптимизацию инференса и декларативные системы. Ключевой вывод: будущее за специализированными моделями и оркестрацией, а не за одной закрытой моделью.
Fireworks строит платформу Compound AI на открытых моделях, оптимизируя качество, задержку и стоимость, чтобы
что из этого моё
Идеи compound AI и декларативных систем напрямую применимы: можно строить оркестрацию из специализированных моделей (например, для обработки разных типов запросов), автоматизировать выбор моделей и оптимизацию под задачу. Это повышает качество и снижает затраты.
Что забрать
отметь, что берёшь в работу → или отбрось как не своёмоё →
настроить маршрутизацию запросов между специализированными моделями через API-шлюз
автоматизировать подбор конфигурации инференса по трём осям: качество, задержка, стоимость
следить за open-source моделями для узких областей, например, для генерации кода
о чём говорят, по времени
главы доводят до 40:00 · дальше по ролику меток нет
01
История и путь Fireworks00:00 ↗
Линь Цяо рассказывает о переходе от PyTorch к GenAI и создании Fireworks AI.
02
От PyTorch к GenAI10:00 ↗
Обсуждение смены фокуса с PyTorch Cloud на генеративный ИИ после появления ChatGPT.
03
Compound AI и оптимизация20:00 ↗
Введение в концепцию compound AI и продукт Fire Optimizer для оптимизации по качеству, задержке и стоимости.
04
Декларативные системы30:00 ↗
Сравнение императивного и декларативного подходов в построении AI-систем, аналогия с SQL.
05
Будущее моделей и выводы40:00 ↗
Обсуждение специализации моделей, открытых весов и планов Fireworks по выпуску собственной модели.