разбор · evals
7.0
из 10
смотреть по главам — взять две-три нужные минуты
оценка машинная и частично зависит от длины ролика — спорите, открывайте оригинал
Эвалы как основа продакшена AI: инструменты для софт-инженеров
Production AI Engineering starts with Evals
Сел (Cél) из Brain Trust рассказывает, как эвалы (evals) стали ключом к продакшену AI: они превращают споры о моделях в научный процесс. Главный вывод: софт-инженеры должны иметь инструменты для оценки, а не только ML-специалисты, и это основа платформы Brain Trust.
Эвалы — ключ к AI-инженерии: они превращают споры в науку. Brain Trust строит платформу для этого, но путь…
что из этого моё
Для оператора входа в AI (buyanov.io) это прямое руководство: внедряйте систему эвалов для оценки моделей и промптов, чтобы автоматизировать выбор лучших решений для клиентов. Используйте подход Brain Trust: логируйте вызовы моделей в формате, пригодном для оценки, чтобы быстро итерировать. Это повысит качество оркестрации и доверие клиентов.
Что забрать
отметь, что берёшь в работу → или отбрось как не своёмоё →
запускать эвалы при каждом изменении модели или промпта в конвейере разборов
использовать одну абстракцию функции для рантайма и эвалов, чтобы логировать вызовы моделей в формате, пригодном для оценки
собрать набор тестовых кейсов для оценки моделей и промптов агрегированно
о чём говорят, по времени
главы доводят до 40:00 · дальше по ролику меток нет
01
Путь от SingleStore к Brain Trust00:00 ↗
Сел рассказывает о карьере: SingleStore, Impira, Figma, Brain Trust.
02
Уроки Impira: продажи и понимание клиента10:00 ↗
Ошибки в продажах и важность глубокого понимания потребностей клиента.
03
Кризис и переход к Brain Trust20:00 ↗
Как появление GPT-3 и ChatGPT обесценило технологию Impira и привело к созданию Brain Trust.
04
Эвалы как основа AI-инженерии30:00 ↗
Почему эвалы решают проблему споров о моделях и как Brain Trust их реализует.
05
Почему Brain Trust нужен софт-инженерам40:00 ↗
Инструменты ML неудобны для программистов, и это рыночная ниша.