разбор · посттрейнинг
1.0
из 10
смотреть не обязательно — забрать выжимку и пункты
оценка машинная и частично зависит от длины ролика — спорите, открывайте оригинал
Посттрейнинговые рецепты LLM: от простых схем к сложным
The State of Frontier Post-Training Recipes | Conversation with Finbarr Timbers
Современные посттрейнинговые рецепты для LLM эволюционируют от простых трёхступенчатых схем к сложным с многоэтапным RL и дистилляцией от нескольких учителей. Ключевой тренд — интеграция специализированных моделей и инструментов, что требует сложной оркестрации и управления процессом.
Пост-тренинг эволюционировал от простых рецептов к мульти-учительской дистилляции, где ключевое — масштабный…
что из этого моё
Оператору входа в AI важно строить гибкую оркестрацию, которая поддерживает многоступенчатые рецепты с RL и дистилляцией, интегрирует специализированные модели и автоматизирует сложные пайплайны посттрейнинга.
Тезисы ролика
применимого к своей работе линза здесь не нашла
▸Использовать многоступенчатые рецепты с SFT, RL и дистилляцией для повышения качества моделей.
▸Внедрять multi-teacher on-policy distillation для объединения знаний специализированных моделей.
▸Организовывать посттрейнинг как сложный workflow с учётом вычислительных и организационных ресурсов.
▸Отказаться от классической схемы Instruct GPT в пользу более масштабируемых и целенаправленных методов.
о чём говорят, по времени
главы доводят до 10:54 · дальше по ролику меток нет
01
Введение и контекст00:06 ↗
Обзор целей разговора и возвращение гостя, обсуждение посттрейнинга Olmo 3.
02
Обзор канонических рецептов06:18 ↗
Краткий обзор основных посттрейнинговых рецептов и их эволюция.
03
Дистилляция и её разновидности08:19 ↗
Обсуждение сложности термина дистилляция и её применения в разных контекстах.
04
Текущие практики посттрейнинга09:19 ↗
Обзор современных изменений в подходах к посттрейнингу после Instruct GPT.
05
Сложность и масштабирование10:54 ↗
Обсуждение роста сложности посттрейнинга и организационных вызовов.