разбор · обучениетема решённая · H 1.09
4.0
из 10
смотреть не обязательно — забрать выжимку и пункты
оценка машинная и частично зависит от длины ролика — спорите, открывайте оригинал
Непрерывное предобучение и адаптеры вместо обучения с нуля
Answer.ai & AI Magic with Jeremy Howard
Джереми Ховард обсуждает непрерывное предобучение как континуум, критикует случайную инициализацию, делится опытом создания Answer.ai как public benefit corp, рассказывает о найме нестандартных талантов и технических проектах (BERT-24, FSDP Kora). Главный вывод: использовать уже обученные модели, дообучать их, а не обучать с нуля.
Обучение — континуум, а не этапы; управление ИИ-компаниями должно меняться; Answer AI нанимает талантливых и…
что из этого моё
Идеи о континууме обучения и использовании адаптеров помогут в оркестрации моделей: можно быстро переключать специализированные адаптеры для разных задач, не разворачивая полные модели. Также подход к найму нестандартных талантов применим при формировании команды для автоматизации.
Что забрать
отметь, что берёшь в работу → или отбрось как не своёмоё →
переписать конвейер разборов на дообучение предобученной модели вместо обучения с нуля
настроить QLoRA-адаптеры для переключения между задачами без развертывания полных моделей
включить исходные данные в этапы инструкционной настройки и DPO
о чём говорят, по времени
главы доводят до 35:00 · дальше по ролику меток нет
01
Введение и континуум обучения00:00 ↗
Джереми объясняет, что предобучение и дообучение — это единый процесс, а не отдельные шаги.
02
Критика случайной инициализации05:00 ↗
Джереми выступает против обучения с нуля, предпочитая дообучение.
03
Управление и governance10:00 ↗
Обсуждаются проблемы OpenAI и создание Answer.ai как public benefit corp.
04
Найм нестандартных талантов20:00 ↗
Джереми делится опытом найма людей с необычным бэкграундом.
05
Технические проекты: BERT-24 и FSDP35:00 ↗
Обсуждаются новые проекты: возрождение BERT и эффективное дообучение.