разбор · moe
2.0
из 10
смотреть не обязательно — забрать выжимку и пункты
оценка машинная и частично зависит от длины ролика — спорите, открывайте оригинал
Апсайклинг LLM в MoE: top-softmax, инициализация роутера, 64 эксперта
[Paper Club] Upcycling Large Language Models into Mixture of Experts
Доклад об апсайклинге плотных LLM в Mixture of Experts: как сохранить поведение модели при инициализации, ключевые факторы успеха (learning rate, инициализация роутера, масштабирование) и оптимизации в Megatron Core для обучения и инференса.
Upcycling превращает dense LLM в MoE, сохраняя поведение и экономя compute: +5% loss при 1/8 затрат.
что из этого моё
Полезно для понимания, как эффективно масштабировать модели через MoE и какие трюки применять при апсайклинге. Можно использовать при оркестрации моделей: выбирать апсайкленные MoE вместо плотных для экономии compute при лучшем качестве, а также применять техники инициализации и learning rate при дообучении своих моделей.
Что забрать
отметь, что берёшь в работу → или отбрось как не своёмоё →
переписать инициализацию роутера в своей модели на дублирование половины весов для гранулярных MoE
выставить пиковый learning rate при апсайклинге как при претрейне, а не как при файнтюне
включить expert parallelism и fused permutation в конфиге Megatron Core для обучения MoE
о чём говорят, по времени
главы доводят до 35:00 · дальше по ролику меток нет
01
Введение в MoE00:00 ↗
Объяснение базовой архитектуры MoE и мотивации: рост параметров без роста compute.
02
Оптимизации Megatron Core05:00 ↗
Обзор методов ускорения MoE: expert parallelism, fused permutation, cutlass group GEMM.
03
Апсайклинг: базовый подход15:00 ↗
Как превратить плотную модель в MoE: копирование MLP, инициализация роутера, сохранение поведения.
04
Гранулярный апсайклинг25:00 ↗
Расширение на большее число мелких экспертов и инициализация роутера для сохранения поведения.
05
Эксперименты и результаты35:00 ↗
Влияние learning rate, числа экспертов, сравнение с continue training.