Диффузия как спектральная авторегрессия: данные важнее архитектуры
Сандер Дилеман из Google DeepMind рассказывает о создании генеративных моделей изображений и видео: от курирования данных и сжатых представлений до диффузионного моделирования, архитектур, обучения, сэмплирования, дистилляции и контроля. Главный вывод: диффузия работает как спектральная авторегрессия, а guidance — мощный инструмент для повышения качества за счёт разнообразия.
Диффузия генерирует от грубого к деталям, guidance даёт качество, латентное сжатие делает возможным масштаб.
Для оператора входа в AI полезно понимать, как работают диффузионные модели: это поможет выбирать правильные инструменты для генерации изображений/видео, объяснять клиентам trade-off'ы (качество vs разнообразие) и использовать guidance для получения нужного результата. Также идея о важности данных применима к курированию контента для ленты.