This Changes Transformers - Attention Residuals Breakthrough

Введение

Современные системы ИИ страдают от потери информации при увеличении глубины нейросети.

Проблема заключается в простом сложении, что не позволяет сетям выбирать, на что обращать внимание из прошлого.

Стандартные остаточные связи

Стандартные остаточные связи Residual Connections работают как градиентная магистраль, но имеют проблему с накоплением данных.

Сложение происходит вслепую, что приводит к потере первоначальной информации.

Full Attention Residuals

Исследователи предложили использовать механизм внимания для выборки информации из предыдущих слоев.

Это позволяет нейросети выбирать, на что обращать внимание из прошлого, решая проблему размытия информации.

Блочный подход

Для уменьшения вычислительных затрат исследователи предложили использовать блочный подход, сгруппировав слои в блоки.

Внутри блока сохраняется локальность, а между блоками применяется внимание, что снижает нагрузку на память и коммуникацию.

Результаты тестирования

Тестирование показало, что блокная архитектура достигает тех же показателей потерь, что и базовая модель, но с экономией в вычислительных ресурсах.

Это приводит к огромной экономии затрат на вычислительные мощности и сокращению времени для обучения моделей.