разбор · архитектуратема-фронтир · H 1.39
1.0
из 10
смотреть не обязательно — забрать выжимку и пункты
оценка машинная и частично зависит от длины ролика — спорите, открывайте оригинал
Positron AI выбирает LPDDR вместо HBM для LLM
Why Positron AI is Choosing LPDDR over HBM for Next-Gen LLM | Researcher Conversations at GTC
Positron AI выбрал LPDDR вместо HBM для следующего поколения чипов, чтобы обеспечить в 6-8 раз большую память при меньшем энергопотреблении и упростить поставки. Архитектура оптимизирована под матрично-векторные операции для высокой пропускной способности и снижения стоимости токенов при высокой скорости.
Positron делает ставку на LPDDR и эффективную архитектуру, чтобы снизить стоимость токенов, а не только ускори
что из этого моё
Для оператора входа в AI важно использовать архитектурные решения, которые обеспечивают высокую пропускную способность и масштабируемость памяти для поддержки больших моделей и длинного контекста, что улучшит оркестрацию и автоматизацию с низкой стоимостью токенов.
Тезисы ролика
применимого к своей работе линза здесь не нашла
▸Использовать LPDDR для увеличения памяти и снижения энергопотребления вместо дорогого HBM.
▸Оптимизировать архитектуру под матрично-векторные операции, чтобы максимально использовать вычислительные ресурсы.
▸Фокусироваться на высокой пропускной способности памяти для ускорения attention-механизма в LLM.
▸Строить системы с большим объемом памяти на одном чипе для поддержки моделей с триллионами параметров и длинным контекстом.
о чём говорят, по времени
главы доводят до 09:31 · дальше по ролику меток нет
01
Введение и статус Positron00:06 ↗
Обзор компании и её прогресса в разработке чипов для AI.
02
Ценообразование и производительность токенов02:12 ↗
Обсуждение баланса между скоростью и стоимостью токенов в inference.
03
Архитектурные особенности чипа04:49 ↗
Фокус на максимальной пропускной способности памяти и оптимизации матрично-векторных операций.
04
Выбор LPDDR вместо HBM07:56 ↗
Причины и преимущества использования LPDDR в следующем поколении чипов.
05
Масштабирование и цели09:31 ↗
Планы по поддержке крупных моделей и систем с высокой пропускной способностью.