AWS масштабирует GPU-инфраструктуру, добавляя 1 млн новых GPU в 2024 году, и развивает собственные AI-чипы Trainium для снижения стоимости и повышения производительности. Trainium 3 предлагает в 2-3 раза лучшее быстродействие и ориентирован на масштабное обучение и инференс с упором на экономию затрат.
AWS Trainium: How Amazon Built Their Own AI Chips | Researcher Conversations at GTC
полный разбор ролика · 5 глав ↓
Введение и партнерство с Nvidia
AWS предлагает крупнейшую облачную инфраструктуру с 2 миллионами GPU и планирует добавить еще 1 миллион в 2024 году, что отражает высокий спрос и способность быстро масштабироваться.
Партнерство с Nvidia длится почти 15 лет, AWS готовит к запуску новые Rubin GPU-системы для клиентов.
Проблемы масштабирования AI
Клиенты легко создают прототипы GenAI, но сталкиваются с проблемами при масштабировании: данные, безопасность, контроль затрат.
AWS предлагает комплексные сервисы для поддержки производства AI-приложений, выходящих за рамки просто GPU-инстансов.
Trainium и кастомные AI-чипы AWS
Trainium — кастомные AI-чипы AWS, направленные на снижение стоимости и расширение выбора аппаратуры для клиентов.
Trainium 3 обеспечивает в 2-3 раза лучшую производительность и на 30-40% лучшее соотношение цена/производительность по сравнению с альтернативами.
Масштабирование и клиенты Trainium
AWS планирует масштабировать Trainium до миллиона чипов в 2024 году, расширяя доступность и мощность для клиентов.
Крупные AI-лаборатории и стартапы используют Trainium для обучения и инференса, что подтверждает востребованность и эффективность решения.
Партнерство с Cerebras и снижение затрат
AWS и Cerebras совместно разрабатывают архитектуру для распределенного инференса, направленную на снижение стоимости за токен.
Цель — сделать масштабирование GenAI более доступным за счет оптимизации аппаратных затрат и повышения эффективности.