разбор · робототехника
2.0
из 10
смотреть не обязательно — забрать выжимку и пункты
оценка машинная и частично зависит от длины ролика — спорите, открывайте оригинал
Мировые модели действий NVIDIA: обучение на видео и экзоскелетах
Interview with the Head of NVIDIA Robotics AI
NVIDIA Robotics AI развивает мировые модели действий, которые учатся предсказывать физическое будущее и управлять роботами через визуальные и моторные данные. Ключ к успеху — масштабные эгоцентрические видео и минимальное телеуправление для обучения сложным задачам. Это позволяет автоматизировать сбор данных и повысить автономность роботов.
Робототехника повторяет путь LLM: мировые модели действий и сенсоризированные данные (эго-видео) заменят телеу
что из этого моё
Подход с мировыми моделями действий и масштабным обучением на эгоцентрических видео можно использовать для создания более эффективной оркестрации моделей и автоматизации сбора и обработки данных в робототехнике и AI.
Тезисы ролика
применимого к своей работе линза здесь не нашла
▸Использовать мировые модели действий, объединяющие визуальные предсказания и моторные команды для управления роботами.
▸Собирать масштабные эгоцентрические видео с аннотациями для обучения моделей без прямого телеуправления.
▸Применять экзоскелеты (например, Дексуми) для прямого сбора данных с человека, ускоряя обучение роботов.
▸Сократить телеуправление до минимума, используя предварительное обучение на видео и небольшие наборы точных данных.
о чём говорят, по времени
главы доводят до 07:51 · дальше по ролику меток нет
01
Введение и контекст00:00 ↗
Знакомство с Джимом Феном и историей DGX1, развитие глубокого обучения и его влияние на AI.
02
Этапы обучения LLM и параллели с робототехникой01:35 ↗
От GPT-3 к обучению с подкреплением и автоматизации исследований, перенос идей на роботов.
03
Мировые модели и их архитектура03:41 ↗
Описание VLA и мировых моделей действий, их сильные и слабые стороны.
04
Dream Zero и управление через сновидения06:17 ↗
Новая модель управления, которая предсказывает будущее и действует, визуализируя внутренние состояния.
05
Сбор данных и телеуправление07:51 ↗
Ограничения классического телеуправления и инновации с экзоскелетами.