← Материалы разборы Yersham
разбор · нейросети
1.0
из 10
смотреть не обязательно — забрать выжимку и пункты
оценка машинная и частично зависит от длины ролика — спорите, открывайте оригинал

Inkling: открытая мультимодальная модель с регулируемым усилием рассуждения

Разбор открытой мультимодальной модели Inkling от Thinking Machines: крупнейший релиз с открытыми весами от западной лаборатории под свободной лицензией, обученный с нуля на 45 триллионах токенов. Архитектура сделана ставкой не на количество параметров, а на глубину — 66 слоёв, разреженная схема с экспертами и относительное внимание со скользящим окном. У модели регулируется усилие на рассуждение, она показывает ход мысли и умеет сама вызывать поиск и другие функции.

Inkling — открытая модель с MoE и управляемым рассуждением, но доступ ограничен железом и ценой.

что из этого моё

Сейчас применить негде: под боты и одностраничники хватает облачных моделей, а веса такого размера ему негде запускать. Держать в поле зрения стоит одно — свободная лицензия означает, что заказчик, которому важна работа на своём сервере, со временем получит вариант без ежемесячной платы за обращения.

Тезисы ролика
применимого к своей работе линза здесь не нашла
Модель выпущена с открытыми весами под свободной лицензией — её можно скачать и дообучать, а не только обращаться к ней извне.
Обучали с нуля на 45 триллионах токенов разных типов данных, а не надстраивали над существующей открытой архитектурой.
Ставка сделана на глубину сети в 66 слоёв и разреженность; число параметров авторы считают побочным результатом, а не целью.
Вместо жёсткой привязки слов к позициям используется относительное внимание со скользящим окном — текст читается непрерывным потоком.
о чём говорят, по времени
главы доводят до 06:18 · дальше по ролику меток нет
01
Введение00:01
Описание проблемы доступа к искусственному интеллекту.
02
Открытие Инклина01:04
Объявление о выпуске Инклина от Thinking Machines.
03
Архитектура Инклина02:07
Особенности архитектуры Инклина.
04
Смесь Экспертов03:41
Описание принципа работы смеси экспертов в Инклин.
05
Относительное Внимание06:18
Инновации в обработке данных в Инклин.
дальше в дело
Собрать это в маршрут
все маршруты →
не хочешь разбираться сам
Сделаю это под задачу
форматы и цены →
похожие по смыслу · из облака
ещё разборы