Inkling: открытая мультимодальная модель с регулируемым усилием рассуждения
Разбор открытой мультимодальной модели Inkling от Thinking Machines: крупнейший релиз с открытыми весами от западной лаборатории под свободной лицензией, обученный с нуля на 45 триллионах токенов. Архитектура сделана ставкой не на количество параметров, а на глубину — 66 слоёв, разреженная схема с экспертами и относительное внимание со скользящим окном. У модели регулируется усилие на рассуждение, она показывает ход мысли и умеет сама вызывать поиск и другие функции.
Inkling — открытая модель с MoE и управляемым рассуждением, но доступ ограничен железом и ценой.
Сейчас применить негде: под боты и одностраничники хватает облачных моделей, а веса такого размера ему негде запускать. Держать в поле зрения стоит одно — свободная лицензия означает, что заказчик, которому важна работа на своём сервере, со временем получит вариант без ежемесячной платы за обращения.