Self-learning AI: How to Optimize Frameworks, Tooling, and Agentic Loops

Введение в проблему

Представим ситуацию, когда гениальный учёный отказывается выполнять задачи из-за опасений. Это отражает текущие проблемы с применением ИИ в серьёзной науке, где уровень отказов моделей превышает 70%.

В этом контексте рассматривается концепция самообучающейся обвязки, предложенная Шанхайской лабораторией, как способ преодоления ограничений существующих ИИ-моделей.

Новая архитектура

Шанхайская лаборатория предложила разделить автономного агента на каркас и обвязку. Каркас отвечает за стратегию, а обвязка — за выполнение задач.

Это позволяет изолировать 'пугливого архитектора' от внешнего мира, предоставляя ему только высокоуровневые отчёты от обвязки.

Циклическая структура

Архитектура работает в жёстком итеративном цикле, называемом Реакт-петля, состоящем из шести шагов: синхронизация, действие, наблюдение, рефлексия, обновление состояния и повторение.

Этот цикл обеспечивает автономность агента, позволяя ему генерировать данные и адаптироваться к изменяющимся условиям.

Контроль и фильтрация

Обвязка выполняет важную функцию сжатия контекста, фильтруя информацию, чтобы не запутать модель. Это предотвращает 'цифровую амнезию', когда модель забывает, с чего начала.

Она также контролирует избыточность, обеспечивая, чтобы агент опирался только на обобщённый опыт, а не на сырые данные.

Самообучающаяся обвязка

Шанхайская лаборатория разработала самообучающуюся обвязку, которая может находить и исправлять ошибки в коде своей операционной среды, оставаясь при этом замороженной на фундаментальном уровне.

Верификатор анализирует ошибки и помогает модели исправлять их, не нарушая критические функции системы.