REPL с persistent state поднимает точность агентов с 50% до 92%
Доклад о том, как поднять точность кодинг-агентов в работе с таблицами с 50% до 92%: замена множества инструментов на единый REPL с persistent state, создание высокоточных движков для верификации и добавление доменных знаний в промпты. Главный вывод: эффективность агента определяется не только моделью, но и интерфейсом и петлей обратной связи.
REPL с состоянием и высокоточные движки проверки подняли точность с 50% до 92%; детерминированная оценка и баг
Идея REPL с persistent state напрямую применима для оркестрации агентов: вместо множества отдельных инструментов дайте агенту единую среду (например, Python REPL) для комбинирования операций. Также важно строить петли обратной связи (рендеринг, проверка) для верификации действий агента. Детерминированная оценка и анализ трасс помогут улучшить качество автоматизации.
контекст владельца вставлен в промпт линзы, коммит 9bde5f7