разбор · агентытема-фронтир · H 1.51
4.0
из 10
смотреть не обязательно — забрать выжимку и пункты
оценка машинная и частично зависит от длины ролика — спорите, открывайте оригинал
Elicit: разбиение задач на шаги и бенчмарки для AI-ассистента
Supervise the Process of AI Research — with Jungwon Byun and Andreas Stuhlmüller of Elicit
Elicit строит AI-ассистента для научных исследований, автоматизируя систематические обзоры: разбивают сложные задачи на шаги, следят за процессом, а не только результатом. Ключевой вывод: продукт должен быть заточен под конкретный рабочий процесс, а не просто под модель.
Elicit автоматизирует систематические обзоры, контролируя процесс, а не только результат, и строит гибкие инст
что из этого моё
Можно применить подход Elicit к оркестрации: вместо одного большого промпта разбивать задачу на этапы (поиск, извлечение, анализ) и для каждого этапа подбирать модель и оценивать её отдельно. Также полезно внедрить внутренние бенчмарки для выбора моделей под конкретные задачи пользователей.
Что забрать
отметь, что берёшь в работу → или отбрось как не своёмоё →
разбить конвейер разборов на этапы поиска, извлечения и анализа, оценивая каждый отдельно
создать внутренний бенчмарк из реальных запросов пользователей для выбора моделей
настроить еженедельный запуск фич для проверки гипотез
о чём говорят, по времени
главы доводят до 35:00 · дальше по ролику меток нет
01
История и миссия00:00 ↗
Андреас и Юнгвон рассказывают о пути от некоммерческой лаборатории к продукту.
02
Эксперименты с суперинтеллектом08:00 ↗
Как они моделировали ситуации с ИИ-системами, которые читают больше, чем человек.
03
Переход к продукту15:00 ↗
Почему они решили строить продукт, а не только исследовать.
04
Рабочий процесс и систематические обзоры25:00 ↗
Как они автоматизируют систематические обзоры литературы.
05
Технические детали и модели35:00 ↗
Как они выбирают и обучают модели, включая конституционный подход.