разбор · оптимизациятема-фронтир · H 1.55
7.0
из 10
смотреть по главам — взять две-три нужные минуты
оценка машинная и частично зависит от длины ролика — спорите, открывайте оригинал
GEPA повышает точность промптов с 87% до 96%
Agent Optimization with Pydantic AI: GEPA, Evals, Feedback Loops — Samuel Colvin, Pydantic
Сэмюэл Колвин показывает, как оптимизировать промпты агентов с помощью библиотеки GEPA (генетический алгоритм) и управляемых переменных в Logfire. Он демонстрирует процесс на примере определения политических родственников депутатов, сравнивая простой и экспертный промпты, а затем запуская оптимизацию, которая повышает точность с 87% до 96%.
GEPA + managed variables в Logfire позволяют автоматически улучшать промпты агентов: с 87% до 96% точности на
что из этого моё
Можно применить для автоматической настройки промптов в агентах, используемых в оркестрации: GEPA поможет подобрать оптимальные инструкции для конкретных задач, а Logfire обеспечит observability и управление переменными. Это сократит ручную работу и повысит точность.
Что забрать
отметь, что берёшь в работу → или отбрось как не своёмоё →
установить GEPA и запустить оптимизацию системного промпта для одного из своих агентов, задав целевую метрику точности
создать детерминированный эвал с golden-данными для проверки ответов агента вместо LLM-as-judge
вынести системный промпт в управляемую переменную Logfire и разбить его на компоненты для последующей оптимизации
о чём говорят, по времени
главы доводят до 30:00 · дальше по ролику меток нет
01
Введение и обзор00:00 ↗
Сэмюэл Колвин представляет Pydantic, Logfire и тему доклада: оптимизация агентов с GEPA и управляемыми переменными.
02
Постановка задачи05:00 ↗
Пример с определением политических родственников депутатов: нужно найти предков-политиков, исключая супругов и детей.
03
Эвалы и сравнение10:00 ↗
Запуск эвалов с простым и экспертным промптом, сравнение результатов в Logfire.
04
Оптимизация с GEPA20:00 ↗
Запуск GEPA для автоматического улучшения промпта: алгоритм генерирует новые варианты и оценивает их.
05
Вопросы и выводы30:00 ↗
Обсуждение практических аспектов: когда оптимизация важна, как избежать раздувания промпта, будущее интеграции.