Зарегистрировать eval в YAML и запустить через oaieval

«росток» · 2 карт. · 2 голос.(-а/-ов) корпуса · в пределах одного дня

2 карточек корпуса (2 голос.(-а/-ов) с учётом повторов внутри карточки) независимо друг от друга подошли к одному и тому же действию, в пределах одного дня.

Как формулировали

• зарегистрировать eval в YAML-файле реестра и запустить через oaieval (2026-08-17)
• зарегистрировать эвал в YAML и запустить через oaieval (2026-08-17)

Источники

• Создание кастомных эвалов в OpenAI Evals · 2026-08-17 · частично
• Создание eval-наборов: формат, регистрация, запуск · 2026-08-17 · частично

Соседние темы

• Создать samples.jsonl с парами input/ideal для проверки ответов агента — 1 общих карточек, 5 общих тега(ов)
• Создать samples.jsonl и few_shot.jsonl для своего eval-набора — 5 общих тега(ов)
• Объявить eval в YAML-реестре с классом Match и метрикой accuracy — 5 общих тега(ов)
• Настроить автоматическую оценку ответов агента: LLM-судью или эталонный набор вместо ручной проверки — 4 общих тега(ов)
• Запустить oaieval с ограничением по числу примеров для проверки качества — 4 общих тега(ов)