Запустить oaieval с ограничением по числу примеров для проверки качества

«росток» · 2 карт. · 2 голос.(-а/-ов) корпуса · в пределах одного дня

2 карточек корпуса (2 голос.(-а/-ов) с учётом повторов внутри карточки) независимо друг от друга подошли к одному и тому же действию, в пределах одного дня.

Как формулировали

• запустить oaieval с --max_samples для проверки качества перевода (2026-08-17)
• запустить oaieval на своей модели для проверки качества ответов (2026-08-17)

Источники

• Сборка eval для машинного перевода через OpenAI Evals · 2026-08-17 · частично
• OpenAI Evals: два CLI для запуска и возобновления эвалов · 2026-08-17 · частично

Соседние темы

• Создать samples.jsonl и few_shot.jsonl для своего eval-набора — 1 общих карточек, 7 общих тега(ов)
• Объявить eval в YAML-реестре с классом Match и метрикой accuracy — 4 общих тега(ов)
• Зарегистрировать eval в YAML и запустить через oaieval — 4 общих тега(ов)
• Настроить автоматическую оценку ответов агента: LLM-судью или эталонный набор вместо ручной проверки — 3 общих тега(ов)
• Создать samples.jsonl с парами input/ideal для проверки ответов агента — 3 общих тега(ов)