разбор · бенчмарки
3.0
из 10
смотреть не обязательно — забрать выжимку и пункты
оценка машинная и частично зависит от длины ролика — спорите, открывайте оригинал
Оценка кода: реалистичные бенчмарки и выявление читинга
[State of Code Evals] After SWE-bench, Code Clash & SOTA Coding Benchmarks recap — John Yang
John Yang рассказывает о развитии Sweetbench и новых подходах к оценке кода, включая Code Clash — турнир моделей с длительной разработкой и состязанием кода. Важна реалистичная проверка, мульти-языковая поддержка и задачи с разной сложностью, включая невозможные для выявления читинга.
Эволюция бенчмарков: от SWE-bench к Code Clash и Terminal-Bench, с акцентом на длительные задачи и человеко-ма
что из этого моё
Забрать отсюда стоит один приём составителей тестов: вставлять в набор заведомо невыполнимые задачи, чтобы ловить тех, кто отчитывается «сделано» без проверки. В приёмке заказа и в проверке агента это работает так же. Остальной час — история SWE-bench, мультиязычность на девяти языках и сорока репозиториях и устройство турнира Code Clash.
Что забрать
отметь, что берёшь в работу → или отбрось как не своёмоё →
добавить в конвейер разборов заведомо невыполнимую задачу для проверки честности агента
настроить автоматического судью на основе LLM для оценки результатов своих агентов
о чём говорят, по времени
главы доводят до 09:19 · дальше по ролику меток нет
01
Введение и история Sweetbench00:02 ↗
Обзор развития Sweetbench и его места в индустрии.
02
Разнообразие и сложность бенчмарков02:36 ↗
Обсуждение расширения наборов данных и сложности задач.
03
Code Clash — соревнования моделей03:38 ↗
Идея длительных турниров с итеративной доработкой кода и соревнованием моделей.
04
Другие интересные проекты и направления06:11 ↗
Обзор других бенчмарков и подходов к оценке кода.
05
Спорные моменты и невозможные задачи09:19 ↗
Обсуждение критики Towbench и идеи включения невозможных задач.