Phind: открытые модели обгоняют GPT-4 при поиске и дообучении
Майкл Ройзен из Phind рассказывает, как они строят поиск с ИИ для программистов: сначала RAG с открытыми моделями, затем переход на GPT-4, а теперь возврат к собственным открытым моделям, которые уже обгоняют GPT-4 на многих задачах. Ключевой вывод: модели не знают, чего не знают, поэтому поиск обязателен, а вертикальные модели на открытых весах могут быть лучше проприетарных.
Phind строит поиск для программистов: RAG обязателен, GPT-4 дал трафик, теперь своя модель на открытой базе…
Прямой пользы для оркестрации и автоматизации buyanov.io мало, но подход Phind к RAG и оценке моделей можно адаптировать: использовать поиск для актуальности ответов, а для оценки агентов применять LLM-судью. Также идея вертикальных моделей на открытых весах может быть релевантна для специализированных задач.