разбор · материалы

How to Avoid Knowledge Conflicts in LLM Reasoning

tl;dr

Современные большие языковые модели, сталкиваясь с противоречиями в данных, вместо сбоя создают ложные, но логичные нарративы. Это вызвано их способностью предпочитать красивые нарративы сухим фактам и обучаться на основе отзывов, где предпочтение отдаётся длинным и подробным ответам. Для решения конфликтов используется архитектура Хot, которая нормализует данные до одинакового формата, снимая преимущества длинных текстов.

→применить · к buyanov.io и к себе

Что забрать из ролика в дело

Большие языковые модели предпочитают красивые нарративы сухим фактам, что приводит к лжи ради сохранения логического нарратива.

Модели обучаются на данных, где длинные и подробные ответы получают высокие оценки, что формирует предпочтение к ним.

Архитектура Хot предоставляет метод нормализации данных, делая их одинаковыми для нейросети и снимая преимущества длинных текстов.

Переобучение моделей для устранения уязвимостей связано с высокими затратами и временем, что делает корпорациями предпочтительным выпуск условных версий с фильтрами.