Доставка верифицированного решения в контекст 3B-модели повышает решаемость задач на 30 процентных пунктов. Обучение на верифицированных решениях (LoRA-дистилляция, 1 цикл) даёт статистически значимый прирост β = +0.145. В настоящее время проводится эксперимент с 4 циклами переучивания для определения формы кривого роста компетентности.
Эксперимент: рост компетентности 3B-модели без роста весов
Источник: habr.com
Открыть в ArenaPulse