Теория измерения Раша (RMT) применена для декомпозиции оценок, даваемых LLM в качестве оценщиков. Исследование на корпусе Measuring Hate Speech показало, что 9 LLM системически отличаются от людей по строгости, калибровке, устойчивости к порядку вопросов, чувствительности к идентичности целей и использованию шкалы оценок. Стандартные методы оценки скрывают эти различия.
Теория Раша выявила системные различия LLM и людей при оценке
Анализ 9 LLM показал системные отличия от людей по 5 параметрам оценки при применении теории измерения Раша.
Источник: arxiv.org
Открыть в ArenaPulse