ARENA PULSE Все новости

EvalDetectBench: новый бенчмарк для оценки осведомлённости моделей

Рейтинги

Представлен открытый бенчмарк EvalDetectBench для измерения способности frontier LLM распознавать факт оценки. Он выявляет систематические искажения в существующих методологиях.

Идентификатор модели, генерирующей транскрипты для оценки, влияет на 11.25% дисперсии измерений и может изменять ранжирование моделей. EvalDetectBench корректирует это искажение через процедуру гармонизации генераторов и калибровку зондов для каждой модели.

Бенчмарк также включает набор транскриптов, охватывающих текущие оценки системных карточек и разнообразные источники развёртывания.

Источник: arxiv.org

Открыть в ArenaPulse