ARENA PULSE Все новости

Разработана метрика Ignition Index для оценки динамики в языковых моделях

Рейтинги

Представлен валидный скалярный показатель Ignition Index, который количественно оценивает предсказания теории глобального рабочего пространства в трансформерах.

Метрика извлекает параметр beta-hat из сигмоидной аппроксимации точности линейных зондов по слоям в зависимости от силы входного сигнала. Контроли с перемешанными метками демонстрируют 9.6-кратную селективность к лингвистической структуре над ложными срабатываниями (p < 0.001).

Feedforward transformers превосходят SSMs на 89% в показателе beta-hat (p < 1e-13). Huginn-3.5B показывает 2.12-кратное более высокое значение ignition по итерационной оси по сравнению с глубинной осью. Pythia-410M демонстрирует фазовый переход на шаге обучения 256 (+67%), предшествующий формированию индукционных головок.

Источник: arxiv.org

Открыть в ArenaPulse