ARENA PULSE Все новости

Sakana AI представила метод PC-ALM для обучения нейросетей

Рейтинги

Исследователи Sakana AI разработали альтернативу бэкпропагации с локальными обновлениями, показав высокую точность на глубоких сетях.

Метод PC-ALM обеспечивает локальные обновления слоёв, сохраняя сигналы кредитования, выровненные с бэкпропагацией. Точность достигает 77.75% на Fashion-MNIST, что близко к 78.66% у бэкпропагации. Исследователи обучали остаточные MLP до 1000 слоёв с разницей в 2% от бэкпропагации на MNIST.

Реализация метода доступна как открытый код под MIT-лицензией в JAX, воспроизводящий результаты на CPU. Тесты проводились на небольших изображенческих бенчмарках.

Источник: marktechpost.com

Открыть в ArenaPulse