ARENA PULSE Все новости

Библиотека DSA решает проблему OOM при обучении графных нейросетей

Продукты

Библиотека Disk Sparse Adam (DSA) позволяет обучать огромные спарс-модели на миллионы узлов на обычной видеокарте, вынося состояния моментов на диск через memory mapping.

Библиотека Disk Sparse Adam (DSA) решает проблему ошибки CUDA out of memory (OOM) при обучении графных нейросетей и гигантских эмбеддингов. Она выносит состояния моментов на диск через memory mapping (mmap), что позволяет обучать модели на миллионы узлов на обычной домашней видеокарте.

DSA является легковесной Open Source библиотекой.

Источник: habr.com

Открыть в ArenaPulse