Компания Moonshot AI объявила об открытии исходного кода библиотеки MoonEP. Она предназначена для повышения эффективности коммуникации при распределённых нагрузках Mixture-of-Experts (MoE) и распространяется под лицензией MIT.
Moonshot AI открыла библиотеку MoonEP для MoE-тренинга
Компания Moonshot AI выпустила библиотеку MoonEP для оптимизации коммуникации при параллельной обработке экспертов в MoE-моделях.
Источник: marktechpost.com
Открыть в ArenaPulse