EntropyMoE заменяет плотные feed-forward модули в глобальном patch Transformer на слои Top-K экспертов. Каждый динамический патч служит базовой единицей маршрутизации экспертов, а его байтовое покрытие определяет вклад в учёт нагрузки.
Эксперименты показали, что EntropyMoE достигла наименьших held-out bits-per-byte среди сравниваемых плотных и разреженных моделей, сохраняя сопоставимую точность downstream задач.