Автор исследовал гибридные трансформеры, такие как Gated DeltaNet, в сравнении с full attention. Целью было проверить эффективность гибридных моделей при обработке длинного контекста.
Автор утверждает, что гибридные модели обещают снижение линейного роста памяти под контекстом, что должно удешевлять обработку длинных последовательностей. Однако проверка показала, что Gated DeltaNet уступает full attention под нагрузкой.