Рекурсивный форк llama.cpp позволил запустить Bonsai-27B на видеокарте RTX 3050. В ходе бенчмарка базовая модель зависла и не смогла решить задачу, в то время как рекуррентная версия довела решение до ответа.
Автор объясняет внутренние механизмы работы, производительность и предоставляет команды для повторения эксперимента.