Автор статьи провёл тесты рекурсивного движка llama.cpp на видеокарте RTX 3050 с моделями Qwen 32B и 7B Coder. Было измерено качество работы и потребление памяти в одинаковых условиях для оценки практической пользы рекурсивного механизма.
Сравнение включало три модели разного размера, от 7B до 32B параметров, чтобы определить эффективность подхода. Замеры качества показали прирост в три раза.