Мини-ПК Beelink GTR9 Pro, оснащенный процессором Ryzen AI Max+ 395, продемонстрировал суммарную генерацию 236 токенов в секунду при обработке 32 одновременных запросов в коротких прогонах. В ходе тестов устройство также удерживало среднюю скорость генерации в 226 токенов в секунду на протяжении 30 минут непрерывной нагрузки без троттлинга.
В процессе тестирования были обнаружены воспроизводимые проблемы с пропускной способностью, а также выявлены случаи, когда спекулятивный декодинг в используемом программном стеке работал как замедляющий фактор. Автор статьи отмечает три случая, когда он был близок к публикации неверных выводов, но каждый раз спас контрольные замеры. Полные результаты тестов, включая конфигурации, таблицы данных и телеметрию, доступны в открытом репозитории.