16 июля 2026 года компания Moonshot AI объявила о выпуске новой модели Kimi K3. Эта модель является открытой архитектурой MoE (Mixture of Experts) и обладает значительным количеством параметров.
Kimi K3 построена на базе технологий Kimi Delta Attention и Attention Residuals. В процессе работы активируется 16 из 896 доступных экспертов. Модель также поддерживает контекстное окно размером 1 миллион токенов.