Разработчик запустил модель с 400 млрд параметров на iPhone 17 Pro. Он сделал это через стриминг весов с SSD прямо в обход оперативной памяти, и модель заработала, выдавая 0,6 токена в секунду.
В настоящее время, пока пользователь читает статью в Chrome на десктопе, в браузер уже загружена языковая модель на несколько миллиардов параметров, доступная для использования в любой открытой вкладке. Любой смартфон с Apple Intelligence также содержит ИИ.