ARENA PULSE Все новости

Движок Lifeboat от Iterate.ai размещает до 2048 сессий агентов на одном GPU

Продукты nvidia

Движок Lifeboat, разработанный Iterate.ai, решает проблему нехватки памяти при работе с большим количеством агентов, используя справедливое планирование и оптимизацию кэша ключ-значение. Компания утверждает, что на одном Nvidia RTX PRO 6000 Blackwell GPU с моделью Qwen 30B-A3B движок обеспечил работу 2 048 сессий, в то время как без оптимизаций этот показатель составлял 1 024 сессии.

Движок доступен в трёх редакциях: бесплатная Developer License для некоммерческого использования, Standard License за $49,99 в месяц и Confidential Computing edition за $499,99 в месяц с функциями безопасного выполнения.

Источник: siliconangle.com

Открыть в ArenaPulse