Architect Financial Technologies запустила Liquid Inference, сервис-маршрутизатор, работающий по принципу биржи и проводящий аукцион в реальном времени для каждого запроса к LLM. Пользователям предлагается просто изменить базовый URL в коде, чтобы провайдеры начали конкурировать за выполнение задачи по цене. Первые 500 зарегистрированных пользователей получают $20 бесплатных вычислительных ресурсов.
Платформа позволяет покупателям устанавливать ограничения на стоимость задания, время первого токена, пропускную способность, а также требовать одобренные регионы, нулевое сохранение данных и списки разрешенных моделей или провайдеров. Провайдеры могут регистрировать свои модели и котировки через REST и WebSocket API, обновляя их в зависимости от собственных издержек, и получать выплаты через Stripe.