ARENA PULSE Все новости

NVIDIA представила Switchyard для маршрутизации LLM-трафика

Продукты nvidia

NVIDIA выпустила Switchyard — Rust-прокси и библиотеку для маршрутизации и перевода трафика между API OpenAI и Anthropic.

Switchyard находится в pre-alpha статусе и не предназначен для продакшн-использования. Он поддерживает три формата запросов: OpenAI Chat Completions, OpenAI Responses и Anthropic Messages.

Система предоставляет четыре типа маршрутизации: passthrough, random, LLM-classifier и stage_router. Для наблюдения доступны метрики Prometheus, включая время работы алгоритмов.

Источник: marktechpost.com

Открыть в ArenaPulse