Инфраструктура для pplx-embed состоит из трёх сервисов: Ivy (Rust HTTP-шлюз), Tulip (инференс-сервер) и ROSE (движок инференса). Perplexity разделяет нагрузку на два паттерна: пакетную обработку при переиндексации и онлайн-обработку для запросов. Для оптимизации команда повторно использует LLM-ядро из своего стека для больших языковых моделей.
Perplexity раскрыла GPU-стек для pplx-embed
Компания опубликовала техническое описание инфраструктуры, обслуживающей модель pplx-embed, включающей три сервиса: Ivy, Tulip и ROSE.
Источник: marktechpost.com
Открыть в ArenaPulse