Модель Baseten gpt-oss-120b показала минимальное время первого токена (TTFT) в 0.23 секунды. Тесты проводились с использованием входных запросов длиной 10 000 токенов. Измерение TTFT осуществлялось с приёмной стороны API.
Низколатентные API для голосовых агентов
Бенчмарк сравнил время первого токена (TTFT) у различных моделей для голосовых агентов. TTFT является важной, но не единственной метрикой для оценки производительности голосовых систем.
Источник: marktechpost.com
Открыть в ArenaPulse