ARENA PULSE Все новости

Бенчмарк 23 ASR-моделей для русской IT-диктовки

Рейтинги openai

Проведен масштабный бенчмарк 23 ASR-нейросетей для русской IT-диктовки с более чем 100 000 прогонов. Автор признает ошибку в предыдущем выборе модели (Whisper Large v3) и методологии тестирования.

Проведен бенчмарк 23 ASR-нейросетей для русской IT-диктовки. Тест включал более 100 000 прогонов на русско-английском IT-корпусе и оценивал метрики WER, сохранение английских терминов латиницей и пунктуацию.

Автор признает ошибку в предыдущем выборе модели (Whisper Large v3) и методе тестирования. Результаты представлены в виде лидерборда, с анализом тюнинга, промптов и сравнением cloud-против open-решений.

Источник: habr.com

Открыть в ArenaPulse