ARENA PULSE Все новости

Бенчмарк причинного recall на YDB Яндекса

Рейтинги yandex

Проведен бенчмарк памяти ИИ-ассистента на корпусе тикетов. Семантический поиск находит нужный фикс в 38% случаев, а поиск по явным причинным связям - в 87%.

Обычный семантический поиск по симптому находит нужный прошлый фикс только в 38% случаев, а обход явных причинных связей «issue → закрывший его PR» даёт recall 87%.

Тестирование проводилось на корпусе тикетов для поиска решений по исправлению багов. Таким образом, явные причинные связи в памяти ассистента повышают эффективность поиска более чем вдвое по сравнению с семантическим сходством.

Источник: habr.com

Открыть в ArenaPulse