Keenable AI открыла исходный код NEEDLE — бенчмарка для оценки поисковых API, который регенерирует запросы ежечасно для новостей и ежедневно для финансов, науки, юриспруденции и редких сущностей. Бенчмарк использует RSS-ленты, Google Trends, SEC XBRL, arXiv, CourtListener и публичные логи для генерации актуальных запросов. Fifteen search API тестируются под единым протоколом, а результаты оцениваются против pooled oracle engine, созданного из всех ответов.
Keenable AI открыла исходный код бенчмарка NEEDLE
Keenable AI выпустила NEEDLE — открытый бенчмарк для оценки поисковых API, который регенерирует запросы ежечасно для новостей и ежедневно для других категорий.
Источник: marktechpost.com
Открыть в ArenaPulse