Бенчмарк OenoBench содержит 38 104 факта из открытых источников. Почти всю работу по его созданию выполнили агенты, а человек отвечал только за тему вина. Счёт за API составил около $800.
Внутри бенчмарка 17 скраперов из 35 оказались «гарантированным fallback» из памяти модели. Три LLM-судьи из разных компаний согласовали свои ответы, но все ошиблись.