Datalab выпустила OmniExtractBench, открытый бенчмарк для оценки точности извлечения структурированных данных из PDF в JSON. Бенчмарк объединяет 620 документов из 4 существующих наборов и использует детерминированный оценщик, который присваивает каждому значению один из 6 типов вердиктов и объясняет решение. Оценщик доступен на PyPI под лицензией Apache 2.0, а данные — на Hugging Face под лицензией CC BY 4.0.
Datalab отмечает, что новый бенчмарк решает 4 проблемы существующих решений: предвзятость, непрозрачность тестового окружения, неясность в оценке и узкий типологический состав документов. В ходе теста на 100-страничной таблице, пропущена первая строка, позиционное сравнение показало 0% точности, в то время как OmniExtractBench — 99%.