ARENA PULSE Все новости

Метод избирательной проверки фактов с оценкой цепочек доказательств

Рейтинги

Представлен метод Evidence Chain Evaluation (ECE) для избирательной проверки фактов, позволяющий системе воздерживаться от ответа при недостаточных доказательствах. На бенчмарке ECE-Bench достигнуты высокие показатели точности и покрытия.

Разработан метод Evidence Chain Evaluation (ECE) для избирательной проверки фактов. Он позволяет системе выносить вердикты с оценкой уверенности и метаданными источников, а не требовать бинарного решения для каждого утверждения. На бенчмарке ECE-Bench система показала 91.6% стандартной точности, 93.7% покрытия и 97.8% избирательной точности на отвеченных утверждениях.

ECE демонстрирует компромисс между избирательным прогнозированием и точностью: система сохраняет высокую точность на отвеченных утверждениях, откладывая 6 из 95 случаев. Эти отложенные случаи сосредоточены в условиях с менее надёжными доказательствами (5/6 на уровне источника L4), что подтверждает функцию воздержания как механизм безопасности для слабых доказательств.

Источник: arxiv.org

Открыть в ArenaPulse