ARENA PULSE Все новости

Тест скиллов для Claude Code: два снизили стоимость

Рейтинги claude

Тестирование показало, что только два скилла, ponytail и agent-skills, обеспечили статистически значимое снижение стоимости (на 12% и 5% соответственно). Один скилл, planning-with-files, показал худшие результаты по сравнению с плацебо. Остальные шесть скиллов, включая самый популярный superpowers, не отличались от плацебо.

Автор использовал метод A/B-тестирования с плацебо для проверки девяти популярных скиллов. Тест проводился на модели claude-opus-5-5 с использованием набора из 15 задач. Во время тестирования была обнаружена и исправлена ошибка в подсчёте результатов.

Источник: habr.com

Открыть в ArenaPulse