SkillsBench. Бенчмарк показывает, как готовые навыки помогают агентам решать задачи и какие практики их подключения работают лучше.
SkillsBench: проверка того, насколько «навыки» агента работают на самых разных задачах
Исследователи изучили, как Skills (навыки) влияют на способность агентных моделей выполнять задания. Для этого они предложили новый бенчмарк SkillsBench: собрали 84 задачи из 11 областей знаний и сравнили три режима — нейросети без навыков, с заранее подготовленными навыками и с навыками, которые модель создала сама.
Выяснилось, что добавление навыков позволяет даже компактным моделям справляться с заданиями на уровне дорогих и мощных систем, если те работают без навыков.
Ключевые результаты:
— В среднем агенты с готовыми навыками выполняли на 16,2 процентных пункта больше задач, чем агенты без навыков. — Лидером среди конфигураций с готовыми навыками стала связка Gemini CLI + Gemini 3 Flash: она решила больше всего задач. При этом Flash меньше и дешевле, чем Pro. Flash потребляет в 2,3 раза больше входных токенов, но из-за более низкой цены итоговая стоимость одной задачи оказывается на 44% ниже. — Самый заметный прирост от включения навыков получили Claude Code и Opus 4.5 — плюс 23,3 процентных пункта. Авторы связывают это с тем, что Claude Code специально обучали работе со навыками. — Небольшая и доступная Claude Haiku 4.5 с навыками решает 27,7% задач, тогда как Claude Opus 4.5 без навыков — 22%. Это указывает на то, что навыки могут частично компенсировать разницу в мощности моделей. — Навыки особенно полезны в узких доменах: медицине, производстве и кибербезопасности. А вот в разработке и математике прирост минимален, потому что модели и так хорошо обучены этим темам. — Навыки, которые модель генерирует сама, дают слабый эффект или даже снижают качество. Следовательно, пользователю лучше писать и валидировать skill-документы вручную. — Оптимальная подача — от одного до трёх skill-документов: короткие, ясные, структурированные инструкции с одним-двумя примерами. https://arxiv.org/abs/2602.12670