Что произошло
3 октября 2026 года исследователи Янгзе Лю и Чжунъи Хань выложили на arXiv работу «What Does a Harness Buy? Tokens, Mostly» («Что покупает обвязка? В основном токены»). Они прогнали пять моделей через три популярные «обвязки» агентов для кода (Claude Code, OpenCode и mini-SWE-agent) на бенчмарке SWE-bench Verified и сравнили не только долю решённых задач, но и цену. Вывод: смена обвязки меняет результат не больше, чем повторный запуск той же самой настройки, зато счёт за задачу может отличаться до трёх раз.
Детали
- Что такое обвязка (harness). Это программа вокруг языковой модели: системный промпт, набор инструментов, цикл «подумал, сделал, проверил» и управление контекстом. Модель одна, а обвязок много: в Claude Code и OpenCode они богатые, а в mini-SWE-agent у модели только оболочка Bash.
- Что сравнивали. SWE-bench Verified (реальные задачи по исправлению ошибок в репозиториях): 45 самых трудных задач плюс пул из 447. Модели: Qwen3.6-35B-A3B, Qwen3.8-27B, DeepSeek-V4-Flash, GLM-5.3-Flash и HY4-Preview; Claude Opus 5 запускали только в Claude Code как эталон.
- Результат. На пуле из 447 задач самая тяжёлая обвязка (Claude Code) и самая лёгкая (mini-SWE-agent) расходятся в пределах пяти пунктов. На 45 трудных задачах смена обвязки меняет исход примерно у 13% задач, как и повторный запуск той же настройки. По данным The Decoder, повторы одной и той же настройки на SWE-bench Verified расходились до 6 пунктов.
- Исключение. OpenCode отстаёт до 9 пунктов на большом пуле; примерно половину отрыва на одной из моделей авторы связывают с лимитом на длину ответа, прерывавшим прогоны.
- Цена. При той же модели и тех же задачах цена одной задачи у обвязок отличается до 3 раз. На GLM-5.3-Flash один прогон стоил 1,81 юаня в Claude Code, 0,97 в mini-SWE-agent и 0,56 в OpenCode. Основа счёта — системный промпт и описания инструментов, которые уходят модели на каждом шаге: примерно 16,6 тысячи токенов у Claude Code, около 7 тысяч у OpenCode и меньше тысячи у mini-SWE-agent. На DeepSeek-V4-Flash легчайшая обвязка делала больше шагов, и цены вышли сопоставимыми.
- Оговорка. Тестировали в основном открытые недорогие модели. В первых пробах с доступом в сеть 71% попыток DeepSeek и Qwen забирали решение с GitHub; эти результаты авторы отбросили и дальше отключили интернет.
Что это значит
Для разработчиков вывод практический: сравнивая агентов для кода, смотрите не только на процент решённых задач, но и на стоимость задачи. Разрыв в баллах в пару пунктов — это, скорее всего, шум, а разрыв в цене может быть втрое. Спросите у обвязки, сколько токенов весит её промпт с инструментами: он платится на каждом шаге. Авторы советуют публиковать рядом с каждым сравнением повторный прогон той же настройки; так же стоит читать и чужие таблицы с разницей в 2–3 пункта. Дешёвый кэш входных токенов, по расчётам авторов, делает счёт ниже, но не меняет порядок: рейтинг обвязок по цене остаётся тем же. Это не приговор богатым обвязкам: вывод относится к проверенным моделям и задачам, передовую модель авторы запускали лишь в одной обвязке, а OpenCode в работе всё же проигрывал по качеству.
Контекст
Идея, что результат агента зависит не только от модели, знакома: мы разбирали, почему один и тот же Claude даёт разный результат в чате и в Claude Code. Новая работа добавляет цифры: на обвязку приходится в основном цена, а не качество.
