Що сталося
3 жовтня 2026 року дослідники Янгзе Лю та Чжунї Хань виклали на arXiv роботу «What Does a Harness Buy? Tokens, Mostly» («Що купує обв’язка? Здебільшого токени»). Вони прогнали п’ять моделей через три популярні «обв’язки» агентів для коду (Claude Code, OpenCode і mini-SWE-agent) на бенчмарку SWE-bench Verified та порівняли не лише частку розв’язаних задач, а й ціну. Висновок: зміна обв’язки змінює результат не більше, ніж повторний запуск тих самих налаштувань, зате рахунок за задачу може відрізнятися до трьох разів.
Деталі
- Що таке обв’язка (harness). Це програма навколо мовної моделі: системний промпт, набір інструментів, цикл «подумав, зробив, перевірив» і керування контекстом. Модель одна, а обв’язок багато: у Claude Code і OpenCode вони багаті, а в mini-SWE-agent модель має лише оболонку Bash.
- Що порівнювали. SWE-bench Verified (реальні задачі з виправлення помилок у репозиторіях): 45 найважчих задач плюс пул із 447. Моделі: Qwen3.6-35B-A3B, Qwen3.8-27B, DeepSeek-V4-Flash, GLM-5.3-Flash і HY4-Preview; Claude Opus 5 запускали лише в Claude Code як еталон.
- Результат. На пулі з 447 задач найважча обв’язка (Claude Code) і найлегша (mini-SWE-agent) розходяться в межах п’яти пунктів. На 45 важких задачах зміна обв’язки змінює підсумок приблизно в 13% задач, як і повторний запуск тих самих налаштувань. За даними The Decoder, повтори одних і тих самих налаштувань на SWE-bench Verified розходилися до 6 пунктів.
- Виняток. OpenCode відстає до 9 пунктів на великому пулі; приблизно половину відриву на одній із моделей автори пов’язують із лімітом на довжину відповіді, що переривав прогони.
- Ціна. За тієї самої моделі й тих самих задач ціна однієї задачі в обв’язок відрізняється до 3 разів. На GLM-5.3-Flash один прогін коштував 1,81 юаня в Claude Code, 0,97 у mini-SWE-agent і 0,56 в OpenCode. Основа рахунку — системний промпт та описи інструментів, які надходять моделі на кожному кроці: приблизно 16,6 тисячі токенів у Claude Code, близько 7 тисяч в OpenCode і менш як тисяча в mini-SWE-agent. На DeepSeek-V4-Flash найлегша обв’язка робила більше кроків, і ціни вийшли співмірними.
- Застереження. Тестували переважно відкриті недорогі моделі. У перших пробах із доступом до мережі 71% спроб DeepSeek і Qwen забирали розв’язок із GitHub; ці результати автори відкинули й надалі вимкнули інтернет.
Що це означає
Для розробників висновок практичний: порівнюючи агентів для коду, дивіться не лише на відсоток розв’язаних задач, а й на вартість задачі. Розрив у балах на пару пунктів — найімовірніше шум, а розрив у ціні може бути втричі. Запитайте в обв’язки, скільки токенів важить її промпт з інструментами: він сплачується на кожному кроці. Автори радять публікувати поруч із кожним порівнянням повторний прогін тих самих налаштувань; так само варто читати й чужі таблиці з різницею в 2–3 пункти. Дешевий кеш вхідних токенів, за розрахунками авторів, знижує рахунок, але не змінює порядок: рейтинг обв’язок за ціною лишається тим самим. Це не вирок багатим обв’язкам: висновок стосується перевірених моделей і задач, передову модель автори запускали лише в одній обв’язці, а OpenCode в роботі все ж програвав за якістю.
Контекст
Ідея, що результат агента залежить не лише від моделі, знайома: ми розбирали, чому той самий Claude дає різний результат у чаті та в Claude Code. Нова робота додає цифри: на обв’язку припадає переважно ціна, а не якість.
