Що сталося
4 серпня незалежний бенчмарк VulcanBench оприлюднив прогін свіжої моделі Alibaba — Qwen 3.8-Max. Результат виявився майже протилежним до того, що показувала таблиця самої Alibaba: на низькому налаштуванні зусилля модель розв’язує 81,2% завдань, а на тому налаштуванні, з яким вона постачається за замовчуванням, — 55,1%.
Деталі
Прогін ішов на наборі v3: 23 завдання, 202 запуски. Окремо бенчмарк відзначає характер провалів на високих налаштуваннях зусилля — це не хибні відповіді, а незакінчені прогони: модель не встигає у відведений час.
Звідси й розбіжність із цифрами розробника. У виносках Alibaba вказано таймаут п’ять годин на завдання, а на тесті PaperBench — до 12 годин на прогін. VulcanBench давав 45–60 хвилин реального часу. Тобто бюджет часу в Alibaba був у 5–16 разів більший — за такого розриву порівнювати відсотки в лоб немає сенсу.
Для порівняння — прогін Claude Opus 5 на тому самому наборі від 26 липня (23 завдання, 69 запусків): найдешевше налаштування розв’язує 20 завдань із 23 і обходиться у $0,70 за розв’язане завдання, а з кожним кроком угору за зусиллям бал падає, тоді як витрати потроюються.
Ціни за мільйон токенів (на вхід і на вихід, на дату публікації звіту — 4 серпня 2026 року):Модель Вхід Вихід DeepSeek-V4-Flash-0731 $0,14 $0,28 Qwen 3.8-Max $2 $6 Kimi K3 $3 $15
Що це означає
Стосується це тих, хто обирає модель під агента для коду за таблицями з відсотками. Різниця між 81,2% і 55,1% — це та сама модель, відрізняється лише положення «повзунка зусилля»: заводське налаштування тут працює проти користувача, а ввімкнена «про всяк випадок» глибина перетворюється на незакінчені прогони, за які однаково списуються токени. Практичний висновок простий: дивитися не на відсоток у шапці звіту, а на ціну за розв’язане завдання — усе витрачене, включно з провальними спробами, поділене на прийняті результати; в Opus 5 це $0,70 на найдешевшому налаштуванні. І читати виноски про таймаут: за бюджету у п’ять годин і у сорок п’ять хвилин виходять різні моделі. Перевірити це можна одразу — під час наступного вибору постачальника під свій пайплайн.
