Что произошло
4 августа независимый бенчмарк VulcanBench опубликовал прогон свежей модели Alibaba — Qwen 3.8-Max. Результат оказался почти обратным тому, что показывала таблица самой Alibaba: на низкой настройке усилия модель решает 81,2% задач, а на той настройке, с которой она поставляется по умолчанию, — 55,1%.
Детали
Прогон шёл на наборе v3: 23 задачи, 202 запуска. Отдельно бенчмарк отмечает характер провалов на высоких настройках усилия — это не неверные ответы, а незаконченные прогоны: модель не успевает в отведённое время.
Отсюда и расхождение с цифрами разработчика. В сносках Alibaba указан таймаут пять часов на задачу, а на тесте PaperBench — до 12 часов на прогон. VulcanBench давал 45–60 минут реального времени. То есть бюджет времени у Alibaba был в 5–16 раз больше — при таком разрыве сравнивать проценты в лоб бессмысленно.
Для сравнения — прогон Claude Opus 5 на том же наборе от 26 июля (23 задачи, 69 запусков): самая дешёвая настройка решает 20 задач из 23 и обходится в $0,70 за решённую задачу, а с каждым шагом вверх по усилию балл падает, тогда как расходы утраиваются.
Цены за миллион токенов (на вход и на выход, на дату публикации отчёта — 4 августа 2026 года):Модель Вход Выход DeepSeek-V4-Flash-0731 $0,14 $0,28 Qwen 3.8-Max $2 $6 Kimi K3 $3 $15
Что это значит
Касается это тех, кто выбирает модель под агента для кода по таблицам с процентами. Разница между 81,2% и 55,1% — это одна и та же модель, отличается только положение «ползунка усилия»: заводская настройка здесь работает против пользователя, и включённая «на всякий случай» глубина превращается в незаконченные прогоны, за которые всё равно списываются токены. Практический вывод простой: смотреть не на процент в шапке отчёта, а на цену за решённую задачу — всё потраченное, включая провальные попытки, делённое на принятые результаты; у Opus 5 это $0,70 на самой дешёвой настройке. И читать сноски про таймаут: при бюджете в пять часов и в сорок пять минут получаются разные модели. Проверить это можно сразу — при следующем выборе поставщика под свой пайплайн.
