Mistral Medium 3.5 128B: открытые веса, 75 ГБ в 4 битах, 7,7 ток/с в FP8 на M5 Ultra

Коротко: Mistral Medium 3.5 — открытая 128B, но не для одной RTX

Mistral Medium 3.5 — языковая модель французской Mistral AI, вышедшая 29 апреля 2026 года. Её веса открыты на Hugging Face, и это главное отличие от Medium 3 и 3.1, которые работали только через API. Но слово Medium вводит в заблуждение: это не «средняя домашняя» модель, а плотная сеть на 128 миллиардов параметров.

• Что это: одна модель вместо трёх — обычный чат, режим рассуждений (reasoning) и агентный код. Контекст 256 тысяч токенов, понимает картинки, отвечает текстом.
• Лицензия: Modified MIT. Бесплатно для коммерции, пока месячная выручка компании не превышает $20 млн.
• Цена API на 25.10.2026: $1,5 за миллион входящих токенов и $7,5 за миллион исходящих — дороже всех открытых конкурентов из нашего сравнения.
• Железо: 4-битная версия весит 74,9 ГБ. Её тянет Mac со 128 ГБ единой памяти; одна видеокарта RTX не тянет — веса приходится держать в оперативной памяти, и скорость не выше 1,4–2 токенов в секунду (расчётный потолок).
• Скорость на Mac: Apple измерила 7,70 токена в секунду на Mac Studio M5 Ultra и 4,95 на M3 Ultra (исходные веса FP8, контекст 8K, 15.10.2026).
• Качество: у независимой Artificial Analysis индекс 14 при медиане 8 у открытых моделей того же размера, а у Qwen3.8 27B и DeepSeek V4 Flash — по 34.

Что такое Mistral Medium 3.5 и чем она отличается от Medium 3.1

Medium 3.5 — первая «объединённая» флагманская модель Mistral: в одном наборе весов собраны выполнение инструкций, рассуждения и программирование. По карточке модели она заменила Medium 3.1 и Magistral в чат-боте Le Chat и Devstral 2 в агенте для кода Vibe.

Модель называют плотной (dense). Это значит, что при генерации каждого токена работают все 128 миллиардов параметров. У моделей MoE (mixture of experts, «смесь экспертов») всё иначе: из сотен миллиардов параметров на токен включается небольшая часть. Для домашнего запуска эта разница решающая, к ней мы вернёмся в разделе про скорость.

Что изменилось по сравнению с Medium 3.1:

Binance · Wall Street 24/7А если бы вы купили золото летом?+? %Тренажёр на реальных ценах Binance покажет результат. Без денег и регистрации

GOLDNVDATSLA

Открыть тренажёр

Рассуждения включаются параметром reasoning_effort. Значение none даёт быстрый ответ без размышлений, high — режим, в котором модель сначала «думает», а потом отвечает. Mistral советует high для сложных запросов и агентного кода, с температурой 0,7.

GLM-5.3 от Z.ai: флагман 753B не для дома, а Flash работает на Mac со 128 ГБ

Whisper large-v3 и turbo на ПК и Mac: 4,96% ошибок на русском, память от 2,9 ГБ

Qwen 3.6 35B-A3B — MoE-модель Alibaba: 21–24 ГБ в 4 битах и до 183 ток/с дома

Qwen 3.8 27B на своём железе: 17,6 ГБ в 4 битах и индекс 34 у Artificial Analysis

Stable Diffusion локально — SDXL идёт на 12 ГБ, а полный SD 3.5 Large весит 27,9 ГБ

Языков в метаданных карточки 24, включая украинский и русский. Независимых тестов качества на этих языках мы не нашли, поэтому оценки здесь нет.

Место в линейке: сверху стоит Mistral Large 4 с индексом Artificial Analysis 38, снизу — Small 4 (индекс 11). Decrypt при выходе Medium 3.5 писал, что Mistral видит в ней ступень к будущему большому флагману. В октябре Large 4 вышла, но на 25.10.2026 это превью только через API, без открытых весов.

Версии, размеры и лицензия Modified MIT: что можно скачать

Официальный репозиторий называется Mistral Medium 3.5 128B. Mistral публикует веса сразу в формате FP8 (8 бит с плавающей точкой) с визуальным энкодером в BF16: 121,8 млрд параметров в FP8 и 5,9 млрд в BF16, вместе около 133,6 ГБ. Полную 16-битную версию и сжатые варианты собирает Unsloth.

На скриншоте карточки, снятом 25.10.2026, выделены три вещи: «Dense 128B parameters» и «256k context length» в списке характеристик, результат SWE-bench Verified 77,6 в блоке оценок и строка о лицензии с исключением для компаний с большой выручкой.

Квантование — это сжатие весов: каждое число хранится меньшим количеством бит. Файл становится легче, точность немного падает. Обозначения вида Q4_K_M читаются так: Q4 — около 4 бит на параметр, K_M — средний вариант алгоритма. Подробно о том, где начинается заметная потеря качества, — в разборе квантования Q4 против Q8.

EAGLE — маленькая вспомогательная модель, которая угадывает несколько следующих токенов наперёд, а большая только проверяет догадки. Так генерация на сервере идёт быстрее.

доля, а не целая акция

Binance · Wall Street 24/7Доля Nvidia — от7 USDTЦелую акцию покупать не нужно. Начните с маленькой суммы — риск под контролем

NVDATSLAAAPL

Первая сделка за 5 шагов

Лицензия Modified MIT — это обычная MIT с одним условием. Пользоваться моделью и производными от неё (дообученными версиями, квантами) нельзя, если глобальная консолидированная выручка вашей компании или вашего работодателя за предыдущий месяц превысила $20 млн. Порог считается помесячно, а не за год, как пишут в некоторых пересказах. Выше порога нужна отдельная коммерческая лицензия Mistral. Для фрилансера, студии или малого бизнеса ограничение не действует.

Бенчмарки Mistral Medium 3.5: цифры Mistral и независимые замеры

Бенчмарк — стандартный набор задач, на котором модели сравнивают по доле верных ответов. Цифры бывают двух видов: те, что публикует сам разработчик, и те, что получили сторонние лаборатории на своих прогонах. Их стоит держать в разных колонках.

Карточка Artificial Analysis на 25.10.2026 даёт модели индекс 14 и восьмое место из 67 среди открытых моделей похожего размера (у AA это класс 40–150 млрд параметров). Отдельные тесты, из которых собран индекс, — в разделе Benchmarks на странице Mistral Medium 3.5. В части каталогов до сих пор висит «30» — это снимок прежней версии индекса, сравнивать его с нынешними цифрами нельзя.

График показывает расстановку на одной шкале: Medium 3.5 обходит gpt-oss-120b и Mistral Small 4, но отстаёт от Qwen3.6 27B, а Qwen3.8 27B и DeepSeek V4 Flash набирают в 2,4 раза больше.

Почему вендорские 77,6% на SWE-bench не превращаются в высокий сводный балл. Во-первых, это самоотчёт: независимого прогона SWE-bench Verified для Medium 3.5 в открытых источниках нет. Во-вторых, сводный индекс охватывает не только код, а рассуждения, знания и длинные агентные сценарии. Модель, заточенная под агентов для кода, может быть сильна в одной дисциплине и средней в остальных.

Как запустить Mistral Medium 3.5 локально: Ollama, llama.cpp, vLLM

Локальный запуск означает, что модель работает на вашем компьютере без интернета и без отправки данных в Mistral. Веса скачиваются с Hugging Face. Ниже — пять шагов от самого простого пути к серверному.

1. Выберите квант под свою память. Ориентир — таблица в следующем разделе. Для Mac на 128 ГБ это Q4_K_M или UD-Q4_K_XL, для 96 ГБ — Q3_K_M.
2. Самый простой путь — Ollama. Установите Ollama и выполните одну команду. Тег по умолчанию весит 80 ГБ и поддерживает контекст 256K.

ollama run mistral-medium-3.5

1. Больше контроля — llama.cpp. Соберите свежую версию с GitHub. На Mac параметр -DGGML_CUDA=OFF, поддержка Metal включена по умолчанию. Запуск прямо с Hugging Face в режиме рассуждений:

./llama.cpp/llama-cli \
    -hf unsloth/Mistral-Medium-3.5-128B-GGUF:UD-Q4_K_XL \
    --temp 0.7 \
    --chat-template-kwargs '{"reasoning_effort":"high"}'

1. Свой API для приложений — llama-server. Он поднимает OpenAI-совместимый сервер, к которому подключаются чат-клиенты и агенты:

./llama.cpp/llama-server \
    -hf unsloth/Mistral-Medium-3.5-128B-GGUF:UD-Q4_K_XL \
    --alias "mistral-medium-3.5" --port 8001 --temp 0.7 \
    --chat-template-kwargs '{"reasoning_effort":"none"}'

1. Сервер компании — vLLM или SGLang. Mistral рекомендует vLLM (ночную сборку) и пишет, что модель работает от четырёх GPU. Рецепт vLLM советует 8×H200, подходят и 4×B200. Один B200 вмещает веса FP8, но почти не оставляет места под контекст 256K.

Что работает, а что нет, на 25.10.2026:

Три ловушки чаще всего портят первый запуск. Первая — в конфиге Transformers была ошибка, из-за которой падало качество на длинном контексте. Mistral исправила её коммитом c4be198, а Unsloth 1 мая 2026 года перевыпустила все GGUF. Скачанные раньше файлы стоит заменить. Вторая — CUDA 13.2: по предупреждению Unsloth, на ней модель выдаёт бессмыслицу. Третья — картинки в Ollama: если нужен анализ изображений, надёжнее llama.cpp с отдельным файлом mmproj-BF16.gguf (5,4 ГБ).

Кому 128B не по железу, но хочется модель того же разработчика дома, стоит посмотреть на Mistral Small на своём ПК: там тот же путь через Ollama и llama.cpp, но на обычной видеокарте.

Сколько памяти нужно модели на 128B: кванты, Mac и RTX

Правило простое: в память должны поместиться файл модели и кэш контекста. Кэш контекста (KV-кэш) — это рабочая память разговора, она растёт с длиной переписки. Unsloth рекомендует 64 ГБ суммарной памяти для 3-битной версии, 80 ГБ — для 4-битной и 128–170 ГБ — для 8-битной.

Сколько весит контекст, видно из замера Apple: при 65 536 токенах модель в FP8 заняла до 158 ГБ, то есть сверх 133,6 ГБ весов ушло около 24 ГБ. Эту прибавку мы переносим и на кванты — это оценка.

На графике видно, что 4-битный квант весит почти вдвое меньше оригинала FP8, а между Q4_K_M и Q8_0 лежит разница в 58 ГБ — это и есть цена перехода на ступень памяти выше.

Mac: единая память и лимит видеоядра

У Mac нет отдельной видеопамяти — процессор и видеоядро делят одну единую память. Но macOS по умолчанию отдаёт видеоядру не всю её, а около 3/4: по логам llama.cpp это 412,3 ГБ на Mac с 512 ГБ и 40,2 ГБ на 48-гигабайтном Mac с macOS 26.3. Как проверить и поднять лимит командой sysctl, подробно описано в статье о том, сколько единой памяти нужно Mac для ИИ.

Лимиты в таблице переведены в десятичные гигабайты, чтобы сравнивать их с размерами файлов напрямую. Где лога нет, стоит оценка по правилу 3/4. Какой Mac под какие модели вообще имеет смысл покупать, сведено в хабе «Какой Mac выбрать».

ПК с RTX: видеопамяти не хватает ни одной карте

Ни одна потребительская видеокарта NVIDIA не вмещает даже самый сжатый квант: у RTX 5090 32 ГБ видеопамяти (VRAM), у RTX 4090 — 24 ГБ, у RTX 3060 — 12 ГБ, а UD-IQ2_XXS весит 34,9 ГБ. Остальное llama.cpp держит в обычной оперативной памяти и считает процессором — это называется выгрузкой (offload).

Запустить так можно, но быстро не будет: решает скорость оперативной памяти, а не видеокарты. Подробнее — в следующем разделе.

Скорость генерации на Mac и RTX: замер Apple и оценка

Скорость генерации — сколько токенов в секунду модель выдаёт в ответ. Токен — кусочек слова, в русском тексте на слово уходит в среднем больше одного токена. У плотной модели генерация упирается в пропускную способность памяти: на каждый токен нужно один раз прочитать все веса. Отсюда формула потолка:

Потолок, ток/с ≈ пропускная способность памяти, ГБ/с ÷ размер весов, ГБ
Оценка, ток/с ≈ потолок × коэффициент 0,6–0,8

Замер Apple на Mac Studio

Единственный опубликованный замер этой модели на потребительском железе сделала сама Apple. 15 октября 2026 года команда Apple Machine Learning Research прогнала модель в исходной точности FP8 через mlx_lm.benchmark на Mac Studio с 512 ГБ и опубликовала таблицы скорости.

На скриншоте таблицы, снятом 25.10.2026, выделена вкладка «8,192 tokens» и строка модели: 4,95 токена в секунду на M3 Ultra, 7,70 на M5 Ultra и 23,37 на кластере из четырёх M5 Ultra.

Вторая половина таблицы важнее для агентов. Время до первого токена — это сколько модель читает ваш запрос, прежде чем начать отвечать. На M3 Ultra запрос в 64 тысячи токенов (большой кусок кодовой базы) обрабатывается 1097,9 секунды, то есть больше 18 минут. M5 Ultra справляется за 273 секунды, около 4,5 минуты: у видеоядра нового поколения появились ускорители умножения матриц.

Замер Apple ещё и калибрует формулу. 819 ГБ/с ÷ 133,6 ГБ дают потолок 6,1 токена в секунду, реальные 4,95 — это 81% потолка. У M5 Ultra 1228,8 ГБ/с (пропускная способность шины LPDDR5X, Apple округляет её до 1,2 ТБ/с) ÷ 133,6 ГБ = 9,2, реальные 7,70 — 84%.

Оценка для 4-битного кванта на Mac и RTX

Для Q4_K_M (74,9 ГБ) замеров нет, поэтому ниже — оценка. Коэффициент берём в диапазоне 0,6–0,8: верх — то, что Apple получила на этой модели в MLX, низ — запас на llama.cpp и распаковку 4-битных весов, которая тоже стоит вычислений. Для ПК с видеокартой считаем потолок по оперативной памяти: двухканальная DDR5-5600 даёт 5600 × 8 байт × 2 канала = 89,6 ГБ/с. Это теоретический пик. В старых ПК с RTX 3060 часто стоит DDR4-3200 — это 51,2 ГБ/с, и потолок опускается примерно до 0,8 токена в секунду.

Главное, что видно на графике: даже лучший Mac со сжатой моделью выдаёт около 10–13 токенов в секунду, а ПК с одной видеокартой упирается в потолок около 2.

Откуда разница с замером: 4-битный файл легче оригинала FP8 в 1,8 раза (74,9 против 133,6 ГБ), но середина нашей оценки для M3 Ultra (≈7,7) выше замера Apple (4,95) лишь в 1,6 раза. Мы сознательно взяли коэффициент ниже, чем у Apple (0,7 против 0,81): llama.cpp и распаковка 4-битных весов съедают часть выигрыша. Это не проверка оценки, а её посылка — замера Q4 на этой модели пока нет. В MLX есть свои 4-битные кванты, и там коэффициент, скорее всего, ближе к верхней границе. У видеокарт потолок посчитан так, будто часть весов в VRAM читается мгновенно, поэтому реальная скорость будет ниже.

Почему MoE той же массы в разы быстрее

gpt-oss-120b весит в 4 битах 59 ГиБ, почти как Medium 3.5 в Q3, но это MoE: на каждый токен включается 5,1 млрд параметров из 117. В замере llama.cpp на M2 Ultra она пишет 79,68 токена в секунду, а наша оценка для Medium 3.5 в Q4 на том же чипе — около 7,5. Разница в 10 раз при похожем объёме памяти. Разработчик Сальваторе Санфилиппо (antirez) писал в обсуждении анонса на Hacker News, что DeepSeek V4 Flash в 2 битах (GGUF на 86 ГБ) выдаёт у него около 30 токенов в секунду на M3 Ultra — это пользовательский замер, а не методика лаборатории. Память покупается под «сколько параметров всего», а скорость определяется тем, сколько из них работает на токен.

Mistral Medium 3.5 против Qwen 3.6 27B, DeepSeek V4 Flash и gpt-oss

Сравнение собрано под вопрос «что запускать дома или дёшево брать по API». Индекс и цены — Artificial Analysis на 25.10.2026, архитектура и лицензии — карточки моделей.

Mistral Medium 3.5 vs Qwen 3.6 27B: почти ничья в SWE-bench

Эта пара интересна тем, что обе плотные, но Qwen меньше почти в пять раз. По самоотчётам разработчиков в SWE-bench Verified у Mistral 77,6%, у Qwen3.6-27B — 77,2% (последний столбец таблицы в карточке Qwen). Decrypt в своём материале привёл для Qwen 72,4% — первоисточник эту цифру не подтверждает. На сводной шкале Artificial Analysis Qwen3.6 27B выше: 21 против 14. А по железу разрыв огромный: при одинаковом кванте 27 млрд параметров читаются на токен почти в пять раз быстрее, чем 128 млрд, и помещаются в память, где Medium 3.5 не поместится вовсе.

DeepSeek V4 Flash и gpt-oss: кто быстрее дома

Если у вас Mac на 128–192 ГБ, DeepSeek V4 Flash выигрывает по обоим параметрам — индекс 34 и, судя по отчёту antirez, кратно большая скорость. Подробный разбор — в обзоре DeepSeek V4 Flash. gpt-oss-120b слабее Medium по индексу (12 против 14), зато влезает в 80-гигабайтную видеокарту и в Mac на 96 ГБ, а работает в разы быстрее. Как поставить её на свой ПК — в гайде по GPT-OSS локально.

По цене API Medium 3.5 — самая дорогая модель сравнения: исходящий миллион токенов стоит $7,50, у Qwen3.8 27B — $3,00, у DeepSeek V4 Flash — $0,28.

У Mistral есть и кэшированный вход за $0,15: повторяющийся кусок промпта, например системные инструкции агента, стоит в 10 раз дешевле.

Тарифы чата Mistral: попробовать Medium 3.5 без скачивания

Попробовать модель без 75 ГБ весов можно в чате Mistral Le Chat: по карточке модели Medium 3.5 заменила там Medium 3.1 и Magistral. На странице тарифов Mistral чат теперь идёт под именем Vibe. Что бесплатный план открывает именно Medium 3.5, там прямо не сказано — написано «наши последние модели».

Лимиты бесплатного плана Mistral в цифрах не публикует, поэтому для регулярной работы с длинными документами ориентир — Pro или API.

Риски Mistral Medium 3.5: когда цена, скорость и лицензия мешают

• Обычный игровой ПК. С одной RTX потолок около 1,4–2 токенов в секунду (оценка). Ответ в 500 токенов будет печататься не меньше 4–6 минут.
• Mac на 64 ГБ и меньше. Поместится только 2-битный квант, а это заметная потеря качества при той же низкой скорости.
• Агенты с длинным контекстом на M3 Ultra. По замеру Apple запрос в 64 тысячи токенов обрабатывается больше 18 минут.
• Экономия на API. На 25.10.2026 тариф $1,5/$7,5. Прежняя Medium 3 при запуске в мае 2025 года стоила, по анонсу Mistral, $0,4 за миллион входящих и $2 за миллион исходящих токенов — новая версия дороже в 3,75 раза. Открытые конкуренты из сравнения дешевле в 2,5–27 раз по выходу.
• Крупная компания. Если месячная выручка выше $20 млн, свободная лицензия не действует — нужна коммерческая.
• Решение по одним вендорским цифрам. 77,6% на SWE-bench — самоотчёт Mistral. На независимых шкалах модель в середине таблицы: AA 14, Vals 32,69%, Epoch ECI 141.
• Работа с картинками через Ollama. Источники противоречат друг другу. Если зрение критично, используйте llama.cpp с файлом mmproj и проверьте на своих изображениях.

Пользовательских отзывов о модели мало: по запросу «Mistral Medium 3.5 review» поиск выдаёт в основном каталоги моделей и пересказы анонса, а в октябрьских обсуждениях на Reddit и в X разговор ушёл к Large 4 и Qwen3.8. На Hacker News в день выхода спорили две позиции: «конкурирует с моделями в пять раз крупнее» и «дороже Haiku и китайских аналогов».

Кому брать Medium 3.5: API, Mac со 128 ГБ или модель поменьше

Сильные и слабые стороны модели одним списком:

Доступ из Украины: веса скачиваются с Hugging Face без аккаунта Mistral, у локального запуска нет региональных ограничений. Оплату API украинской картой мы не проверяли.

Как мы оценивали Medium 3.5 без собственного прогона

Своего запуска модели у нас не было. Вывод собран из открытых источников, и каждая цифра в статье помечена: замер, самоотчёт разработчика или наш расчёт.

• Характеристики и лицензия — карточка модели и полный текст LICENSE на Hugging Face, блог и прайс Mistral.
• Размеры файлов — сумма частей каждого кванта из API Hugging Face, 25.10.2026.
• Качество — три независимые шкалы с разными методиками: Artificial Analysis, Vals AI, Epoch AI. Усреднять их нельзя.
• Скорость — замер Apple Machine Learning Research (15.10.2026) и наша оценка по открытой формуле. Все оценки в таблицах и на графиках помечены и заштрихованы.
• Железо — пропускная способность Mac из спецификаций Apple, видеопамять — со страниц NVIDIA.

Первыми устареют цены API, индексы Artificial Analysis (лаборатория пересчитывает их при смене версии индекса) и статус LM Studio. Свежие значения — на страницах Mistral и Artificial Analysis из списка источников.

FAQ

Можно ли скачать Medium 3.5 бесплатно и использовать в бизнесе?

Да. Веса бесплатно скачиваются с Hugging Face, а лицензия Modified MIT разрешает коммерческое использование. Единственное условие: если глобальная выручка вашей компании или работодателя за предыдущий месяц превысила $20 млн, нужна отдельная коммерческая лицензия Mistral. Ограничение распространяется и на производные модели — дообученные версии и кванты.

Сколько оперативной памяти нужно, чтобы запустить модель дома?

Для 4-битного кванта Q4_K_M (74,9 ГБ) нужно около 80 ГБ памяти суммарно. На Mac это ступень 128 ГБ: видеоядру по умолчанию доступно около 103 ГБ. На ПК — видеокарта плюс 64–96 ГБ оперативной памяти. Mac на 64 ГБ вместит только 2-битную версию с заметной потерей качества.

Потянет ли Medium 3.5 видеокарта RTX 4090 или RTX 5090?

Запустить можно, но с выгрузкой: ни одна потребительская карта не вмещает модель целиком, даже 2-битный квант весит 34,9 ГБ. Большая часть весов остаётся в оперативной памяти, и скорость упирается в неё. По нашей оценке потолок — около 1,8 токена в секунду на RTX 4090 и 2,1 на RTX 5090 с двухканальной DDR5.

Mistral Medium 3.5 или Qwen 3.6 27B — что лучше для кода?

По самоотчётам разница минимальна: 77,6% у Mistral и 77,2% у Qwen3.6-27B в SWE-bench Verified. На независимой шкале Artificial Analysis Qwen выше — 21 против 14, а новая Qwen3.8 27B набирает 34. Qwen меньше почти в пять раз, поэтому дома работает заметно быстрее и требует гораздо меньше памяти.

Работает ли Medium 3.5 в Ollama и LM Studio с картинками?

С текстом Ollama работает: команда ollama run mistral-medium-3.5 скачивает тег на 80 ГБ. С изображениями источники расходятся: страница Ollama отмечает поддержку зрения, а Unsloth пишет, что vision-GGUF в Ollama не работают. В LM Studio, судя по карточке модели, поддержка ещё в разработке. Для картинок надёжнее llama.cpp с файлом mmproj.

Чем Mistral Medium 3.5 отличается от Medium 3.1 и Mistral Large 4?

Medium 3.1 была закрытой моделью только для API и стоила дешевле. Medium 3.5 получила открытые веса, встроенные рассуждения и заменила Magistral и Devstral 2. Large 4 — следующая ступень линейки: у Artificial Analysis её индекс 38 против 14 у Medium 3.5, но пока это превью только через API: открытых весов на 25.10.2026 нет, Mistral обещает их позже.