Soofi S 30B: первая суверенная модель Германии — и главный вопрос, можно ли запустить её локально

Коротко (TL;DR)

Soofi S — открытая языковая модель на 30 млрд параметров, которую 13 июля 2026 года выпустил немецкий консорциум под руководством KI Bundesverband. Это первый заметный результат европейской попытки построить «суверенный» ИИ: опубликованы не только веса, но и код обучения, код оценки и полная опись данных. Модель двуязычная и заточена под немецкий язык, но конкурирует и по английским тестам.

Главное, что нужно понять сразу. Во-первых, это Preview: все чекпоинты на Hugging Face помечены «веса и метаданные ещё могут измениться», а финальный текст лицензии на 14 июля 2026 года не опубликован. Во-вторых, все бенчмарки — по данным самого консорциума; независимой проверки на публичных лидербордах пока нет, потому что модель вышла накануне. В-третьих, и это ключевой вопрос для нашей аудитории: запустить Soofi S дома можно, но выбор кванта нетривиален — есть две несовместимые линейки квантования с разными требованиями к железу и ОС.

Кому подходит уже сейчас: командам, которым важен немецкий язык, полная прозрачность обучения и локальный контроль над моделью. Кому стоит подождать: тем, кто хочет стабильный релиз с зафиксированной лицензией и сильную математику или надёжный длинный контекст. Ниже — полный разбор архитектуры, данных, лицензии, бенчмарков и практическая таблица «какой квант на какую видеокарту».

Что такое Soofi S и зачем он вообще нужен

Soofi S — это первая модельная генерация проекта Soofi, немецкой инициативы по созданию открытых языковых моделей для промышленности. Проект финансирует Федеральное министерство экономики и энергетики Германии (BMWE) — около 20 млн евро в рамках европейской инициативы 8ra. Координирует работу отраслевая ассоциация KI Bundesverband, а в консорциум входят исследовательские центры и стартапы: Fraunhofer, DFKI, TU Darmstadt, Uni Würzburg, L3S при Uni Hannover, Berliner Hochschule für Technik, а также компании Ellamind и Merantix Momentum.

SpaceX · xStockSpaceX — частная компания. Торгуй её токеном на Bybit за крипту.Торговать SpaceX →

Зачем это Германии и Европе? Идея «суверенного ИИ» простая: не зависеть целиком от закрытых американских и китайских моделей, а иметь свою — с понятным происхождением данных, прозрачным обучением и возможностью запускать локально, без отправки корпоративных данных в чужое облако. Soofi S — не финальная цель, а первый шаг. Изначальный замысел проекта, анонсированный ещё в конце 2025 года, — открытая модель примерно на 100 млрд параметров как фундамент для европейских индустриальных приложений.

ИИ-видеостартап PixVerse довёл Series C до $439 млн и стал единорогом

Создатель ИИ-агента Hermes Nous Research ведёт переговоры о раунде при оценке $1,5 млрд

Что показало и чего не показало новое исследование интерпретируемости Anthropic

Anthropic нашла внутри Claude «рабочий стол мыслей» — и это не про сознание

Германский консорциум выпустил Soofi S — открытую модель 30B, обошедшую конкурентов

Суверенный ИИ здесь означает не «самый умный», а «свой и проверяемый»: модель, обученную на прозрачных данных, с открытым кодом и правом развернуть её на собственном железе. Это принципиально другой критерий успеха, чем гонка за первым местом в общем рейтинге. Держите это в голове, когда будете смотреть на бенчмарки.

Важная деталь с самого начала: Soofi S — это Preview, то есть бета. На каждой карточке модели на Hugging Face стоит предупреждение «Preview / internal checkpoint. Weights and metadata may still change». Это не окончательный продукт, а рабочий чекпоинт, который выложили ради обратной связи и прозрачности. Оценивать его нужно именно так.

Архитектура: почему длинный контекст даётся «почти даром»

Soofi S построена на гибридной архитектуре Mamba-2 + Mixture-of-Experts (MoE). Разберём оба слова по отдельности, потому что именно из них следуют все практические особенности модели.

MoE (смесь экспертов) — это когда модель формально большая, но на каждый токен работает лишь малая её часть. У Soofi S 128 маршрутизируемых экспертов плюс один общий, а на генерацию каждого токена активируются только 6 из них. Отсюда две цифры, которые надо различать: всего в модели около 30 млрд параметров, но за один проход работают лишь примерно 3,5 млрд. Первое число определяет, сколько памяти нужно, чтобы держать модель; второе — насколько быстро она считает.

Здесь же первое расхождение в источниках, о котором стоит знать. Официальная карточка на Hugging Face даёт 30 млрд всего / ~3,5 млрд активных, а обзор The Decoder приводит 31,6 млрд / 3,2 млрд. Скорее всего, это разные снапшоты предфинального чекпоинта или разное округление. Мы берём за основу официальные цифры Hugging Face; медиа-вариант упоминаем как встречающийся, но не как альтернативный факт. Само по себе такое расхождение — маркер того, что материалы консорциума ещё не устоялись (напомним: Preview).

Mamba-2 — это архитектура из семейства state-space моделей. Её ценность в том, что классический трансформер хранит так называемый KV-кэш (память о всём предыдущем тексте), и этот кэш растёт вместе с длиной контекста, съедая видеопамять и замедляя работу. В Soofi S полноценный KV-кэш держат лишь единицы слоёв (по данным The Decoder — 6 слоёв), а остальные устроены как Mamba-2 и такого кэша не требуют. Архитектуру консорциум, по его же признанию, взял у Nvidia Nemotron 3 Nano практически без изменений.

Bybit · Rewards Hubдо $30,100Внеси депозит, торгуй 14 дней — и забери награды в Rewards HubЗабрать бонус →

Практический итог этого решения: пропускная способность на длинном контексте почти не падает. По данным разработчика, при 40 000 токенов контекста и 32 параллельных запросах Soofi S выдаёт примерно в 8 раз больше токенов в секунду на GPU, чем плотные модели на 14–24 млрд параметров, и держит эту скорость от 4 000 до 256 000 токенов почти ровно. Из сопоставимых открытых моделей похоже ведёт себя только гибридный Qwen3.5 35B-A3B. Это измерение — из репортов консорциума, но оно согласуется с самой логикой архитектуры: если KV-кэш не растёт, то и скорость на длинном контексте не проседает.

Максимальная длина контекста — до 262 144 токенов (256K) на инференсе; готовые Docker-образы по умолчанию сервят 32K. При этом на третьей фазе обучения модель видела документы длиной до миллиона токенов — но это длина обучающих текстов, а не гарантированное окно на выводе, и путать их не стоит.

Как обучали и на каких данных

Обучение прошло с марта по май 2026 года на инфраструктуре Industrial AI Cloud компании Deutsche Telekom в Мюнхене — до 512 ускорителей Nvidia B200, суммарно около 253 000 GPU-часов. Дата-центр работает на возобновляемой энергии и охлаждается водой из мюнхенского канала Айсбах — деталь скорее имиджевая, но она подчёркивает «зелёный» и локальный характер проекта.

По данным консорциума, модель прошла через ~27 трлн токенов в три фазы: около 20 трлн — базовое обучение, около 6 трлн — качественные источники, и около 188 млрд — длинноконтекстная фаза. Доля немецкого языка росла от 7,2% на первой фазе до 15,3% на второй — против примерно 5% в референсном рецепте Nemotron. Именно этот усиленный немецкий «рацион», по заявлению консорциума, дал прибавку на языковых тестах.

Источники данных — открытые корпуса HPLT, German Commons, немецкие доли FinePDFs и FineWiki, синтетика и машинный перевод. И один нюанс, который дальше сыграет роль в разговоре о лицензии: в датасет вошёл коммерчески лицензированный корпус Genios — 193 млн газетных статей из 916 немецких изданий, около 1,3% всех данных. Запомните эту цифру.

Лицензия: почему «open-source AI» — это ещё не «open-data»

Здесь легко запутаться, поэтому разложим по полкам три разных понятия.

• Open-weight — опубликованы веса модели, их можно скачать и запускать. Про то, как модель обучали и на чём, при этом можно ничего не рассказывать.
• Open-source AI — по определению Open Source Initiative (Open Source AI Definition 1.0) публикуются не только веса, но и код обучения, код оценки и достаточно подробная опись данных, чтобы систему в принципе можно было воспроизвести.
• Open-data (в строгом европейском толковании) — требует, чтобы каждый обучающий токен был свободно распространяемым.

Soofi S проходит по средней планке: консорциум заявляет соответствие Open Source AI Definition 1.0 — веса, код и опись данных опубликованы. А вот строгому open-data-критерию модель не соответствует — ровно из-за тех самых 1,3% данных Genios с коммерческой лицензией. При этом, по заявлению консорциума, около 99% обучающей смеси можно независимо реконструировать. То есть препятствие — не «секретные данные», а один платный корпус, который нельзя свободно перераспавать.

И главная оговорка для практиков: точный текст лицензии самой модели на 14 июля 2026 года не зафиксирован. На карточках Hugging Face в поле лицензии стоит «Other» и пометка «TODO: add the full license text». Поэтому утверждать «можно свободно использовать в коммерции» пока рано — дождитесь финального текста. Это одна из причин, по которой Soofi S сейчас — материал для экспериментов, а не для продакшена.

Бенчмарки: что заявляет разработчик (и чего пока никто не подтвердил)

Сразу важная рамка. Все цифры ниже — из pretraining-репорта самого консорциума. Модель вышла 13 июля 2026 года, и на дату этого обзора независимой проверки на публичных аренах (вроде открытых лидербордов) ещё нет. Поэтому читаем их как заявление разработчика, а не как подтверждённый сторонними тестами факт.

С этой оговоркой картина такая. По агрегатным баллам Soofi S, по данным консорциума, лидирует среди полностью открытых моделей: 70,1 на английском агрегате и 79,1 на немецком, обходя Olmo 3 32B от Allen Institute и Apertus 70B от ETH Zurich и EPFL — по немецким тестам местами с большим отрывом.

Сильные стороны по этой таблице — немецкий язык и генерация кода. Слабое место видно там же: математика на немецком (Minerva MATH-DE 56) заметно отстаёт от конкурентов. Консорциум связывает это с малым числом активных параметров — на сложных рассуждениях 3,5 млрд «рабочих» весов не хватает. Проседает модель и на открытом фактологическом поиске (NaturalQuestions) по той же причине.

Отдельно стоит второй слабый результат, о котором мы подробнее скажем в разделе рисков: на тесте длинного контекста RULER модель почти проваливает одну из подзадач.

Как запустить Soofi S локально: полный разбор

Это раздел, ради которого стоит читать обзор целиком: ни один из англоязычных материалов о Soofi S не разбирает локальный запуск, а именно он определяет, сможете ли вы вообще пользоваться моделью на своём железе. Здесь есть несколько неочевидных ловушек.

Сначала — какой вариант весов скачивать

Консорциум выложил на Hugging Face 19 моделей — это несколько базовых чекпоинтов и производные от них кванты. Базовых четыре:

• Soofi-S-Base — «сырой» претрейн, для дообучения, не для чата.
• Soofi-S-Instruct-Preview — инструкционная версия для обычного диалога, без пошаговых рассуждений.
• Soofi-S-Isar-Preview и Soofi-S-Rhine-Preview — reasoning-варианты, которые пишут цепочку рассуждений в блоке <think>.

Для большинства сценариев берите Instruct (диалог и инструкции) или один из reasoning-вариантов (задачи, где нужен ход мысли). У каждого есть производные в форматах GGUF, FP8 и EntQuant.

Две несовместимые линейки квантования

А вот здесь главная развилка, которую нужно понять до скачивания. У Soofi S есть две разные линейки квантов, и они несовместимы между собой — по инструментам, по ОС и по объёму памяти.

Линейка 1 — GGUF (для llama.cpp и Ollama). Это привычный формат для домашнего запуска. Но есть подвох: размер GGUF-кванта считается от всех 30 млрд параметров, а не от 3,5 млрд активных. Поэтому даже минимальный квант весит немало:

• Q8_0 — ~32 ГБ, практически без потерь качества;
• Q5_K_M — ~25 ГБ, рекомендованный разработчиком дефолт (баланс размера и качества);
• Q4_K_M — ~21 ГБ, минимальный, для тесного бюджета памяти.

Отдельная техническая деталь: кванта Q6_K не будет. Ширина тензоров у этой архитектуры (2688 / 1856 / 3712) не делится на 256, поэтому K-кванты откатываются на нестандартные типы — консорциум просто не стал выпускать Q6_K.

Линейка 2 — EntQuant (только для vLLM). Это не обычное целочисленное квантование, а энтропийное сжатие FP8-кодов (метод EntQuant, представленный на ICML 2026 компанией Merantix Momentum). Оно квантует только линейные веса трансформера и MoE-экспертов, а слои Mamba-2, эмбеддинги и выходную «голову» оставляет в исходной точности. За счёт этого кванты заметно компактнее:

• EntQuant-4bit — ~18 ГБ на диске;
• EntQuant-2bit — ~13 ГБ на диске.

Но за компактность приходится платить экосистемой: EntQuant грузится только через фирменный vLLM-плагин в готовом Docker-образе, работает только на Linux с Nvidia, и его нельзя открыть ни обычным Hugging Face Transformers, ни llama.cpp. Ни Mac, ни AMD, ни Windows без WSL здесь не годятся.

Таблица: какой квант на какую видеокарту

Сведём всё в одну картину. Требования к видеокарте — это наша прикидка: размер весов плюс запас на KV-кэш и накладные расходы; точные цифры зависят от длины контекста и настроек сервинга.

Вывод из таблицы простой. Если у вас 24 ГБ и больше и вам важна кроссплатформенность (Mac, Windows) — берите GGUF (Q4_K_M на 24 ГБ, Q5_K_M на 32 ГБ). Если у вас 16 ГБ видеопамяти и есть Linux с картой Nvidia — ваш единственный реальный путь запустить Soofi S целиком в VRAM это EntQuant-2bit. На Mac этот вариант недоступен в принципе. Прежде чем собирать конфигурацию под локальные модели, сверьтесь с нашим разбором того, как выбрать железо под локальный ИИ: требования Soofi S типичны для класса 30B-моделей.

Ловушка Ollama: почему модель «теряет лицо»

Самая коварная грабля при запуске GGUF-версии — в Ollama. Ollama использует собственные Go-шаблоны и не применяет встроенный в GGUF Jinja chat-template. Практически это значит вот что: системный промпт с идентичностью модели и формат вызова инструментов (tool-calling) в GGUF-файле есть, но Ollama их по умолчанию игнорирует. В результате модель может «забыть», кто она такая, и не сможет вызывать инструменты в родном формате <tool_call>.

Надёжный путь — запускать через llama-server с флагом --jinja. В этом режиме llama.cpp применяет встроенный шаблон как есть, включая идентичность и tool-calling. Если же нужен именно Ollama, шаблон и системный промпт придётся прописать вручную через Modelfile. Плюс ещё одно требование: гибридная архитектура Mamba-2 + MoE поддерживается только свежими сборками llama.cpp — на старой версии модель просто не загрузится, так что обновите бинарник перед запуском.

Это ровно тот тип детали, который есть в карточке модели, но который пропускают все обзорные статьи, — а именно из-за него у пользователя «всё сломалось на ровном месте».

Soofi S против других открытых моделей

С кем сравнивать Soofi S на практике? The Decoder ставит её рядом с Olmo 3 и Apertus — но эти модели редко выбирают для домашнего запуска. Для нашей аудитории интереснее сопоставление с теми, кто реально стоит в шорт-листе локальных LLM. Ближайший архитектурный аналог — Qwen3 в локальном запуске: такой же гибридный MoE с малым числом активных параметров и похожим поведением на длинном контексте.

Что из этого следует. По лицензионной чистоте Olmo 3 и Qwen3 выигрывают: у них зафиксированный Apache 2.0, тогда как у Soofi S лицензия ещё «TODO». По доступности локального запуска для новичка проще Qwen3 и gpt-oss на своём ПК — там нет истории с двумя несовместимыми линейками квантов. Уникальный козырь Soofi S — немецкий язык и полная прозрачность обучения (код + опись данных), чего в таком объёме нет ни у Qwen3, ни у gpt-oss. По математике Soofi S уступает Qwen3.5, по компактности под 16 ГБ — выигрывает только через EntQuant и только на Linux.

Иными словами, Soofi S — не замена «модели по умолчанию» для домашнего пользователя, а специализированный инструмент: берут его за немецкий, прозрачность и суверенность, а не за универсальную силу.

Риски и что настораживает

Честный список того, что может пойти не так или разочаровать. Ни один из пунктов не «убивает» проект, но каждый стоит учесть перед тем, как строить на Soofi S что-то серьёзное.

• Всё — Preview. Каждый чекпоинт помечен «веса и метаданные могут измениться». Строить продакшн на бете рискованно: следующий чекпоинт может вести себя иначе.
• Лицензия не зафиксирована. На 14 июля 2026 года точного текста лицензии нет («TODO»). Пока он не опубликован, юридически чистое коммерческое использование под вопросом.
• Бенчмарки — самозаявленные. Все цифры от консорциума; независимого замера на публичных аренах на дату обзора нет. Первое место «среди fully-open» — по методологии самого разработчика.
• Слабая математика на немецком. Minerva MATH-DE 56 против 76,5 у Qwen3.5 35B-A3B и 65,6 у Gemma 3 27B. Для расчётных и логических задач это ощутимый минус.
• Провал на длинном контексте (RULER). На подзадаче извлечения часто встречающихся слов hit-rate падает примерно до 3% после 32 000 токенов контекста, тогда как сопоставимый Nemotron держит 60–64%. На остальных 12 подзадачах RULER модели примерно равны — но эту конкретную дыру консорциум признаёт (не хватило синтетики для extraction-задач в длинноконтекстной фазе). Практический вывод: не полагайтесь на точное извлечение фактов из очень длинных документов.
• Будущее проекта под вопросом. Грант BMWE на 20 млн евро действует до июля 2026 года — то есть заканчивается в том же месяце, когда вышла Soofi S. Что будет с проектом дальше и на какие деньги делать заявленную 100B-модель — публично не объявлено.

Кому подходит Soofi S сегодня

Ситуация делится на два чётких сценария.

Индустриальный пилот с упором на немецкий. Если вам нужен локальный контроль над данными, важен немецкий язык и вы готовы работать с бетой ради прозрачности обучения — Soofi S уже интересна. Гибридная архитектура даёт хорошую скорость на длинном контексте, а открытые код и опись данных упрощают аудит и дообучение под свою задачу. Держите в уме нефинальную лицензию и Preview-статус.

Домашний экспериментатор. Если вы просто хотите мощную локальную модель под свой ПК, честнее начать с моделей попроще в запуске — того же Qwen3 или gpt-oss, где нет истории с двумя линейками квантов и лицензия уже зафиксирована. Soofi S берите, когда конкретно интересны немецкий язык, суверенная тематика или сам эксперимент с гибридной Mamba-2 + MoE архитектурой.

Что устареет в этом обзоре первым: статус Preview, текст лицензии и бенчмарки. Как только появятся финальные веса, зафиксированная лицензия и независимые замеры на публичных лидербордах — сверяйтесь с карточками на Hugging Face и обновлёнными результатами арен.

FAQ

Soofi S — это бесплатно? Да, веса можно скачать с Hugging Face бесплатно. Но обратите внимание на два момента: все чекпоинты помечены как Preview, а финальный текст лицензии на 14 июля 2026 года ещё не опубликован — поэтому условия коммерческого использования до его появления формально не определены.

Какая видеокарта нужна, чтобы запустить Soofi S локально? Зависит от кванта. Для GGUF-версии практический минимум — карта на 24 ГБ (RTX 3090/4090) под квант Q4_K_M, а рекомендованный Q5_K_M комфортно идёт на 32 ГБ. Если у вас 16 ГБ и Linux с Nvidia, единственный вариант уместить модель в память — EntQuant-2bit (~13 ГБ), но он работает только через vLLM в Docker и недоступен на Mac.

Чем отличаются GGUF и EntQuant у Soofi S? Это две несовместимые линейки. GGUF работает в llama.cpp и Ollama на любой ОС, но весит больше (21–32 ГБ), потому что считается от всех 30 млрд параметров. EntQuant компактнее (13–18 ГБ), так как квантует только часть весов, но запускается лишь через vLLM в Docker на Linux с Nvidia. Открыть EntQuant в llama.cpp или на Mac нельзя.

Почему Soofi S не запускается или «забывает», кто она? Две частые причины. Первая: Ollama не применяет встроенный в GGUF Jinja-шаблон, из-за чего теряются идентичность модели и tool-calling — надёжнее запускать через llama-server --jinja. Вторая: гибридную Mamba-2 + MoE архитектуру понимают только свежие сборки llama.cpp, поэтому старый бинарник модель не загрузит.

Soofi S лучше Qwen3 или gpt-oss? Не «лучше» вообще, а сильнее в своей нише. По прозрачности обучения и немецкому языку Soofi S впереди, по простоте локального запуска и зафиксированной лицензии — впереди Qwen3 и gpt-oss. По математике Soofi S пока уступает Qwen3.5. Для универсального домашнего использования проще Qwen3; Soofi S берут под конкретные задачи с немецким и требованием суверенности.

Насколько можно доверять заявленному первому месту среди открытых моделей? С осторожностью. Все бенчмарки — из репорта самого консорциума, а независимой проверки на публичных лидербордах на дату обзора ещё нет: модель вышла 13 июля 2026 года. Цифры выглядят правдоподобно и согласуются с архитектурой, но статус у них — «заявление разработчика», а не подтверждённый сторонними тестами результат.