Soofi S 30B: перша суверенна модель Німеччини — і головне питання, чи можна запустити її локально

Коротко (TL;DR)

Soofi S — відкрита мовна модель на 30 млрд параметрів, яку 13 липня 2026 року випустив німецький консорціум під керівництвом KI Bundesverband. Це перший помітний результат європейської спроби побудувати «суверенний» ШІ: опубліковані не лише ваги, а й код навчання, код оцінювання та повний опис даних. Модель двомовна і заточена під німецьку, але конкурує і на англійських тестах.

Головне, що варто зрозуміти одразу. По-перше, це Preview: усі чекпоінти на Hugging Face позначені міткою «ваги і метадані ще можуть змінитися», а фінальний текст ліцензії на 14 липня 2026 року не опублікований. По-друге, усі бенчмарки — за даними самого консорціуму; незалежної перевірки на публічних лідербордах поки немає, бо модель вийшла напередодні. По-третє, і це ключове питання для нашої аудиторії: запустити Soofi S удома можна, але вибір кванту нетривіальний — є дві несумісні лінійки квантування з різними вимогами до заліза й ОС.

Кому підходить уже зараз: командам, для яких важлива німецька мова, повна прозорість навчання і локальний контроль над моделлю. Кому варто почекати: тим, хто хоче стабільний реліз із зафіксованою ліцензією та сильну математику чи надійний довгий контекст. Далі — повний розбір архітектури, даних, ліцензії, бенчмарків і практична таблиця «який квант на яку відеокарту».

Що таке Soofi S і навіщо він взагалі потрібен

Soofi S — це перше модельне покоління проєкту Soofi, німецької ініціативи зі створення відкритих мовних моделей для промисловості. Проєкт фінансує Федеральне міністерство економіки та енергетики Німеччини (BMWE) — близько 20 млн євро в межах європейської ініціативи 8ra. Координує роботу галузева асоціація KI Bundesverband, а до консорціуму входять дослідницькі центри й стартапи: Fraunhofer, DFKI, TU Darmstadt, Uni Würzburg, L3S при Uni Hannover, Berliner Hochschule für Technik, а також компанії Ellamind і Merantix Momentum.

Навіщо це Німеччині та Європі? Ідея «суверенного ШІ» проста: не залежати повністю від закритих американських і китайських моделей, а мати власну — з зрозумілим походженням даних, прозорим навчанням і можливістю розгортати локально, без передавання корпоративних даних у чуже хмара. Soofi S — не фінальна мета, а перший крок. Початковий задум проєкту, анонсований ще наприкінці 2025 року, — відкрита модель приблизно на 100 млрд параметрів як фундамент для європейських індустріальних застосунків.

ШІ-відеостартап PixVerse довів Series C до $439 млн і став єдинорогом

Творець ШІ-агента Hermes Nous Research веде перемовини про раунд за оцінки $1,5 млрд

Що показало й чого не показало нове дослідження інтерпретованості Anthropic

Anthropic знайшла всередині Claude «робочий стіл думок» — і це не про свідомість

Німецький консорціум випустив Soofi S — відкриту модель 30B, що обійшла конкурентів

Суверенний ШІ тут означає не «найрозумніший», а «свій і перевірюваний»: модель, навчену на прозорих даних, з відкритим кодом і правом розгорнути її на власному залізі. Це принципово інший критерій успіху, ніж гонитва за першим місцем у загальному рейтингу. Тримайте це в голові, коли дивитиметеся на бенчмарки.

Важлива деталь одразу: Soofi S — це Preview, тобто бета. На кожній картці моделі на Hugging Face стоїть попередження «Preview / internal checkpoint. Weights and metadata may still change». Це не остаточний продукт, а робочий чекпоінт, який виклали заради зворотного зв’язку і прозорості. Оцінювати його варто саме так.

Архітектура: чому довгий контекст дається «майже задарма»

Soofi S побудована на гібридній архітектурі Mamba-2 + Mixture-of-Experts (MoE). Розберемо обидва терміни окремо, бо саме з них випливають усі практичні особливості моделі.

MoE (суміш експертів) — це коли модель формально велика, але на кожен токен працює лише невелика її частина. У Soofi S 128 маршрутизованих експертів плюс один спільний, а на генерацію кожного токена активуються лише 6 із них. Звідси дві цифри, які важливо не плутати: усього в моделі близько 30 млрд параметрів, але за один прохід працює лише приблизно 3,5 млрд. Перше число визначає, скільки пам’яті потрібно, щоб тримати модель; друге — наскільки швидко вона обчислює.

Тут-таки перша розбіжність у джерелах, про яку варто знати. Офіційна картка на Hugging Face дає 30 млрд усього / ~3,5 млрд активних, а огляд The Decoder наводить 31,6 млрд / 3,2 млрд. Найімовірніше, це різні знімки передфінального чекпоінта або різне округлення. Ми беремо за основу офіційні цифри Hugging Face; медійний варіант згадуємо як такий, що трапляється, але не як альтернативний факт. Сама така розбіжність — маркер того, що матеріали консорціуму ще не усталилися (нагадаємо: Preview).

Mamba-2 — це архітектура із сімейства state-space моделей. Її цінність у тому, що класичний трансформер тримає так званий KV-кеш (пам’ять про весь попередній текст), і цей кеш росте разом із довжиною контексту, з’їдаючи відеопам’ять і сповільнюючи роботу. У Soofi S повноцінний KV-кеш тримають лише одиниці шарів (за даними The Decoder — 6 шарів), а решта влаштовані як Mamba-2 і такого кешу не потребують. Архітектуру консорціум, за власним визнанням, узяв у Nvidia Nemotron 3 Nano практично без змін.

Практичний підсумок цього рішення: пропускна здатність на довгому контексті майже не падає. За даними розробника, за 40 000 токенів контексту і 32 паралельних запитах Soofi S видає приблизно у 8 разів більше токенів за секунду на GPU, ніж щільні моделі на 14–24 млрд параметрів, і тримає цю швидкість від 4 000 до 256 000 токенів майже рівно. Із порівнянних відкритих моделей так само поводиться лише гібридний Qwen3.5 35B-A3B. Це вимірювання — з репортів консорціуму, але воно узгоджується із самою логікою архітектури: якщо KV-кеш не росте, то і швидкість на довгому контексті не просідає.

Максимальна довжина контексту — до 262 144 токенів (256K) на інференсі; готові Docker-образи за замовчуванням обслуговують 32K. При цьому на третій фазі навчання модель бачила документи довжиною до мільйона токенів — але це довжина навчальних текстів, а не гарантоване вікно на виводі, і плутати їх не варто.

Як навчали і на яких даних

Навчання пройшло з березня по травень 2026 року на інфраструктурі Industrial AI Cloud компанії Deutsche Telekom у Мюнхені — до 512 прискорювачів Nvidia B200, сумарно близько 253 000 GPU-годин. Дата-центр працює на відновлюваній енергії і охолоджується водою з мюнхенського каналу Айсбах — деталь радше іміджева, але вона підкреслює «зелений» і локальний характер проєкту.

За даними консорціуму, модель пройшла через ~27 трлн токенів у три фази: близько 20 трлн — базове навчання, близько 6 трлн — якісні джерела, і близько 188 млрд — довгоконтекстна фаза. Частка німецької мови зростала з 7,2% на першій фазі до 15,3% на другій — проти приблизно 5% у референсному рецепті Nemotron. Саме цей посилений німецький «раціон», за заявою консорціуму, дав приріст на мовних тестах.

Джерела даних — відкриті корпуси HPLT, German Commons, німецькі частки FinePDFs і FineWiki, синтетика й машинний переклад. І один нюанс, який далі відіграє роль у розмові про ліцензію: у датасет увійшов комерційно ліцензований корпус Genios — 193 млн газетних статей із 916 німецьких видань, близько 1,3% усіх даних. Запам’ятайте цю цифру.

Ліцензія: чому «open-source AI» — це ще не «open-data»

Тут легко заплутатися, тож розкладемо по поличках три різні поняття.

• Open-weight — опубліковано ваги моделі, їх можна завантажити й запускати. Про те, як модель навчали і на чому, при цьому можна нічого не розповідати.
• Open-source AI — за визначенням Open Source Initiative (Open Source AI Definition 1.0) публікуються не лише ваги, а й код навчання, код оцінювання та достатньо детальний опис даних, щоб систему в принципі можна було відтворити.
• Open-data (у суворому європейському тлумаченні) — вимагає, щоб кожен навчальний токен був вільно поширюваним.

Soofi S проходить за середньою планкою: консорціум заявляє відповідність Open Source AI Definition 1.0 — ваги, код і опис даних опубліковані. А от суворому критерію open-data модель не відповідає — саме через ті самі 1,3% даних Genios із комерційною ліцензією. При цьому, за заявою консорціуму, близько 99% навчальної суміші можна незалежно реконструювати. Тобто перешкода — не «секретні дані», а один платний корпус, який не можна вільно перерозповсюджувати.

І головне застереження для практиків: точний текст ліцензії самої моделі на 14 липня 2026 року не зафіксований. На картках Hugging Face в полі ліцензії стоїть «Other» і позначка «TODO: add the full license text». Тож стверджувати «можна вільно використовувати в комерції» поки зарано — зачекайте на фінальний текст. Це одна з причин, чому Soofi S зараз — матеріал для експериментів, а не для продакшену.

Бенчмарки: що заявляє розробник (і чого поки ніхто не підтвердив)

Одразу важлива рамка. Усі цифри нижче — з pretraining-репорту самого консорціуму. Модель вийшла 13 липня 2026 року, і на дату цього огляду незалежної перевірки на публічних аренах (на кшталт відкритих лідербордів) ще немає. Тому читаємо їх як заяву розробника, а не як підтверджений сторонніми тестами факт.

З цим застереженням картина така. За агрегатними балами Soofi S, за даними консорціуму, лідирує серед повністю відкритих моделей: 70,1 на англійському агрегаті і 79,1 на німецькому, випереджаючи Olmo 3 32B від Allen Institute та Apertus 70B від ETH Zurich і EPFL — за німецькими тестами місцями з великим відривом.

Сильні сторони за цією таблицею — німецька мова і генерація коду. Слабке місце видно тут-таки: математика німецькою (Minerva MATH-DE 56) помітно відстає від конкурентів. Консорціум пов’язує це з малою кількістю активних параметрів — на складних міркуваннях 3,5 млрд «робочих» ваг не вистачає. Просідає модель і на відкритому фактологічному пошуку (NaturalQuestions) з тієї самої причини.

Окремо варто згадати другий слабкий результат, про який детальніше скажемо в розділі ризиків: на тесті довгого контексту RULER модель майже провалює одне з підзавдань.

Як запустити Soofi S локально: повний розбір

Це розділ, заради якого варто читати огляд цілком: жоден з англомовних матеріалів про Soofi S не розбирає локальний запуск, а саме він визначає, чи зможете ви взагалі користуватися моделлю на своєму залізі. Тут є кілька неочевидних пасток.

Спочатку — який варіант ваг качати

Консорціум виклав на Hugging Face 19 моделей — це кілька базових чекпоінтів і похідні від них кванти. Базових чотири:

• Soofi-S-Base — «сирий» претрейн, для дотренування, не для чату.
• Soofi-S-Instruct-Preview — інструкційна версія для звичайного діалогу, без покрокових міркувань.
• Soofi-S-Isar-Preview і Soofi-S-Rhine-Preview — reasoning-варіанти, які пишуть ланцюжок міркувань у блоці <think>.

Для більшості сценаріїв беріть Instruct (діалог та інструкції) або один із reasoning-варіантів (завдання, де потрібен хід думки). У кожного є похідні у форматах GGUF, FP8 та EntQuant.

Дві несумісні лінійки квантування

А ось тут головна розвилка, яку треба зрозуміти до завантаження. У Soofi S є дві різні лінійки квантів, і вони несумісні між собою — за інструментами, за ОС і за обсягом пам’яті.

Лінійка 1 — GGUF (для llama.cpp і Ollama). Це звичний формат для домашнього запуску. Але є підступ: розмір GGUF-кванту обчислюють від усіх 30 млрд параметрів, а не від 3,5 млрд активних. Тому навіть мінімальний квант важить чимало:

• Q8_0 — ~32 ГБ, практично без втрат якості;
• Q5_K_M — ~25 ГБ, рекомендований розробником дефолт (баланс розміру і якості);
• Q4_K_M — ~21 ГБ, мінімальний, для тісного бюджету пам’яті.

Окрема технічна деталь: кванту Q6_K не буде. Ширина тензорів у цієї архітектури (2688 / 1856 / 3712) не ділиться на 256, тому K-кванти відкочуються на нестандартні типи — консорціум просто не став випускати Q6_K.

Лінійка 2 — EntQuant (тільки для vLLM). Це не звичайне цілочисельне квантування, а ентропійне стиснення FP8-кодів (метод EntQuant, представлений на ICML 2026 компанією Merantix Momentum). Воно квантує лише лінійні ваги трансформера і MoE-експертів, а шари Mamba-2, ембединги і вихідну «голову» лишає у вихідній точності. Завдяки цьому кванти помітно компактніші:

• EntQuant-4bit — ~18 ГБ на диску;
• EntQuant-2bit — ~13 ГБ на диску.

Але за компактність доводиться платити екосистемою: EntQuant завантажується лише через фірмовий vLLM-плагін у готовому Docker-образі, працює лише на Linux з Nvidia, і його не можна відкрити ні звичайними Hugging Face Transformers, ні llama.cpp. Ні Mac, ні AMD, ні Windows без WSL тут не годяться.

Таблиця: який квант на яку відеокарту

Зведемо все в одну картину. Вимоги до відеокарти — це наша прикидка: розмір ваг плюс запас на KV-кеш і накладні витрати; точні цифри залежать від довжини контексту і налаштувань сервінгу.

Висновок із таблиці простий. Якщо у вас 24 ГБ і більше і вам важлива кросплатформність (Mac, Windows) — беріть GGUF (Q4_K_M на 24 ГБ, Q5_K_M на 32 ГБ). Якщо у вас 16 ГБ відеопам’яті і є Linux із картою Nvidia — ваш єдиний реальний шлях запустити Soofi S повністю у VRAM це EntQuant-2bit. На Mac цей варіант недоступний у принципі. Перш ніж збирати конфігурацію під локальні моделі, звіртеся з нашим розбором того, як вибрати залізо для локального ШІ: вимоги Soofi S типові для класу 30B-моделей.

Пастка Ollama: чому модель «втрачає обличчя»

Найпідступніша граблі під час запуску GGUF-версії — в Ollama. Ollama використовує власні Go-шаблони і не застосовує вбудований у GGUF Jinja chat-template. Практично це означає ось що: системний промпт з ідентичністю моделі і формат виклику інструментів (tool-calling) у GGUF-файлі є, але Ollama їх за замовчуванням ігнорує. У результаті модель може «забути», хто вона така, і не зможе викликати інструменти у рідному форматі <tool_call>.

Надійний шлях — запускати через llama-server із прапорцем --jinja. У цьому режимі llama.cpp застосовує вбудований шаблон як є, включно з ідентичністю та tool-calling. Якщо ж потрібен саме Ollama, шаблон і системний промпт доведеться прописати вручну через Modelfile. Плюс ще одна вимога: гібридну архітектуру Mamba-2 + MoE підтримують лише свіжі збірки llama.cpp — на старій версії модель просто не завантажиться, тож оновіть бінарник перед запуском.

Це якраз той тип деталі, яка є в картці моделі, але яку пропускають усі оглядові статті, — і саме через неї у користувача «все зламалося на рівному місці».

Soofi S проти інших відкритих моделей

З ким порівнювати Soofi S на практиці? The Decoder ставить її поруч з Olmo 3 та Apertus — але ці моделі рідко обирають для домашнього запуску. Для нашої аудиторії цікавіше зіставлення з тими, хто реально стоїть у шорт-листі локальних LLM. Найближчий архітектурний аналог — Qwen3 у локальному запуску: такий самий гібридний MoE з малою кількістю активних параметрів і схожою поведінкою на довгому контексті.

Що з цього випливає. За ліцензійною чистотою Olmo 3 і Qwen3 виграють: у них зафіксований Apache 2.0, тоді як у Soofi S ліцензія ще «TODO». За доступністю локального запуску для новачка простіше Qwen3 і gpt-oss на своєму ПК — там немає історії з двома несумісними лінійками квантів. Унікальний козир Soofi S — німецька мова і повна прозорість навчання (код + опис даних), чого в такому обсязі немає ні у Qwen3, ні у gpt-oss. За математикою Soofi S поступається Qwen3.5, за компактністю під 16 ГБ — виграє лише через EntQuant і лише на Linux.

Іншими словами, Soofi S — не заміна «моделі за замовчуванням» для домашнього користувача, а спеціалізований інструмент: беруть її за німецьку мову, прозорість і суверенність, а не за універсальну силу.

Ризики і що насторожує

Чесний перелік того, що може піти не так або розчарувати. Жоден із пунктів не «вбиває» проєкт, але кожен варто врахувати перед тим, як будувати на Soofi S щось серйозне.

• Все — Preview. Кожен чекпоінт позначено «ваги і метадані можуть змінитися». Будувати продакшн на беті ризиковано: наступний чекпоінт може поводитися інакше.
• Ліцензія не зафіксована. На 14 липня 2026 року точного тексту ліцензії немає («TODO»). Поки він не опублікований, юридично чисте комерційне використання під питанням.
• Бенчмарки — самозаявлені. Усі цифри від консорціуму; незалежного вимірювання на публічних аренах на дату огляду немає. Перше місце «серед fully-open» — за методологією самого розробника.
• Слабка математика німецькою. Minerva MATH-DE 56 проти 76,5 у Qwen3.5 35B-A3B і 65,6 у Gemma 3 27B. Для розрахункових і логічних завдань це відчутний мінус.
• Провал на довгому контексті (RULER). На підзавданні вилучення слів, що часто трапляються, hit-rate падає приблизно до 3% після 32 000 токенів контексту, тоді як порівнянний Nemotron тримає 60–64%. На решті 12 підзавдань RULER моделі приблизно рівні — але цю конкретну дірку консорціум визнає (не вистачило синтетики для extraction-завдань у довгоконтекстній фазі). Практичний висновок: не покладайтеся на точне вилучення фактів із дуже довгих документів.
• Майбутнє проєкту під питанням. Грант BMWE на 20 млн євро діє до липня 2026 року — тобто закінчується того самого місяця, коли вийшла Soofi S. Що буде з проєктом далі і на які кошти робити заявлену 100B-модель — публічно не оголошено.

Кому підходить Soofi S сьогодні

Ситуація ділиться на два чіткі сценарії.

Індустріальний пілот з упором на німецьку. Якщо вам потрібен локальний контроль над даними, важлива німецька мова і ви готові працювати з бетою заради прозорості навчання — Soofi S уже цікава. Гібридна архітектура дає гарну швидкість на довгому контексті, а відкриті код і опис даних спрощують аудит і дотренування під своє завдання. Тримайте в умі нефінальну ліцензію та статус Preview.

Домашній експериментатор. Якщо ви просто хочете потужну локальну модель під свій ПК, чесніше почати з моделей простіших у запуску — того ж Qwen3 чи gpt-oss, де немає історії з двома лінійками квантів і ліцензія вже зафіксована. Soofi S беріть, коли конкретно цікавить німецька мова, суверенна тематика або сам експеримент із гібридною Mamba-2 + MoE архітектурою.

Що застаріє в цьому огляді першим: статус Preview, текст ліцензії і бенчмарки. Щойно з’являться фінальні ваги, зафіксована ліцензія і незалежні виміри на публічних лідербордах — звіряйтеся з картками на Hugging Face та оновленими результатами арен.

FAQ

Soofi S — це безкоштовно? Так, ваги можна завантажити з Hugging Face безкоштовно. Але зверніть увагу на два моменти: усі чекпоінти позначені як Preview, а фінальний текст ліцензії на 14 липня 2026 року ще не опублікований — тому умови комерційного використання до його появи формально не визначені.

Яка відеокарта потрібна, щоб запустити Soofi S локально? Залежить від кванту. Для GGUF-версії практичний мінімум — карта на 24 ГБ (RTX 3090/4090) під квант Q4_K_M, а рекомендований Q5_K_M комфортно йде на 32 ГБ. Якщо у вас 16 ГБ і Linux із Nvidia, єдиний варіант вмістити модель у пам’ять — EntQuant-2bit (~13 ГБ), але він працює лише через vLLM у Docker і недоступний на Mac.

Чим відрізняються GGUF і EntQuant у Soofi S? Це дві несумісні лінійки. GGUF працює в llama.cpp і Ollama на будь-якій ОС, але важить більше (21–32 ГБ), бо обчислюється від усіх 30 млрд параметрів. EntQuant компактніший (13–18 ГБ), бо квантує лише частину ваг, але запускається тільки через vLLM у Docker на Linux із Nvidia. Відкрити EntQuant у llama.cpp або на Mac не вийде.

Чому Soofi S не запускається або «забуває», хто вона? Дві часті причини. Перша: Ollama не застосовує вбудований у GGUF Jinja-шаблон, через що втрачаються ідентичність моделі та tool-calling — надійніше запускати через llama-server --jinja. Друга: гібридну архітектуру Mamba-2 + MoE розуміють лише свіжі збірки llama.cpp, тому старий бінарник модель не завантажить.

Soofi S краща за Qwen3 чи gpt-oss? Не «краща» загалом, а сильніша у своїй ніші. За прозорістю навчання і німецькою мовою Soofi S попереду, за простотою локального запуску і зафіксованою ліцензією — попереду Qwen3 і gpt-oss. За математикою Soofi S поки поступається Qwen3.5. Для універсального домашнього використання простіше Qwen3; Soofi S беруть під конкретні завдання з німецькою мовою та вимогою суверенності.

Наскільки можна довіряти заявленому першому місцю серед відкритих моделей? Обережно. Усі бенчмарки — з репорту самого консорціуму, а незалежної перевірки на публічних лідербордах на дату огляду ще немає: модель вийшла 13 липня 2026 року. Цифри виглядають правдоподібно і узгоджуються з архітектурою, але статус у них — «заява розробника», а не підтверджений сторонніми тестами результат.