Що сталося
3 жовтня 2026 року німецька Aleph Alpha виклала на Hugging Face Kolibri-1 — відкриту (open-weight) мовну модель для німецької та англійської. Це «суміш експертів» (MoE) на 78,1 млрд параметрів, з яких на кожен токен працюють лише 3,46 млрд. Ліцензія Apache 2.0 дозволяє комерційне використання та запуск на власних серверах, без звернення до чужого API.
Деталі
- Архітектура. 50 шарів, у кожному MoE-шарі 384 експерти й один спільний, на токен обираються 6. Простіше кажучи, модель складається з безлічі вузьких підмереж і на кожному кроці вмикає лише малу їхню частину, тому відповідає швидше за «щільну» модель того самого розміру.
- Контекст. Рідне вікно — 262 144 токени, максимум — близько 1 млн. Для складних завдань компанія радить не виходити за 262 тис.
- Навчання. 20 трлн токенів попереднього навчання на 768 прискорювачах Nvidia B200 у дата-центрах Німеччини та Фінляндії. За даними блогу Aleph Alpha, 21,3% токенів попереднього навчання — німецькі. Знання моделі — до 18 червня 2026 року.
- Бенчмарки (дані компанії). GPQA Diamond — 84,3, AIME 2025 — 96,9. У Nvidia Nemotron 3 Super у тій самій таблиці 78,0 і 91,7, у Mistral Small 4 — 74,7 і 79,8. У кодингу (HumanEval+) Kolibri з 92,7 трохи поступається Nemotron із 94,7.
- Залізо. Офіційні ваги у форматі FP8 займають близько 78 ГБ. Мінімум за карткою моделі — дві A100 80 ГБ, дві H100 або одна H200/B200.
Що це означає
- Кого стосується. Насамперед європейських держструктур і компаній із регульованих галузей — державного управління, промисловості, авіакосмосу. Їм потрібна модель, яку можна тримати в себе. Для ентузіастів локального ШІ це ще один великий MoE, але не новий лідер: у знаннях і виклику інструментів Kolibri поступається Qwen3.6 35B-A3B (MMLU-Pro 80,0 проти 84,3, BFCL v4 61,4 проти 67,2 — за зведенням DataCamp).
- Можливість у цифрах. Офіційна збірка потребує серверної відеопам’яті, але за перші три дні спільнота виклала неофіційні GGUF- і MLX-версії. GGUF Q4_K_M важить 47,5 ГБ, 4-бітна MLX-збірка — близько 43 ГБ. Це рівень Mac із 64 ГБ об’єднаної пам’яті або ПК із 64 ГБ ОЗП і вивантаженням частини шарів на відеокарту. Лише 3,46 млрд активних параметрів роблять такий запуск прийнятним за швидкістю. Зважайте: до GGUF-збірки додано патч для llama.cpp, а якість аматорських квантувань Aleph Alpha не перевіряла. Якщо потрібна європейська модель під одну відеокарту, простіше взяти Mistral Small на своєму ПК.
- Горизонт. Спробувати можна вже зараз: ваги відкриті з 3 жовтня, офіційний шлях — vLLM за інструкцією з картки моделі.
Контекст
Kolibri продовжує лінію «суверенного» європейського ШІ, яку в Німеччині вже відкривала відкрита модель Soofi S 30B. Сама Aleph Alpha підписала обов’язкову угоду про злиття з канадською Cohere: об’єднана компанія працюватиме під брендом Cohere, а угода ще чекає схвалення регуляторів.
