Что произошло
Около 10 июня 2026 года команда Unsloth опубликовала GGUF-квантизацию модели diffusiongemma-26B-A4B-it на Hugging Face. За четыре дня после выхода модель собрала более 80 000 загрузок — крайне высокий показатель для специализированного формата локального инференса. Это квантизованная версия diffusion-LLM, построенного на архитектуре Gemma, для запуска на локальных машинах через llama.cpp или совместимые движки.
Детали
DiffusionGemma — это «диффузионный» языковой трансформер: в отличие от стандартных авторегрессионных LLM, которые генерируют текст токен за токеном, диффузионные модели итеративно «обезашумливают» весь контекст. Такой подход потенциально позволяет лучше работать с задачами, требующими осознания всего выхода целиком.
Unsloth специализируется на квантизации и оптимизации моделей для локального запуска (слот trendingScore 249 на HF). Формат GGUF совместим с llama.cpp и производными (LM Studio, Ollama, Jan).Параметр Значение Базовая модель DiffusionGemma 26B Квантизация A4B (4-bit активации) Формат GGUF (llama.cpp-совместимый) Загрузок за 4 дня 80 000+ Публикация ~10 июня 2026
Что это значит
Для энтузиастов локальных LLM: diffusiongemma в GGUF означает, что диффузионный подход к генерации текста теперь доступен на домашней машине с достаточным объёмом RAM. 80K загрузок говорят о том, что сообщество активно экспериментирует.
Практическое ограничение: диффузионные LLM пока уступают лучшим авторегрессионным моделям по итоговому качеству текста. Это скорее исследовательская территория, чем продакшн-инструмент. Если вам нужно лучшее качество — возьмите llama3 или mistral в GGUF. Если интересна альтернативная архитектура для экспериментов — diffusiongemma-26B ценный объект изучения.
Горизонт: активные скачивания сигнализируют о растущем интересе к диффузионным LLM как альтернативе классическим авторегрессионным. На этой неделе в сообществе LocalLLM появятся первые независимые тесты.
