Що сталося
Розробник Леонардо Алегрія виклав відкритий проєкт Garlic LLM — застосунок, який запускає мовну модель Qwen3.5-9B на зламаній PlayStation 4 повністю офлайн, на графічному процесорі консолі 2013 року. За замірами автора, у текстовому чаті модель видає 31–39 токенів за секунду, а коли пише код — до 43. Репозиторій з’явився на GitHub 11 листопада 2026 року, 16 листопада проєкт розібрав Tom’s Hardware.
Деталі
Для саморобних програм PS4 не має ні обчислювального API, ні бібліотек машинного навчання, тому Garlic LLM звертається до GPU безпосередньо. Операції моделі написано як обчислювальні ядра на OpenCL C і скомпільовано під архітектуру AMD GCN, а команди для відеочипа застосунок збирає сам — ту роботу, яку зазвичай виконує драйвер. Ні llama.cpp, ні Vulkan тут немає.
Головна складність — пам’ять: у консолі 8 ГБ на процесор і відеочип разом. Більшість ваг стиснуто до 4 біт, дві найбільші матриці кожного шару — приблизно до 3,5 біта. У підсумку модель займає близько 4,5 ГіБ. Кеш уваги теж 4-бітний, тому контекст — 16 тис. токенів. Швидкість дає спекулятивне декодування: вбудована в Qwen3.5 «голова» вгадує до двох токенів наперед, а повна модель перевіряє їх за один прохід.Параметр Дані проєкту Модель Qwen3.5-9B, власні формати Q4 і Q3 Швидкість, текстовий чат 31–39 токенів/с Швидкість, код до 43 токенів/с Голосовий режим близько 22 токенів/с Контекст 16 тис. токенів Пакет близько 5,7 ГБ, версія 1.19
Швидкості зняли на звичайній і Slim-версії PS4 із прошивкою 11.52; на якому запиті й як саме міряли, автор не уточнює. Власник PS4 Pro з прошивкою 12.02 повідомив про 25–45 токенів/с, сам автор Pro не перевіряв. На PS5 застосунок не працює.
Що це означає
Кого стосується. Тих, хто збирає локальний ШІ на тому, що вже є вдома. Досвід із PS4 показує, що важливіші за вік чипа три речі: модель повністю в пам’яті, агресивне стиснення ваг і спекулятивне декодування. З ними відповідь на 300 токенів за 35 токенів/с надходить менш ніж за дев’ять секунд.
Обмеження. Це демонстрація, а не робочий інструмент. Потрібен злам через GoldHEN на відповідній прошивці — на власний ризик, і купувати консоль заради цього безглуздо. Модель одна, контекст у 16 разів коротший за рідні 256 тис. токенів. Якщо мета — нейромережа вдома, розумніше зробити апгрейд старого ПК під локальний ШІ або запустити саму Qwen3 на своєму ПК.
Горизонт. У вихідному коді вже є OpenAI-сумісний API: консоль зможе відповідати програмам у домашній мережі, але в пакет він потрапить лише з наступною версією. Результати з інших прошивок і з PS4 Pro автор збирає через issues на GitHub — тож список перевірених консолей найближчими тижнями зростатиме.

