Garlic LLM запустив Qwen3.5-9B на зламаній PS4: 31–39 токенів/с на GPU 2013 року

3 хв. читання
Binance · Wall Street 24/7Турніри Binance: призи за торгівлюУсі актуальні турніри Binance — на одній сторінці
Дивитися турніри

Що сталося

Розробник Леонардо Алегрія виклав відкритий проєкт Garlic LLM — застосунок, який запускає мовну модель Qwen3.5-9B на зламаній PlayStation 4 повністю офлайн, на графічному процесорі консолі 2013 року. За замірами автора, у текстовому чаті модель видає 31–39 токенів за секунду, а коли пише код — до 43. Репозиторій з’явився на GitHub 11 листопада 2026 року, 16 листопада проєкт розібрав Tom’s Hardware.

Деталі

Для саморобних програм PS4 не має ні обчислювального API, ні бібліотек машинного навчання, тому Garlic LLM звертається до GPU безпосередньо. Операції моделі написано як обчислювальні ядра на OpenCL C і скомпільовано під архітектуру AMD GCN, а команди для відеочипа застосунок збирає сам — ту роботу, яку зазвичай виконує драйвер. Ні llama.cpp, ні Vulkan тут немає.

Головна складність — пам’ять: у консолі 8 ГБ на процесор і відеочип разом. Більшість ваг стиснуто до 4 біт, дві найбільші матриці кожного шару — приблизно до 3,5 біта. У підсумку модель займає близько 4,5 ГіБ. Кеш уваги теж 4-бітний, тому контекст — 16 тис. токенів. Швидкість дає спекулятивне декодування: вбудована в Qwen3.5 «голова» вгадує до двох токенів наперед, а повна модель перевіряє їх за один прохід.

ПараметрДані проєкту
МодельQwen3.5-9B, власні формати Q4 і Q3
Швидкість, текстовий чат31–39 токенів/с
Швидкість, коддо 43 токенів/с
Голосовий режимблизько 22 токенів/с
Контекст16 тис. токенів
Пакетблизько 5,7 ГБ, версія 1.19

Швидкості зняли на звичайній і Slim-версії PS4 із прошивкою 11.52; на якому запиті й як саме міряли, автор не уточнює. Власник PS4 Pro з прошивкою 12.02 повідомив про 25–45 токенів/с, сам автор Pro не перевіряв. На PS5 застосунок не працює.

Що це означає

Кого стосується. Тих, хто збирає локальний ШІ на тому, що вже є вдома. Досвід із PS4 показує, що важливіші за вік чипа три речі: модель повністю в пам’яті, агресивне стиснення ваг і спекулятивне декодування. З ними відповідь на 300 токенів за 35 токенів/с надходить менш ніж за дев’ять секунд.

Обмеження. Це демонстрація, а не робочий інструмент. Потрібен злам через GoldHEN на відповідній прошивці — на власний ризик, і купувати консоль заради цього безглуздо. Модель одна, контекст у 16 разів коротший за рідні 256 тис. токенів. Якщо мета — нейромережа вдома, розумніше зробити апгрейд старого ПК під локальний ШІ або запустити саму Qwen3 на своєму ПК.

Горизонт. У вихідному коді вже є OpenAI-сумісний API: консоль зможе відповідати програмам у домашній мережі, але в пакет він потрапить лише з наступною версією. Результати з інших прошивок і з PS4 Pro автор збирає через issues на GitHub — тож список перевірених консолей найближчими тижнями зростатиме.

Binance · Wall Street 24/7XAUЗолото без сейфа і злитківТоргуйте ціною золота на Binance цілодобово, з маленької суми
XAU
Порахувати угоду
Поділитися
Зв'язатися:
Крипто- та data-аналітик, інженер-програміст (факультет комп'ютерних наук ХНУРЕ). В IT з 2008 року: адміністрував корпоративний моніторинг у «Vodafone Україна», сім років розробляв і просував веб-проєкти, п'ять років керував маркетингом на метриках — конверсія, CTR, ROI, LTV.Криптовалютними ринками займаюся з 2021 року: ончейн-метрики, токеноміка, макроекономічні індикатори. Розробив власну data-driven модель аналізу ринку на 30+ метрик. Стек — Python (pandas, NumPy, SciPy, matplotlib), математична статистика та EDA; збір і звірку даних автоматизую AI-агентами.Принцип — «Don't trust, verify»: кожна цифра перевірена за першоджерелом, ключові — щонайменше за двома незалежними; прогнози — лише сценарії з умовами. Теза без даних не публікується.