Garlic LLM запустил Qwen3.5-9B на взломанной PS4: 31–39 токенов/с на GPU 2013 года

3 мин. чтения
Binance · Wall Street 24/7Акции, золото, нефть и криптаВесь рынок в одном аккаунте Binance
Как начать

Что произошло

Разработчик Леонардо Алегрия выложил открытый проект Garlic LLM — приложение, которое запускает языковую модель Qwen3.5-9B на взломанной PlayStation 4 полностью офлайн, на графическом процессоре консоли 2013 года. По замерам автора, в текстовом чате модель выдаёт 31–39 токенов в секунду, а при написании кода — до 43. Репозиторий появился на GitHub 11 ноября 2026 года, 16 ноября проект разобрал Tom’s Hardware.

Детали

Для самодельных программ у PS4 нет ни вычислительного API, ни библиотек машинного обучения, поэтому Garlic LLM обращается к GPU напрямую. Операции модели написаны как вычислительные ядра на OpenCL C и скомпилированы под архитектуру AMD GCN, а команды для видеочипа приложение собирает само — ту работу, которую обычно делает драйвер. Ни llama.cpp, ни Vulkan здесь нет.

Главная сложность — память: у консоли 8 ГБ на процессор и видеочип вместе. Большинство весов сжато до 4 бит, две самые крупные матрицы каждого слоя — примерно до 3,5 бита. В итоге модель занимает около 4,5 ГиБ. Кэш внимания тоже 4-битный, поэтому контекст — 16 тыс. токенов. Скорость даёт спекулятивное декодирование: встроенная в Qwen3.5 «голова» угадывает до двух токенов вперёд, а полная модель проверяет их за один проход.

ПараметрДанные проекта
МодельQwen3.5-9B, свои форматы Q4 и Q3
Скорость, текстовый чат31–39 токенов/с
Скорость, коддо 43 токенов/с
Голосовой режимоколо 22 токенов/с
Контекст16 тыс. токенов
Пакетоколо 5,7 ГБ, версия 1.19

Скорости сняты на обычной и Slim-версии PS4 с прошивкой 11.52; на каком запросе и как именно мерили, автор не уточняет. Владелец PS4 Pro с прошивкой 12.02 сообщил о 25–45 токенах/с, сам автор Pro не проверял. На PS5 приложение не работает.

Что это значит

Кого касается. Тех, кто собирает локальный ИИ на том, что уже есть дома. Опыт с PS4 показывает, что важнее возраста чипа три вещи: модель целиком в памяти, агрессивное сжатие весов и спекулятивное декодирование. С ними ответ на 300 токенов при 35 токенах/с приходит меньше чем за девять секунд.

Ограничения. Это демонстрация, а не рабочий инструмент. Нужен взлом через GoldHEN на подходящей прошивке — на свой риск, и купить консоль ради этого бессмысленно. Модель одна, контекст в 16 раз короче родных 256 тыс. токенов. Если цель — нейросеть дома, разумнее апгрейд старого ПК под локальный ИИ или сама Qwen3 на своём ПК.

Горизонт. В исходниках уже есть OpenAI-совместимый API: консоль сможет отвечать программам в домашней сети, но в пакет он попадёт только со следующей версией. Результаты с других прошивок и с PS4 Pro автор собирает через issues на GitHub — так что список проверенных консолей в ближайшие недели будет расти.

Binance · Wall Street 24/77 USDT— доля Nvidia на BinanceЦелую акцию покупать не нужно — начните с малого
Первая сделка за 5 шагов
Поделиться
Связаться:
Крипто- и data-аналитик, инженер-программист (факультет компьютерных наук ХНУРЭ). В IT с 2008 года: администрировал корпоративный мониторинг в «Vodafone Украина», семь лет разрабатывал и продвигал веб-проекты, пять лет руководил маркетингом на метриках — конверсия, CTR, ROI, LTV.Криптовалютными рынками занимаюсь с 2021 года: ончейн-метрики, токеномика, макроэкономические индикаторы. Разработал собственную data-driven модель анализа рынка на 30+ метрик. Стек — Python (pandas, NumPy, SciPy, matplotlib), математическая статистика и EDA; сбор и сверку данных автоматизирую AI-агентами.Принцип — «Don't trust, verify»: каждая цифра проверена по первоисточнику, ключевые — минимум по двум независимым; прогнозы — только сценарии с условиями. Тезис без данных не публикуется.