LLM на процессоре старого ПК без видеокарты: модели 1–4B, ОЗУ и скорость

38 мин. чтения
Binance · Wall Street 24/7Акции, золото, нефть и криптаВесь рынок в одном аккаунте Binance
Как начать

Коротко (TL;DR)

  • Видеокарта не обязательна. LLM на процессоре запускают движок llama.cpp и программы на той же библиотеке ggml (Ollama, LM Studio), если модель маленькая: 1–4 млрд параметров в кванте Q4_K_M.
  • Три проверки до скачивания: есть ли в процессоре инструкции AVX2, работает ли память в два канала и сколько ОЗУ свободно. Это решает больше, чем число ядер.
  • Скорость определяет память, а не процессор. Потолок — пропускная способность ОЗУ, делённая на размер файла модели. На старых ПК 3–4B-модели в замерах выдают 5–12 токенов в секунду, 7–9B — 3–4.
  • Что брать: Qwen3.5 2B/4B, Llama 3.2 3B, Gemma 4 E2B, Phi-4 mini. На 8 ГБ ОЗУ — до 4B, 9B и Nemotron-3.5-Bolt-E4B — уже на 16 ГБ.
  • Новости ноября 2026: версия 1.0.0 у ggml и llama.cpp — стабильность программного интерфейса, а не прирост скорости. «4GB» у Nemotron-3.5-Bolt-E4B по замерам примерно равно рабочей памяти, файл — 6,18 ГБ.

Можно ли запустить LLM без видеокарты и какой скорости ждать

Да, LLM без видеокарты запускается на компьютере с процессором x86-64 и 8 ГБ ОЗУ, но только маленькая. По замерам на ПК и ноутбуках с Core i5 и i7 прошлых лет модели на 3–4 млрд параметров в формате GGUF дают 5–12 токенов в секунду, на 1 млрд — 18–36. Для чата, пересказа и черновиков этого хватает, для длинных текстов и 9B-моделей — уже с трудом.

Токен — кусочек текста, часто короче слова. Microsoft в README проекта bitnet.cpp называет 5–7 токенов в секунду скоростью чтения человека — для английского текста. В русском слова длиннее в токенах, поэтому при такой скорости ответ пойдёт примерно со скоростью неторопливого чтения или медленнее: комфортно для короткого диалога, долго для статьи на три тысячи слов.

Ниже — опорные замеры из независимых тестов 2026 года. Железо и программы у авторов разные, поэтому это ориентиры, а не гарантия.

Размер моделиСкорость генерацииНа чём измерено
0,6–1B18–36 ток/сIt’s FOSS (ноутбук Intel i5, 12 ГБ, Ollama, 15.05.2026); InsiderLLM (i7-6700T, два канала DDR4)
3–4B5–12 ток/сInsiderLLM (i7-6700T: 9,2–12,2); It’s FOSS (Phi-4 mini: 6,9); mustafa.net (Core i7-8559U, Qwen3.5 4B: 5,63)
7–9B3–4 ток/сIt’s FOSS (7B: 4,1–4,3; Ministral 3 8B: 3,16); mustafa.net (Qwen3.5 9B: 3,07)

Замеры It’s FOSS сняты в Ollama на тегах по умолчанию: файл модели там мог быть тяжелее Q4_K_M, а значит, на лёгком кванте скорость будет не ниже.

WTIBRENT
Binance · Wall Street 24/7Новости двигают нефтьWTI · BrentРеагируйте сразу: нефть на Binance торгуется круглосуточно
WTIBRENTGAS
Цена нефти сейчас

Поводы ноября 2026 года — релиз ggml и llama.cpp 1.0.0, пост на Hacker News про LLM на старых устройствах и модель Nemotron-3.5-Bolt-E4B — разберём ниже, а начнём с проверки своего компьютера.

Три проверки старого ПК: AVX2, каналы памяти и свободная ОЗУ

Запуск LLM на процессоре начинается не со скачивания модели, а с трёх проверок на пять минут. От них зависит, какая программа вообще запустится и какой скорости ждать.

Проверка 1. Есть ли в процессоре AVX2

AVX2 — набор инструкций процессора для параллельных вычислений над векторами. Без него LM Studio под Windows не запустится, а llama.cpp возьмёт более медленный вариант вычислений.

  1. Узнайте модель процессора: в Windows — «Диспетчер задач» → «Производительность» → «ЦП», в Linux — команда lscpu.
  2. Сверьтесь с таблицей ниже или с карточкой процессора в Intel ARK (поле «Расширения набора команд»). В Linux можно проверить напрямую: grep -o avx2 /proc/cpuinfo | head -1 — если команда вывела avx2, инструкции есть.
ПроцессорAVX2LM Studio (Windows)llama.cpp
Intel Core 4-го поколения (Haswell, с 2013) и новееестьработаетвариант haswell и выше
Intel Celeron и Pentium на архитектуре Tiger Lake и новееестьработаетвариант haswell и выше
Intel Celeron и Pentium старших поколений, бюджетные серии N и J на ядрах Atomнетне запуститсяварианты без AVX2
Intel Core 2-го и 3-го поколения (Sandy Bridge, Ivy Bridge)нет, только AVXне запуститсяварианты sandybridge, ivybridge
AMD Excavator (с 2015), все Ryzenестьработаетвариант haswell и выше
AMD Piledriver (FX и APU 2012–2014)нет, только AVXне запуститсявариант piledriver

Поколения и годы — по Wikipedia (Advanced Vector Extensions), названия вариантов — по составу готовой сборки llama.cpp b12521 от 18 ноября 2026 года. Год выпуска Celeron не гарантирует AVX2: у Celeron N5105 2021 года (Jasper Lake) Intel ARK указывает только SSE4.2.

Системные требования LM Studio: для Windows x64 нужен AVX2, рекомендовано от 16 ГБ ОЗУ, Mac на Intel не поддерживаются

На кадре — официальная страница системных требований LM Studio, снятая 18 ноября 2026 года: AVX2 для Windows x64 (1), рекомендация от 16 ГБ ОЗУ (2) и отказ от поддержки Mac на Intel (3). Рекомендация по памяти — совет, а не жёсткий порог.

Проверка 2. В сколько каналов работает память

Канал памяти — отдельная «дорога» между процессором и ОЗУ. Две планки в правильных слотах обычно дают два канала и вдвое большую пропускную способность, одна планка — один канал.

  • Windows: «Диспетчер задач» → «Производительность» → «Память» показывает число занятых гнёзд и скорость (например, 2400 МГц). «Использовано гнёзд: 1 из 2» — почти наверняка один канал. Но гнёзда — не каналы: «2 из 4» на плате с четырьмя слотами тоже может оказаться одним каналом, если планки стоят не в те разъёмы. Точно покажет бесплатная CPU-Z, вкладка Memory, строка «Channel #».
  • Linux: sudo dmidecode -t memory покажет каждую планку, её слот и частоту.

Для LLM это главный скрытый тормоз. В замере InsiderLLM (ThinkCentre M710q, i7-6700T, DDR4 на 2133 МГц, 11.08.2026) вторая планка ускорила Llama 3.2 3B с 7,36 до 11,59 токена в секунду, а Gemma 3 4B — с 5,89 до 9,15. Это +52–58% без замены процессора.

GOLD · XAUSILVER · XAG
Binance · Wall Street 24/7Золото без сейфа и слитковXAUТоргуйте ценой золота на Binance круглосуточно, с маленькой суммы
GOLDSILVER
Рассчитать сделку

Проверка 3. Сколько ОЗУ свободно до запуска

Откройте браузер и привычные программы и посмотрите в «Диспетчере задач», сколько памяти занято. Модель с рабочим буфером должна поместиться в остаток, иначе система начнёт сбрасывать данные на диск, и скорость рухнет.

Почему скорость генерации на CPU упирается в память, а не в ядра

Чтобы выдать каждый следующий токен, модель заново читает из ОЗУ все свои веса. Поэтому скорость генерации ограничена тем, сколько гигабайт в секунду память успевает отдать: потолок ≈ пропускная способность ÷ размер файла модели. Ядра процессора при этом в основном ждут данные.

Пропускная способность одного канала — частота в мегатрансферах × 8 байт: DDR3-1600 даёт 12,8 ГБ/с, DDR4-2400 — 19,2 ГБ/с, DDR4-3200 — 25,6 ГБ/с. Два канала — вдвое больше. Это теоретический пик модуля по таблицам Wikipedia, реальная скорость всегда ниже.

Наш расчёт потолка для моделей Qwen3.5 в Q4_K_M (размеры файлов — с Hugging Face на 18 ноября 2026 года: 2B — 1,28 ГБ, 4B — 2,74 ГБ, 9B — 5,68 ГБ):

ПамятьГБ/сQwen3.5 2BQwen3.5 4BQwen3.5 9B
DDR3-1600, один канал12,810,04,72,3
DDR3-1600, два канала25,620,09,34,5
DDR4-2133, один канал17,113,36,23,0
DDR4-2400, два канала38,430,014,06,8
DDR4-3200, два канала51,240,018,79,0

Цифры в колонках моделей — максимум токенов в секунду, а не прогноз. Насколько реальность ниже потолка, мы сверили на замере InsiderLLM. У i7-6700T с DDR4-2133 в двух каналах (34,1 ГБ/с) потолок для Llama 3.2 3B (2,02 ГБ) — 16,9 ток/с, а измерено 11,59, то есть 69%. В одном канале потолок 8,4, измерено 7,36 — 87%. В нашем сверочном замере реальная скорость — 69–87% от потолка, на других машинах бывает и ниже.

Из формулы следуют три практических вывода:

  • Больше ядер почти не помогает. InsiderLLM на одном процессоре получил 5,37 ток/с с 6 потоками и 5,33 — с 12.
  • Меньший файл — прямо пропорционально быстрее. Переход с Q8 на Q4_K_M или с 9B на 4B ускоряет генерацию примерно во столько раз, во сколько уменьшился файл.
  • Чтение запроса зависит уже от ядер. Вставленный документ модель обрабатывает параллельно, и второй канал тут почти не помогает: в том же замере обработка промпта изменилась меньше чем на 2%. На Core i7-8559U Nemotron-3.5-Bolt-E4B читал промпт со скоростью 30 токенов в секунду (mustafa.net): документ на 3000 токенов — около 100 секунд до начала ответа.

Какая модель для слабого ПК: Qwen3.5, Gemma 4, Llama 3.2, Phi-4 mini

Для слабого компьютера подходят модели на 1–4 млрд параметров в кванте Q4_K_M. Квант — способ сжать веса модели: Q4_K_M хранит их примерно в 4,5–5 битах вместо 16 и почти не теряет в качестве на чатовых задачах. Где у квантования начинается обрыв качества — в нашем разборе квантования Q4 против Q8.

Размеры файлов — из Hugging Face на 18–19 ноября 2026 года, скорости — из атрибутированных замеров на CPU, языки — из заявлений разработчиков в карточках моделей (качество на русском и украинском мы не измеряли).

МодельФайл Q4_K_MКомфортно на ПК сЗамер на CPUЯзыки по карточкеЛицензия
Qwen3.5 0.8B0,53 ГБ4 ГБн/д201 язык и диалектApache 2.0
Llama 3.2 1B0,81 ГБ4 ГБчуть меньше 10 ток/с (Ryzen 5 2500U, батарея)8 официально, без русского и украинскогоLlama 3.2
Qwen3.5 2B1,28 ГБ8 ГБн/д201 язык и диалектApache 2.0
Llama 3.2 3B2,02 ГБ8 ГБ7,36 / 11,59 ток/с (i7-6700T, 1 / 2 канала)8 официально, без русского и украинскогоLlama 3.2
Phi-4 mini2,49 ГБ8 ГБ6,9 ток/с (ноутбук i5)русский и украинский в списке языковMIT
Qwen3.5 4B2,74 ГБ8 ГБ5,63 ток/с (Core i7-8559U)201 язык и диалектApache 2.0
Gemma 4 E2B3,11 ГБ8 ГБ9,9 ток/с (ноутбук i5)35+ из коробки, обучена на 140+Apache 2.0
Gemma 4 E4B4,98 ГБ16 ГБн/д35+ из коробки, обучена на 140+Apache 2.0
Qwen3.5 9B5,68 ГБ16 ГБ3,07 ток/с (Core i7-8559U)201 язык и диалектApache 2.0
Nemotron-3.5-Bolt-E4B6,18 ГБ16 ГБ5,03–10,9 ток/с (см. раздел ниже)en, es, fr, de, it, ja «и другие»OpenMDW-1.1

Колонка «Комфортно на ПК с» — наша оценка: файл модели плюс рабочий буфер плюс 3–4 ГБ под Windows с браузером. Источники замеров: It’s FOSS (ноутбук Intel i5, 12 ГБ), InsiderLLM, mustafa.net, Windows Central. Замеры It’s FOSS и Windows Central сняты в Ollama на тегах по умолчанию — файл там мог быть тяжелее указанного Q4_K_M (у Gemma 4 E2B It’s FOSS называет около 7 ГБ на диске, llama3.2:1b в Ollama весит 1,3 ГБ).

Кому что брать:

  • Ноутбук с 4 ГБ или очень старый ПК — Qwen3.5 0.8B или Llama 3.2 1B. Ответы простые, зато быстрые.
  • Обычный офисный ПК с 8 ГБ — Qwen3.5 2B или 4B для русского и украинского текста, Gemma 4 E2B и Phi-4 mini как альтернативы. Llama 3.2 3B быстрая, но русский и украинский официально не заявлены.
  • 16 ГБ и два канала DDR4 — можно пробовать Qwen3.5 9B и Gemma 4 E4B, но готовьтесь к 3–6 токенам в секунду.

Буква E у Gemma 4 значит «effective»: файл больше, чем подсказывает цифра, из-за таблиц Per-Layer Embeddings (о них — в разделе про Nemotron). Модели под видеокарту и отдельные задачи вроде программирования сравниваются в нашем гиде по 11 локальным моделям под задачу и железо.

Сколько ОЗУ нужно: файл модели, KV-кэш и запас под систему

ОЗУ для LLM на CPU складывается из трёх частей: файл модели целиком, KV-кэш (память, где модель держит уже прочитанный разговор) и запас под систему с открытыми программами. Для 3–4B-модели в Q4_K_M с контекстом 4096 токенов на всё это обычно хватает 8 ГБ.

Как считается KV-кэш, покажем на Llama 3.2 3B. По её config.json на Hugging Face: 28 слоёв, 8 голов внимания для ключей и значений, размерность головы 128. В формате f16 (по умолчанию в llama.cpp) это 2 × 28 × 8 × 128 × 2 байта = 114 688 байт на токен. Наш расчёт:

  • 4096 токенов контекста — около 448 МиБ поверх файла 2,02 ГБ, итого примерно 2,5 ГБ на модель;
  • 32 768 токенов — уже около 3,5 ГиБ только на кэш, больше самой модели;
  • гибридные модели вроде Qwen3.5 4B держат полное внимание лишь в 8 слоях из 32, поэтому их кэш заметно меньше — по той же формуле напрямую его не посчитать.

Отсюда главное правило для слабого ПК: задайте контекст явно, 4096 токенов. Ollama и так берёт 4096 по умолчанию. А вот llama.cpp при -c 0 берёт длину контекста из модели, у Qwen3.5 это 262 144 токена. Включённая по умолчанию автоподгонка --fit подстраивает незаданные параметры под свободную память (контекст — не ниже 4096), но на машине без видеокарты мы её не проверяли.

Формула под модели 8B–70B, видеокарту и длинный контекст подробно разобрана в нашем расчёте ОЗУ для локального ИИ под 8B–70B — здесь не повторяем, там же таблица по размерам.

Что такое ggml, GGUF и v1.0.0 — и что они меняют для вашего ПК

Эти три слова путают чаще всего, хотя роли у них разные:

  • ggml — библиотека тензорных вычислений на C/C++ без внешних зависимостей. Работает на x86, ARM и RISC-V, умеет квантование от 2 до 8 бит и задачи для CPU, видеокарт и нейропроцессоров. Её начал писать Георгий Герганов в конце сентября 2022 года.
  • llama.cpp — движок, который запускает LLM поверх ggml. Изначально его цель была именно работа на компьютерах без видеокарты. LM Studio считает через llama.cpp, а Ollama с мая 2025 года часть моделей запускает на собственном движке, который работает напрямую с ggml.
  • GGUF — формат файла модели для ggml: в одном файле лежат веса и все настройки. GGUF сменил старые форматы GGML, GGMF и GGJT. Если на Hugging Face вы видите файл .gguf — это то, что нужно для CPU.

13 ноября 2026 года ggml и llama.cpp одновременно получили номер 1.0.0. По объявлению команды в блоге Hugging Face, теперь любая несовместимость программного интерфейса будет отражаться сменой старшей цифры версии. В заметках к релизу — чистка устаревших функций и оптимизации под CUDA, Metal, Vulkan и другие ускорители, а ускорения именно для x86-процессоров там нет.

Для владельца старого ПК 1.0.0 не меняет ничего: старые GGUF-файлы работают как раньше, скорость на процессоре не выросла скачком. Обновляться всё равно стоит — регулярные сборки приносят мелкие улучшения.

Пост на Hacker News «I’m making LLMs work on small and old devices» — о проекте smolmaxxing, патче поверх llama.cpp для ARM-устройств вроде ТВ-приставки с ~1 ГБ памяти. Часть его файлов открывает только пропатченный движок, так что для x86-ПК это набор идей (маленькие модели, 1-битные веса), а не готовый инструмент.

Nemotron-3.5-Bolt-E4B: почему «4GB» — это файл на 6,18 ГБ

NVIDIA выпустила Nemotron-3.5-Bolt-E4B-4GB 23 октября 2026 года как маленькую модель для локальных ассистентов. По карточке на Hugging Face: 8 млрд параметров всего и 4 млрд «эффективных», архитектура Gemma-4-E4B, контекст до 64 тысяч токенов, только текст, лицензия OpenMDW-1.1.

Карточка NVIDIA-Nemotron-3.5-Bolt-E4B-4GB на Hugging Face: 8B параметров и единственный GGUF Q4_K_M на 6,18 ГБ

На кадре — карточка модели на Hugging Face, снятая 18 ноября 2026 года без входа в аккаунт: размер модели (1) и единственный файл GGUF в кванте Q4_K_M (2).

Мы сверили размер файла по API Hugging Face — 6 180 446 208 байт, ту же цифру до байта приводит mustafa.net. Откуда тогда «4GB»? Карточка этого не объясняет, но разбор файла автором Hackernoon показывает:

Что внутри GGUFОбъём
Таблицы Per-Layer Embeddings (в основном Q8_0)3,05 ГБ
Блоки трансформера (Q4_K и Q6_K)2,40 ГБ
Эмбеддинги токенов0,71 ГБ

Per-Layer Embeddings — таблицы, из которых на каждом токене модель читает всего несколько строк. Google в документации Gemma 4 объясняет так же: таблицы большие, но нужны только для быстрых выборок. Поэтому на CPU-сервере с контекстом 8K процесс у Hackernoon в итоге занимал около 3,8 ГБ выделенной памяти и 4,1 ГБ RSS. Сразу после загрузки система показывала около 9,6 ГБ — это страницы файла, только что прочитанные с диска, со временем цифра падает.

Наше наблюдение из замеров mustafa.net: на Core i7-8559U Bolt выдал 5,03 ток/с, а Qwen3.5 4B — 5,63. Файл у Bolt в 2,26 раза больше, а скорость — 89% от 4B-модели. Это и есть эффект таблиц: читать на каждом токене приходится не весь файл.

ТестЖелезоПрограммаГенерация
Hackernoon, 28.10.20268 vCPU Intel Xeon (AVX-512), 16 ГБllama.cpp b11913, llama-bench, 8 потоков10,9 ± 2,8 ток/с
mustafa.net, 12.11.2026Intel NUC8, Core i7-8559Ullama.cpp b11561, контекст 8K5,03 ток/с

Что учесть перед запуском Bolt на своём ПК:

  • Рецепт в карточке — под видеокарту NVIDIA: Docker-образ с CUDA, флаги --gpus all и -ngl 999, в поддерживаемом железе — Ampere, Hopper и Blackwell. То, что модель работает на CPU, показали независимые тесты, а не NVIDIA.
  • Нужно 6,2 ГБ на диске и 16 ГБ ОЗУ для спокойной работы. На 8 ГБ с открытым браузером рискуете упереться в своп.
  • Режим размышлений на CPU дорогой. С выключенным thinking ответ в тесте Hackernoon занимал 2,1–3,6 секунды, с включённым — 13,1 секунды. Но без размышлений модель во всех трёх прогонах ошиблась с относительной датой: вместо ближайшей пятницы поставила следующую. Для дат и расчётов режим лучше включать.
  • Не путайте с Bolt 74B-A9B-24GB. У NVIDIA в той же линейке есть модель на 74 млрд параметров, рассчитанная на 24 ГБ памяти, — о ней наша новость про Nemotron 3.5 Super VL и Bolt на 24 ГБ. Это другой продукт и не для старого ПК.

Запуск в LM Studio и Ollama на процессоре пошагово

Ollama и LM Studio — самый простой способ запустить LLM на ПК без командной строки или почти без неё. Обе стоят на библиотеке ggml: LM Studio — через llama.cpp, Ollama — частично через собственный движок на ggml. Разница — в удобстве и требованиях к железу.

Что важно на старом ПКLM StudioOllamallama.cpp
Процессор без AVX2Windows x64: не запуститсяофициально не подтверждено, проверяйтеесть варианты без AVX2
Интерфейсокно с чатомкомандная строка и APIкомандная строка и веб-сервер
Выбор кванталюбой GGUF с Hugging Faceтег библиотеки или hf.co/…:квантлюбой GGUF
Требованияот 16 ГБ ОЗУ рекомендованоWindows 10 22H2+, 4 ГБ на дискеархив 25,6 МБ

Чем три программы отличаются по скорости на одной модели, мы разбирали отдельно — в сравнении Ollama, LM Studio и llama.cpp на одной модели (замеры там на видеокартах и Mac).

LM Studio: пять шагов

  1. Проверьте AVX2 (раздел «Три проверки старого ПК» выше). Без него версия для Windows x64 не запустится; в Linux программа идёт как AppImage для Ubuntu 20.04 и новее.
  2. Скачайте установщик с официального сайта lmstudio.ai и установите.
  3. Во вкладке поиска моделей найдите, например, Qwen3.5 4B и выберите файл с пометкой Q4_K_M.
  4. Загрузите модель в чат. Видеокарты нет, поэтому вся модель окажется в ОЗУ — это нормально.
  5. Если модель умеет размышлять, для простых вопросов выключите thinking в настройках чата.

Ollama: четыре шага

  1. Установите Ollama: для Windows нужна Windows 10 22H2 или новее, права администратора не требуются, под программу — от 4 ГБ на диске плюс место под модели.
  2. Запустите модель. Учтите, что теги библиотеки по умолчанию бывают тяжёлыми: на 18 ноября 2026 года qwen3.5:2b весит 2,7 ГБ — сама модель в Q8_0 (2,0 ГБ) плюс проектор для картинок (671 МБ). Лёгкий квант можно взять прямо с Hugging Face: по документации HF команда имеет вид ollama run hf.co/{автор}/{репозиторий}:{квант}, а без кванта берётся Q4_K_M, если он есть в репозитории. Для Qwen3.5 2B это выглядело бы так (мы эту команду не запускали):
ollama run hf.co/unsloth/Qwen3.5-2B-GGUF:Q4_K_M
  1. Проверьте, где работает модель:
ollama ps

В колонке Processor должно стоять 100% CPU — по документации Ollama это значит, что модель целиком загружена в оперативную память.

  1. Контекст по умолчанию — 4096 токенов, его меняет переменная OLLAMA_CONTEXT_LENGTH. На слабом ПК увеличивать не стоит.

Почему лёгкий квант важен: на каждом токене читаются веса модели, а не проектор, поэтому сравнивать надо 2,0 ГБ в Q8_0 с 1,28 ГБ в Q4_K_M — по формуле из раздела про память это ускорение примерно в 1,5 раза. У gemma4:e2b (4,6 ГБ) около гигабайта — тоже проектор.

Работу Ollama на процессоре без AVX2 однозначно подтвердить не удалось: старая документация описывает варианты библиотек с AVX2, с AVX и без них, а код текущей версии — набор вариантов ggml. Проверьте на своей машине; не пошло — переходите к llama.cpp.

Запуск через llama.cpp: готовая сборка, потоки и контекст

llama.cpp — самый лёгкий и самый гибкий вариант, особенно для старых процессоров без AVX2. Собирать из исходников не нужно: на GitHub в разделе Releases лежат готовые архивы.

  1. Скачайте сборку под процессор. В релизе b12521 от 18 ноября 2026 года для Windows это llama-b12521-bin-win-cpu-x64.zip (25,6 МБ), для Linux — llama-b12521-bin-ubuntu-x64.tar.gz (23,9 МБ), для Mac на Intel — llama-b12521-bin-macos-x64.tar.gz (13,1 МБ). В архиве для Windows лежат llama-cli.exe, llama-server.exe, llama-bench.exe и библиотеки под разные поколения процессоров, от базового x64 и SSE4.2 до haswell и новее. По исходному коду программа сама берёт лучший совместимый вариант; на CPU без AVX2 мы это не проверяли.
  2. Скачайте модель. Возьмите файл .gguf с пометкой Q4_K_M со страницы модели на Hugging Face.
  3. Запустите чат, указав потоки и контекст:
llama-cli -m Qwen3.5-4B-Q4_K_M.gguf -t 4 -c 4096

Есть короткий путь: README llama.cpp 1.0.0 предлагает установочный скрипт (curl -LsSf https://llama.app/install.sh | sh для Linux и macOS, irm https://llama.app/install.ps1 | iex для Windows PowerShell) и команду, которая сама скачает модель с Hugging Face. Сами скрипты мы не запускали.

llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF:Q4_0

Без кванта после двоеточия -hf берёт Q4_K_M, если он есть в репозитории, а иначе — первый файл. В репозитории ggml-org/Qwen3.5-0.8B-GGUF на 19 ноября 2026 года лежат только BF16 (1,56 ГБ), Q4_0 (0,56 ГБ) и Q8_0 (0,83 ГБ), поэтому квант лучше указывать явно. Если в репозитории есть проектор для картинок (mmproj), -hf докачает и его — для текстового чата это отключает флаг --no-mmproj.

Три флага, которые решают на слабом ПК:

  • -t — число потоков. Ставьте по числу физических ядер, а не логических — так советует документация llama.cpp. Автор блога point.free на Xeon E5-2620 v4 (8 ядер, 16 потоков) ставил -t 8. Если генерация подозрительно медленная, начните с -t 1 и удваивайте.
  • -c — контекст. -c 4096 — разумный старт.
  • -lm mlock — закрепить модель в ОЗУ, чтобы система не сбрасывала её на диск. В новых версиях это режим --load-mode; старый флаг --mlock из статей прошлых лет может не сработать.

Свою скорость меряйте встроенным тестом, а не «на глаз»:

llama-bench -m Qwen3.5-4B-Q4_K_M.gguf -t 4

В выводе две цифры: pp — обработка промпта, tg — генерация ответа. Сравните tg с потолком из таблицы про память: если получили меньше половины расчётного, ищите причину в следующем разделе.

Если модель на CPU работает медленно: восемь шагов по убыванию эффекта

Проверяйте по порядку — первые шаги бесплатные и дают больше всего.

  1. Подключите ноутбук к сети. В тесте Windows Central (ноутбук на Ryzen 5 2500U, 8 ГБ, Ollama) модели на 1 млрд параметров выдавали чуть меньше 10 ток/с от батареи со сбалансированным планом питания, а от сети скорость примерно удвоилась.
  2. Проверьте второй канал памяти (проверка 2 выше). Одна планка в плате на два слота — главный скрытый тормоз.
  3. Возьмите квант легче. Q4_K_M вместо Q8_0 — особенно в Ollama, где теги по умолчанию бывают тяжелее.
  4. Возьмите модель меньше. 4B вместо 9B ускоряет генерацию примерно вдвое: файл 2,74 ГБ против 5,68 ГБ.
  5. Поставьте потоки по физическим ядрам. Больше потоков генерацию не ускоряет.
  6. Ограничьте контекст 4096 токенами. Меньше кэш, меньше риск свопа.
  7. Выключите режим размышлений для простых вопросов. У Nemotron-Bolt это несколько секунд против 13. Для дат и расчётов — включайте: в том тесте он исправил ошибку с датой.
  8. Не допускайте свопа. Если модель помещается в ОЗУ, но система выгружает её при открытии других программ, помогает -lm mlock в llama.cpp. Если не помещается вовсе — только модель поменьше или квант легче: по наблюдению InsiderLLM, со свопом скорость падает ниже 2 токенов в секунду.

Риски LLM на старом ПК: своп, перегрев, ошибки и чужие файлы

Сам запуск не отправляет ваши запросы в интернет, но риски есть:

  • Своп вместо ОЗУ. Модель, которая не помещается в память, система частично выгружает на диск. Компьютер не сломается, но генерация замедлится в разы. Держите запас памяти и не запускайте 9B на 8 ГБ.
  • Нагрев и шум. Генерация держит процессор под нагрузкой минутами. У старых ноутбуков с забитой пылью системой охлаждения это повод проверить температуры, прежде чем оставлять модель работать на час.
  • Ошибки маленьких моделей. 4B-модель уверенно ошибается в датах, расчётах и фактах — как Nemotron-Bolt с «пятницей» выше. Проверяйте всё, от чего зависят деньги, здоровье или работа.
  • Файлы из непроверенных источников. Берите GGUF у разработчика модели или у известных сборщиков на Hugging Face, где файлы проходят автоматическую проверку (пометка Safe в списке файлов). Установочные скрипты вида curl … | sh выполняют чужой код с вашими правами — запускайте их только с официального адреса проекта.
  • Громкие обещания без оговорок. В ноябре 2026 года в соцсетях разошлась цитата из README bitnet.cpp от Microsoft: модель на 100 млрд параметров на одном процессоре и ускорение до 6,17 раза. Условие при этом теряется: речь только о моделях, обученных в 1,58 бита, а ускорение 2,37–6,17 раза считается относительно полноточных моделей, не относительно Q4_K_M. Доступная модель такого типа — BitNet b1.58 2B4T: по InsiderLLM, 30–45 ток/с на ноутбучных процессорах при 0,4 ГБ памяти. Обычную Qwen или Llama так не ускорить.

Когда процессора не хватает: что менять и куда идти дальше

LLM на CPU упирается в потолок, когда задачи требуют модель от 9B и длинный контекст. Признаки: ответ идёт медленнее 3 токенов в секунду, документ на несколько страниц модель читает минутами, а качество 4B-модели не устраивает.

Варианты по нарастанию затрат:

  • Сменить модель, а не железо. Попробуйте другую модель того же размера: качество на русском и украинском у малых моделей разное, а карточки говорят только о заявленной поддержке языков.
  • Добить вторую планку памяти той же частоты, если сейчас работает один канал. Это самое дешёвое ускорение для CPU.
  • Видеокарта. Если без неё уже никак, считайте не модель видеокарты, а объём видеопамяти — формула и таблица по моделям в нашем материале о том, сколько видеопамяти нужно под LLM. Порядок апгрейда со всеми подводными камнями, включая блок питания, разобран в гайде про апгрейд старого ПК под локальный ИИ.
  • Облачная модель для тяжёлых задач. Локальная 4B не заменит большие облачные модели в сложных рассуждениях и программировании. Разумная схема — простые и приватные задачи локально, тяжёлые — в облаке.

FAQ

Какая модель подойдёт для слабого компьютера с 8 ГБ ОЗУ?

На 8 ГБ ОЗУ комфортно работают модели до 4 млрд параметров в кванте Q4_K_M: Qwen3.5 2B (1,28 ГБ) и 4B (2,74 ГБ), Llama 3.2 3B (2,02 ГБ), Phi-4 mini (2,49 ГБ), Gemma 4 E2B (3,11 ГБ). Для текста на русском и украинском разумно начать с Qwen3.5: по карточке она поддерживает 201 язык и диалект, а у Llama 3.2 эти языки официально не заявлены.

Запустится ли LLM на старом Mac с процессором Intel?

Да, но не через LM Studio: по официальным требованиям на 18 ноября 2026 года Mac на Intel программа не поддерживает. Остаётся llama.cpp — в релизе b12521 есть готовая сборка macos-x64 на 13,1 МБ. Дальше всё как на обычном ПК: модель 1–4B в кванте Q4_K_M, контекст 4096 токенов и потоки по числу физических ядер.

Запустится ли LM Studio на процессоре без AVX2?

Версия LM Studio для Windows x64 требует поддержку AVX2 — так написано в официальных системных требованиях на 18 ноября 2026 года. У Intel AVX2 есть с четвёртого поколения Core (Haswell, 2013), у Celeron и Pentium — только на архитектуре Tiger Lake и новее, у AMD — с Excavator (2015). На процессоре без AVX2 используйте llama.cpp: по составу готовой сборки в ней есть варианты для более старых наборов инструкций.

Работает ли Ollama без видеокарты и как понять, что она на CPU?

Да, Ollama работает без видеокарты и сама загружает модель в оперативную память. Чтобы убедиться, выполните ollama ps: в колонке Processor должно стоять «100% CPU». Учтите, что теги библиотеки по умолчанию бывают тяжелее Q4_K_M — qwen3.5:2b весит 2,7 ГБ против 1,28 ГБ у того же Qwen3.5 2B в Q4_K_M.

Чем ggml отличается от GGUF и llama.cpp?

ggml — библиотека вычислений на C/C++, фундамент всей системы. llama.cpp — движок, который на ggml запускает языковые модели, через него работает LM Studio; Ollama частично использует собственный движок на той же ggml. GGUF — формат файла модели, в котором лежат веса и настройки. Версия 1.0.0 от 13 ноября 2026 года означает стабильный программный интерфейс, а не новую скорость.

Можно ли запустить LLM на ноутбуке с 4 ГБ ОЗУ?

Можно, но только самую маленькую модель: Qwen3.5 0.8B (0,53 ГБ) или Llama 3.2 1B (0,81 ГБ) в кванте Q4_K_M. Система сама займёт заметную часть памяти, поэтому закройте браузер и используйте лёгкий llama.cpp — LM Studio рекомендует от 16 ГБ. Ноутбук держите подключённым к сети: от батареи генерация бывает вдвое медленнее.

Binance · Wall Street 24/7Нью-Йорк спит. Рынок — нетАкции, золото и нефть на Binance — даже ночью
NY --:--
Смотреть цены
Поделиться
Связаться:
Крипто- и data-аналитик, инженер-программист (факультет компьютерных наук ХНУРЭ). В IT с 2008 года: администрировал корпоративный мониторинг в «Vodafone Украина», семь лет разрабатывал и продвигал веб-проекты, пять лет руководил маркетингом на метриках — конверсия, CTR, ROI, LTV.Криптовалютными рынками занимаюсь с 2021 года: ончейн-метрики, токеномика, макроэкономические индикаторы. Разработал собственную data-driven модель анализа рынка на 30+ метрик. Стек — Python (pandas, NumPy, SciPy, matplotlib), математическая статистика и EDA; сбор и сверку данных автоматизирую AI-агентами.Принцип — «Don't trust, verify»: каждая цифра проверена по первоисточнику, ключевые — минимум по двум независимым; прогнозы — только сценарии с условиями. Тезис без данных не публикуется.