LLM на CPU старого ПК без відеокарти: моделі 1–4B, ОЗП і швидкість

38 хв. читання
Binance · Wall Street 24/7OpenAI і Anthropic ще не на біржіА контракти на їхню ціну вже торгуються на Binance
Дивитися ціни

Коротко (TL;DR)

  • Відеокарта не обов’язкова. LLM без GPU запускають рушій llama.cpp і програми на тій самій бібліотеці ggml (Ollama, LM Studio), якщо модель маленька: 1–4 млрд параметрів у кванті Q4_K_M.
  • Три перевірки до завантаження: чи має процесор інструкції AVX2, чи працює пам’ять у два канали і скільки ОЗП вільно. Це важить більше, ніж кількість ядер.
  • Швидкість визначає пам’ять, а не процесор. Стеля — пропускна здатність ОЗП, поділена на розмір файлу моделі. На старих ПК 3–4B-моделі в замірах видають 5–12 токенів за секунду, 7–9B — 3–4.
  • Що брати: Qwen3.5 2B/4B, Llama 3.2 3B, Gemma 4 E2B, Phi-4 mini. На 8 ГБ ОЗП — до 4B, 9B і Nemotron-3.5-Bolt-E4B — уже на 16 ГБ.
  • Новини листопада 2026: версія 1.0.0 у ggml і llama.cpp — стабільність програмного інтерфейсу, а не приріст швидкості. «4GB» у Nemotron-3.5-Bolt-E4B за замірами приблизно дорівнює робочій пам’яті, файл — 6,18 ГБ.

Чи можна запустити LLM без відеокарти і якої швидкості чекати

Так, LLM без відеокарти запускається на комп’ютері з процесором x86-64 і 8 ГБ ОЗП, але тільки маленька. За замірами на ПК і ноутбуках із Core i5 та i7 минулих років моделі на 3–4 млрд параметрів у форматі GGUF дають 5–12 токенів за секунду, на 1 млрд — 18–36. Для чату, переказу й чернеток цього вистачає, для довгих текстів і 9B-моделей — уже насилу.

Токен — шматочок тексту, часто коротший за слово. Microsoft у README проєкту bitnet.cpp називає 5–7 токенів за секунду швидкістю читання людини — для англійського тексту. Український текст розпадається на більше токенів, тож за такої швидкості відповідь ітиме приблизно зі швидкістю неквапливого читання або повільніше: зручно для короткого діалогу, довго для статті на три тисячі слів.

Нижче — опорні заміри з незалежних тестів 2026 року. Залізо й програми в авторів різні, тому це орієнтири, а не гарантія.

Розмір моделіШвидкість генераціїНа чому виміряно
0,6–1B18–36 ток/сIt’s FOSS (ноутбук Intel i5, 12 ГБ, Ollama, 15.05.2026); InsiderLLM (i7-6700T, два канали DDR4)
3–4B5–12 ток/сInsiderLLM (i7-6700T: 9,2–12,2); It’s FOSS (Phi-4 mini: 6,9); mustafa.net (Core i7-8559U, Qwen3.5 4B: 5,63)
7–9B3–4 ток/сIt’s FOSS (7B: 4,1–4,3; Ministral 3 8B: 3,16); mustafa.net (Qwen3.5 9B: 3,07)

Заміри It’s FOSS зроблено в Ollama на тегах за замовчуванням: файл моделі там міг бути важчим за Q4_K_M, отже, на легкому кванті швидкість буде не нижчою.

GOLD · XAUSILVER · XAG
Binance · Wall Street 24/7Золото без сейфа і злитківXAUТоргуйте ціною золота на Binance цілодобово, з маленької суми
GOLDSILVER
Порахувати угоду

Приводи листопада 2026 року — реліз ggml і llama.cpp 1.0.0, допис на Hacker News про LLM на старих пристроях і модель Nemotron-3.5-Bolt-E4B — розберемо нижче, а почнемо з перевірки свого комп’ютера.

Три перевірки старого ПК: AVX2, канали пам’яті й вільна ОЗП

Запуск LLM на процесорі починається не із завантаження моделі, а з трьох перевірок на п’ять хвилин. Від них залежить, яка програма взагалі запуститься і якої швидкості чекати.

Перевірка 1. Чи має процесор AVX2

AVX2 — набір інструкцій процесора для паралельних обчислень над векторами. Без нього LM Studio під Windows не запуститься, а llama.cpp візьме повільніший варіант обчислень.

  1. Дізнайтеся модель процесора: у Windows — «Диспетчер завдань» → «Продуктивність» → «ЦП», у Linux — команда lscpu.
  2. Звіртеся з таблицею нижче або з карткою процесора в Intel ARK (поле «Розширення набору команд»). У Linux можна перевірити безпосередньо: grep -o avx2 /proc/cpuinfo | head -1 — якщо команда вивела avx2, інструкції є.
ПроцесорAVX2LM Studio (Windows)llama.cpp
Intel Core 4-го покоління (Haswell, з 2013) і новішієпрацюєваріант haswell і вище
Intel Celeron і Pentium на архітектурі Tiger Lake і новішієпрацюєваріант haswell і вище
Intel Celeron і Pentium старших поколінь, бюджетні серії N і J на ядрах Atomнемаєне запуститьсяваріанти без AVX2
Intel Core 2-го і 3-го поколінь (Sandy Bridge, Ivy Bridge)немає, тільки AVXне запуститьсяваріанти sandybridge, ivybridge
AMD Excavator (з 2015), усі Ryzenєпрацюєваріант haswell і вище
AMD Piledriver (FX і APU 2012–2014)немає, тільки AVXне запуститьсяваріант piledriver

Покоління й роки — за Wikipedia (Advanced Vector Extensions), назви варіантів — за складом готової збірки llama.cpp b12521 від 18 листопада 2026 року. Рік випуску Celeron не гарантує AVX2: для Celeron N5105 2021 року (Jasper Lake) Intel ARK вказує тільки SSE4.2.

Системні вимоги LM Studio: для Windows x64 потрібен AVX2, рекомендовано від 16 ГБ ОЗП, Mac на Intel не підтримуються

На кадрі — офіційна сторінка системних вимог LM Studio, знята 18 листопада 2026 року: AVX2 для Windows x64 (1), рекомендація від 16 ГБ ОЗП (2) і відмова від підтримки Mac на Intel (3). Рекомендація щодо пам’яті — порада, а не жорсткий поріг.

Перевірка 2. У скільки каналів працює пам’ять

Канал пам’яті — окрема «дорога» між процесором і ОЗП. Дві планки в правильних слотах зазвичай дають два канали й удвічі більшу пропускну здатність, одна планка — один канал.

  • Windows: «Диспетчер завдань» → «Продуктивність» → «Пам’ять» показує кількість зайнятих гнізд і швидкість (наприклад, 2400 МГц). «Використано гнізд: 1 з 2» — майже напевно один канал. Але гнізда — не канали: «2 з 4» на платі з чотирма слотами теж може виявитися одним каналом, якщо планки стоять не в тих роз’ємах. Точно покаже безкоштовна CPU-Z, вкладка Memory, рядок «Channel #».
  • Linux: sudo dmidecode -t memory покаже кожну планку, її слот і частоту.

Для LLM це головне приховане гальмо. У замірі InsiderLLM (ThinkCentre M710q, i7-6700T, DDR4 на 2133 МГц, 11.08.2026) друга планка прискорила Llama 3.2 3B із 7,36 до 11,59 токена за секунду, а Gemma 3 4B — із 5,89 до 9,15. Це +52–58% без заміни процесора.

WTIBRENT
Binance · Wall Street 24/7Новини рухають нафтуWTI · BrentРеагуйте одразу: нафта на Binance торгується цілодобово
WTIBRENTGAS
Ціна нафти зараз

Перевірка 3. Скільки ОЗП вільно до запуску

Відкрийте браузер і звичні програми та подивіться в «Диспетчері завдань», скільки пам’яті зайнято. Модель із робочим буфером має вміститися в залишок, інакше система почне скидати дані на диск, і швидкість обвалиться.

Чому швидкість генерації на CPU впирається в пам’ять, а не в ядра

Щоб видати кожен наступний токен, модель заново читає з ОЗП усі свої ваги. Тому швидкість генерації обмежена тим, скільки гігабайтів за секунду пам’ять встигає віддати: стеля ≈ пропускна здатність ÷ розмір файлу моделі. Ядра процесора тим часом здебільшого чекають на дані.

Пропускна здатність одного каналу — частота в мегатрансферах × 8 байтів: DDR3-1600 дає 12,8 ГБ/с, DDR4-2400 — 19,2 ГБ/с, DDR4-3200 — 25,6 ГБ/с. Два канали — удвічі більше. Це теоретичний пік модуля за таблицями Wikipedia, реальна швидкість завжди нижча.

Наш розрахунок стелі для моделей Qwen3.5 у Q4_K_M (розміри файлів — із Hugging Face на 18 листопада 2026 року: 2B — 1,28 ГБ, 4B — 2,74 ГБ, 9B — 5,68 ГБ):

Пам’ятьГБ/сQwen3.5 2BQwen3.5 4BQwen3.5 9B
DDR3-1600, один канал12,810,04,72,3
DDR3-1600, два канали25,620,09,34,5
DDR4-2133, один канал17,113,36,23,0
DDR4-2400, два канали38,430,014,06,8
DDR4-3200, два канали51,240,018,79,0

Цифри в колонках моделей — максимум токенів за секунду, а не прогноз. Наскільки реальність нижча за стелю, ми звірили на замірі InsiderLLM. В i7-6700T із DDR4-2133 у двох каналах (34,1 ГБ/с) стеля для Llama 3.2 3B (2,02 ГБ) — 16,9 ток/с, а виміряно 11,59, тобто 69%. В одному каналі стеля 8,4, виміряно 7,36 — 87%. У нашому звірювальному замірі реальна швидкість — 69–87% від стелі, на інших машинах буває й нижча.

Із формули випливають три практичні висновки:

  • Більше ядер майже не допомагає. InsiderLLM на одному процесорі отримав 5,37 ток/с із 6 потоками і 5,33 — із 12.
  • Менший файл — прямо пропорційно швидше. Перехід із Q8 на Q4_K_M або з 9B на 4B прискорює генерацію приблизно в стільки разів, у скільки зменшився файл.
  • Читання запиту залежить уже від ядер. Вставлений документ модель обробляє паралельно, і другий канал тут майже не допомагає: у тому самому замірі обробка промпту змінилася менш ніж на 2%. На Core i7-8559U Nemotron-3.5-Bolt-E4B читав промпт зі швидкістю 30 токенів за секунду (mustafa.net): документ на 3000 токенів — близько 100 секунд до початку відповіді.

Яка модель для слабкого ПК: Qwen3.5, Gemma 4, Llama 3.2, Phi-4 mini

Для слабкого комп’ютера підходять моделі на 1–4 млрд параметрів у кванті Q4_K_M. Квант — спосіб стиснути ваги моделі: Q4_K_M зберігає їх приблизно в 4,5–5 бітах замість 16 і майже не втрачає якості на чатових завданнях. З якого кванта якість обривається — у нашому розборі квантування Q4 проти Q8.

Розміри файлів — із Hugging Face на 18–19 листопада 2026 року, швидкості — з атрибутованих замірів на CPU, мови — із заяв розробників у картках моделей (якість українською ми не вимірювали).

МодельФайл Q4_K_MКомфортно на ПК зЗамір на CPUМови за карткоюЛіцензія
Qwen3.5 0.8B0,53 ГБ4 ГБн/д201 мова й діалектApache 2.0
Llama 3.2 1B0,81 ГБ4 ГБтрохи менше ніж 10 ток/с (Ryzen 5 2500U, батарея)8 офіційно, української немаєLlama 3.2
Qwen3.5 2B1,28 ГБ8 ГБн/д201 мова й діалектApache 2.0
Llama 3.2 3B2,02 ГБ8 ГБ7,36 / 11,59 ток/с (i7-6700T, 1 / 2 канали)8 офіційно, української немаєLlama 3.2
Phi-4 mini2,49 ГБ8 ГБ6,9 ток/с (ноутбук i5)українська є в списку мовMIT
Qwen3.5 4B2,74 ГБ8 ГБ5,63 ток/с (Core i7-8559U)201 мова й діалектApache 2.0
Gemma 4 E2B3,11 ГБ8 ГБ9,9 ток/с (ноутбук i5)35+ з коробки, навчена на 140+Apache 2.0
Gemma 4 E4B4,98 ГБ16 ГБн/д35+ з коробки, навчена на 140+Apache 2.0
Qwen3.5 9B5,68 ГБ16 ГБ3,07 ток/с (Core i7-8559U)201 мова й діалектApache 2.0
Nemotron-3.5-Bolt-E4B6,18 ГБ16 ГБ5,03–10,9 ток/с (див. розділ нижче)en, es, fr, de, it, ja «та інші»OpenMDW-1.1

Колонка «Комфортно на ПК з» — наша оцінка: файл моделі плюс робочий буфер плюс 3–4 ГБ під Windows із браузером. Джерела замірів: It’s FOSS (ноутбук Intel i5, 12 ГБ), InsiderLLM, mustafa.net, Windows Central. Заміри It’s FOSS і Windows Central зроблено в Ollama на тегах за замовчуванням — файл там міг бути важчим за вказаний Q4_K_M (для Gemma 4 E2B It’s FOSS називає близько 7 ГБ на диску, llama3.2:1b в Ollama важить 1,3 ГБ).

Кому що брати:

  • Ноутбук із 4 ГБ або дуже старий ПК — Qwen3.5 0.8B або Llama 3.2 1B. Відповіді прості, зате швидкі.
  • Звичайний офісний ПК із 8 ГБ — Qwen3.5 2B або 4B для українського тексту, Gemma 4 E2B і Phi-4 mini як альтернативи. Llama 3.2 3B швидка, але українська офіційно не заявлена.
  • 16 ГБ і два канали DDR4 — можна пробувати Qwen3.5 9B і Gemma 4 E4B, але готуйтеся до 3–6 токенів за секунду.

Літера E в Gemma 4 означає «effective»: файл більший, ніж підказує цифра, через таблиці Per-Layer Embeddings (про них — у розділі про Nemotron). Моделі під відеокарту й окремі завдання на кшталт програмування порівнюються в нашому гіді з 11 локальних моделей під завдання й залізо.

Скільки ОЗП потрібно: файл моделі, KV-кеш і запас під систему

ОЗП для LLM на CPU складається з трьох частин: файл моделі цілком, KV-кеш (пам’ять, де модель тримає вже прочитану розмову) і запас під систему з відкритими програмами. Для 3–4B-моделі в Q4_K_M із контекстом 4096 токенів на все це зазвичай вистачає 8 ГБ.

Як обчислюється KV-кеш, покажемо на Llama 3.2 3B. За її config.json на Hugging Face: 28 шарів, 8 голів уваги для ключів і значень, розмірність голови 128. У форматі f16 (за замовчуванням у llama.cpp) це 2 × 28 × 8 × 128 × 2 байти = 114 688 байтів на токен. Наш розрахунок:

  • 4096 токенів контексту — близько 448 МіБ поверх файлу 2,02 ГБ, разом приблизно 2,5 ГБ на модель;
  • 32 768 токенів — уже близько 3,5 ГіБ тільки на кеш, більше за саму модель;
  • гібридні моделі на кшталт Qwen3.5 4B тримають повну увагу лише у 8 шарах із 32, тому їхній кеш помітно менший — за тією самою формулою безпосередньо його не порахувати.

Звідси головне правило для слабкого ПК: задайте контекст явно, 4096 токенів. Ollama і так бере 4096 за замовчуванням. А от llama.cpp за -c 0 бере довжину контексту з моделі, у Qwen3.5 це 262 144 токени. Увімкнене за замовчуванням автопідлаштування --fit підганяє незадані параметри під вільну пам’ять (контекст — не нижче 4096), але на машині без відеокарти ми його не перевіряли.

Формулу під моделі 8B–70B, відеокарту й довгий контекст докладно розібрано в нашому розрахунку ОЗП для локального ШІ під 8B–70B — тут не повторюємо, там же таблиця за розмірами.

Що таке ggml, GGUF і v1.0.0 — і що вони змінюють для вашого ПК

Ці три слова плутають найчастіше, хоча ролі в них різні:

  • ggml — бібліотека тензорних обчислень на C/C++ без зовнішніх залежностей. Працює на x86, ARM і RISC-V, уміє квантування від 2 до 8 бітів і завдання для CPU, відеокарт і нейропроцесорів. Її почав писати Георгій Герганов наприкінці вересня 2022 року.
  • llama.cpp — рушій, який запускає LLM поверх ggml. Від початку його метою була саме робота на комп’ютерах без відеокарти. LM Studio обчислює через llama.cpp, а Ollama з травня 2025 року частину моделей запускає на власному рушії, який працює безпосередньо з ggml.
  • GGUF — формат файлу моделі для ggml: в одному файлі лежать ваги й усі налаштування. GGUF замінив старі формати GGML, GGMF і GGJT. Якщо на Hugging Face ви бачите файл .gguf — це те, що потрібно для CPU.

13 листопада 2026 року ggml і llama.cpp одночасно отримали номер 1.0.0. За оголошенням команди в блозі Hugging Face, відтепер будь-яка несумісність програмного інтерфейсу відображатиметься зміною старшої цифри версії. У нотатках до релізу — чистка застарілих функцій і оптимізації під CUDA, Metal, Vulkan та інші прискорювачі, а прискорення саме для x86-процесорів там немає.

Для власника старого ПК 1.0.0 не змінює нічого: старі GGUF-файли працюють як раніше, швидкість на процесорі стрибком не зросла. Оновлюватися все одно варто — регулярні збірки приносять дрібні поліпшення.

Допис на Hacker News «I’m making LLMs work on small and old devices» — про проєкт smolmaxxing, патч поверх llama.cpp для ARM-пристроїв на кшталт ТВ-приставки з ~1 ГБ пам’яті. Частину його файлів відкриває тільки пропатчений рушій, тож для x86-ПК це набір ідей (маленькі моделі, 1-бітні ваги), а не готовий інструмент.

Nemotron-3.5-Bolt-E4B: чому «4GB» — це файл на 6,18 ГБ

NVIDIA випустила Nemotron-3.5-Bolt-E4B-4GB 23 жовтня 2026 року як маленьку модель для локальних асистентів. За карткою на Hugging Face: 8 млрд параметрів загалом і 4 млрд «ефективних», архітектура Gemma-4-E4B, контекст до 64 тисяч токенів, тільки текст, ліцензія OpenMDW-1.1.

Картка NVIDIA-Nemotron-3.5-Bolt-E4B-4GB на Hugging Face: 8B параметрів і єдиний GGUF Q4_K_M на 6,18 ГБ

На кадрі — картка моделі на Hugging Face, знята 18 листопада 2026 року без входу в акаунт: розмір моделі (1) і єдиний файл GGUF у кванті Q4_K_M (2).

Ми звірили розмір файлу через API Hugging Face — 6 180 446 208 байтів, ту саму цифру до байта наводить mustafa.net. Звідки тоді «4GB»? Картка цього не пояснює, але розбір файлу автором Hackernoon показує:

Що всередині GGUFОбсяг
Таблиці Per-Layer Embeddings (здебільшого Q8_0)3,05 ГБ
Блоки трансформера (Q4_K і Q6_K)2,40 ГБ
Ембединги токенів0,71 ГБ

Per-Layer Embeddings — таблиці, з яких на кожному токені модель читає лише кілька рядків. Google у документації Gemma 4 пояснює так само: таблиці великі, але потрібні тільки для швидких вибірок. Тому на CPU-сервері з контекстом 8K процес у Hackernoon зрештою займав близько 3,8 ГБ виділеної пам’яті та 4,1 ГБ RSS. Одразу після завантаження система показувала близько 9,6 ГБ — це сторінки файлу, щойно прочитані з диска, з часом цифра падає.

Наше спостереження із замірів mustafa.net: на Core i7-8559U Bolt видав 5,03 ток/с, а Qwen3.5 4B — 5,63. Файл у Bolt у 2,26 раза більший, а швидкість — 89% від 4B-моделі. Це і є ефект таблиць: на кожному токені доводиться читати не весь файл.

ТестЗалізоПрограмаГенерація
Hackernoon, 28.10.20268 vCPU Intel Xeon (AVX-512), 16 ГБllama.cpp b11913, llama-bench, 8 потоків10,9 ± 2,8 ток/с
mustafa.net, 12.11.2026Intel NUC8, Core i7-8559Ullama.cpp b11561, контекст 8K5,03 ток/с

Що врахувати перед запуском Bolt на своєму ПК:

  • Рецепт у картці — під відеокарту NVIDIA: Docker-образ із CUDA, прапорці --gpus all і -ngl 999, у підтримуваному залізі — Ampere, Hopper і Blackwell. Те, що модель працює на CPU, показали незалежні тести, а не NVIDIA.
  • Потрібно 6,2 ГБ на диску і 16 ГБ ОЗП для спокійної роботи. На 8 ГБ із відкритим браузером ризикуєте впертися у своп.
  • Режим міркувань на CPU дорогий. З вимкненим thinking відповідь у тесті Hackernoon займала 2,1–3,6 секунди, з увімкненим — 13,1 секунди. Але без міркувань модель у всіх трьох прогонах помилилася з відносною датою: замість найближчої п’ятниці поставила наступну. Для дат і розрахунків режим краще вмикати.
  • Не плутайте з Bolt 74B-A9B-24GB. У NVIDIA в тій самій лінійці є модель на 74 млрд параметрів, розрахована на 24 ГБ пам’яті, — про неї наша новина про Nemotron 3.5 Super VL і Bolt на 24 ГБ. Це інший продукт і не для старого ПК.

Запуск у LM Studio та Ollama на процесорі покроково

Ollama і LM Studio — найпростіший спосіб запустити LLM на ПК без командного рядка або майже без нього. Обидві стоять на бібліотеці ggml: LM Studio — через llama.cpp, Ollama — частково через власний рушій на ggml. Різниця — у зручності та вимогах до заліза.

Що важливо на старому ПКLM StudioOllamallama.cpp
Процесор без AVX2Windows x64: не запуститьсяофіційно не підтверджено, перевіряйтеє варіанти без AVX2
Інтерфейсвікно з чатомкомандний рядок і APIкомандний рядок і вебсервер
Вибір квантабудь-який GGUF із Hugging Faceтег бібліотеки або hf.co/…:квантбудь-який GGUF
Вимогивід 16 ГБ ОЗП рекомендованоWindows 10 22H2+, 4 ГБ на дискуархів 25,6 МБ

Чим три програми відрізняються за швидкістю на одній моделі, ми розбирали окремо — у порівнянні Ollama, LM Studio і llama.cpp на одній моделі (заміри там на відеокартах і Mac).

LM Studio: п’ять кроків

  1. Перевірте AVX2 (розділ «Три перевірки старого ПК» вище). Без нього версія для Windows x64 не запуститься; у Linux програма постачається як AppImage для Ubuntu 20.04 і новіших.
  2. Завантажте інсталятор з офіційного сайту lmstudio.ai і встановіть.
  3. У вкладці пошуку моделей знайдіть, наприклад, Qwen3.5 4B і виберіть файл із позначкою Q4_K_M.
  4. Завантажте модель у чат. Відеокарти немає, тому вся модель опиниться в ОЗП — це нормально.
  5. Якщо модель уміє міркувати, для простих запитань вимкніть thinking у налаштуваннях чату.

Ollama: чотири кроки

  1. Встановіть Ollama: для Windows потрібна Windows 10 22H2 або новіша, права адміністратора не потрібні, під програму — від 4 ГБ на диску плюс місце під моделі.
  2. Запустіть модель. Майте на увазі, що теги бібліотеки за замовчуванням бувають важкими: на 18 листопада 2026 року qwen3.5:2b важить 2,7 ГБ — сама модель у Q8_0 (2,0 ГБ) плюс проєктор для зображень (671 МБ). Легкий квант можна взяти безпосередньо з Hugging Face: за документацією HF команда має вигляд ollama run hf.co/{автор}/{репозиторій}:{квант}, а без кванта береться Q4_K_M, якщо він є в репозиторії. Для Qwen3.5 2B це виглядало б так (ми цю команду не запускали):
ollama run hf.co/unsloth/Qwen3.5-2B-GGUF:Q4_K_M
  1. Перевірте, де працює модель:
ollama ps

У колонці Processor має стояти 100% CPU — за документацією Ollama це означає, що модель цілком завантажена в оперативну пам’ять.

  1. Контекст за замовчуванням — 4096 токенів, його змінює змінна OLLAMA_CONTEXT_LENGTH. На слабкому ПК збільшувати не варто.

Чому легкий квант важливий: на кожному токені читаються ваги моделі, а не проєктор, тому порівнювати треба 2,0 ГБ у Q8_0 з 1,28 ГБ у Q4_K_M — за формулою з розділу про пам’ять це прискорення приблизно в 1,5 раза. У gemma4:e2b (4,6 ГБ) близько гігабайта — теж проєктор.

Роботу Ollama на процесорі без AVX2 однозначно підтвердити не вдалося: стара документація описує варіанти бібліотек з AVX2, з AVX і без них, а код поточної версії — набір варіантів ggml. Перевірте на своїй машині; не пішло — переходьте до llama.cpp.

Запуск через llama.cpp: готова збірка, потоки й контекст

llama.cpp — найлегший і найгнучкіший варіант, особливо для старих процесорів без AVX2. Збирати з вихідного коду не потрібно: на GitHub у розділі Releases лежать готові архіви.

  1. Завантажте збірку під процесор. У релізі b12521 від 18 листопада 2026 року для Windows це llama-b12521-bin-win-cpu-x64.zip (25,6 МБ), для Linux — llama-b12521-bin-ubuntu-x64.tar.gz (23,9 МБ), для Mac на Intel — llama-b12521-bin-macos-x64.tar.gz (13,1 МБ). В архіві для Windows лежать llama-cli.exe, llama-server.exe, llama-bench.exe і бібліотеки під різні покоління процесорів, від базового x64 і SSE4.2 до haswell і новіших. За вихідним кодом програма сама бере найкращий сумісний варіант; на CPU без AVX2 ми це не перевіряли.
  2. Завантажте модель. Візьміть файл .gguf із позначкою Q4_K_M зі сторінки моделі на Hugging Face.
  3. Запустіть чат, указавши потоки й контекст:
llama-cli -m Qwen3.5-4B-Q4_K_M.gguf -t 4 -c 4096

Є коротший шлях: README llama.cpp 1.0.0 пропонує інсталяційний скрипт (curl -LsSf https://llama.app/install.sh | sh для Linux і macOS, irm https://llama.app/install.ps1 | iex для Windows PowerShell) і команду, яка сама завантажить модель із Hugging Face. Самі скрипти ми не запускали.

llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF:Q4_0

Без кванта після двокрапки -hf бере Q4_K_M, якщо він є в репозиторії, а інакше — перший файл. У репозиторії ggml-org/Qwen3.5-0.8B-GGUF на 19 листопада 2026 року лежать тільки BF16 (1,56 ГБ), Q4_0 (0,56 ГБ) і Q8_0 (0,83 ГБ), тому квант краще вказувати явно. Якщо в репозиторії є проєктор для зображень (mmproj), -hf довантажить і його — для текстового чату це вимикає прапорець --no-mmproj.

Три прапорці, які вирішують на слабкому ПК:

  • -t — кількість потоків. Ставте за кількістю фізичних ядер, а не логічних — так радить документація llama.cpp. Автор блогу point.free на Xeon E5-2620 v4 (8 ядер, 16 потоків) ставив -t 8. Якщо генерація підозріло повільна, почніть із -t 1 і подвоюйте.
  • -c — контекст. -c 4096 — розумний старт.
  • -lm mlock — закріпити модель в ОЗП, щоб система не скидала її на диск. У нових версіях це режим --load-mode; старий прапорець --mlock зі статей минулих років може не спрацювати.

Свою швидкість вимірюйте вбудованим тестом, а не «на око»:

llama-bench -m Qwen3.5-4B-Q4_K_M.gguf -t 4

У виводі дві цифри: pp — обробка промпту, tg — генерація відповіді. Порівняйте tg зі стелею з таблиці про пам’ять: якщо отримали менше половини розрахункової, шукайте причину в наступному розділі.

Якщо модель на CPU працює повільно: вісім кроків за спаданням ефекту

Перевіряйте по черзі — перші кроки безкоштовні й дають найбільше.

  1. Підключіть ноутбук до мережі. У тесті Windows Central (ноутбук на Ryzen 5 2500U, 8 ГБ, Ollama) моделі на 1 млрд параметрів видавали трохи менше ніж 10 ток/с від батареї зі збалансованим планом живлення, а від мережі швидкість приблизно подвоїлася.
  2. Перевірте другий канал пам’яті (перевірка 2 вище). Одна планка в платі на два слоти — головне приховане гальмо.
  3. Візьміть легший квант. Q4_K_M замість Q8_0 — особливо в Ollama, де теги за замовчуванням бувають важчими.
  4. Візьміть меншу модель. 4B замість 9B прискорює генерацію приблизно вдвічі: файл 2,74 ГБ проти 5,68 ГБ.
  5. Поставте потоки за фізичними ядрами. Більше потоків генерацію не прискорює.
  6. Обмежте контекст 4096 токенами. Менший кеш, менший ризик свопу.
  7. Вимкніть режим міркувань для простих запитань. У Nemotron-Bolt це кілька секунд проти 13. Для дат і розрахунків — вмикайте: у тому тесті він виправив помилку з датою.
  8. Не допускайте свопу. Якщо модель вміщається в ОЗП, але система вивантажує її, коли ви відкриваєте інші програми, допомагає -lm mlock у llama.cpp. Якщо не вміщається зовсім — тільки менша модель або легший квант: за спостереженням InsiderLLM, зі свопом швидкість падає нижче 2 токенів за секунду.

Ризики LLM на старому ПК: своп, перегрів, помилки й чужі файли

Сам запуск не надсилає ваші запити в інтернет, але ризики є:

  • Своп замість ОЗП. Модель, яка не вміщається в пам’ять, система частково вивантажує на диск. Комп’ютер не зламається, але генерація сповільниться в рази. Тримайте запас пам’яті й не запускайте 9B на 8 ГБ.
  • Нагрів і шум. Генерація тримає процесор під навантаженням хвилинами. У старих ноутбуків із забитою пилом системою охолодження це привід перевірити температури, перш ніж залишати модель працювати на годину.
  • Помилки маленьких моделей. 4B-модель упевнено помиляється в датах, розрахунках і фактах — як Nemotron-Bolt із «п’ятницею» вище. Перевіряйте все, від чого залежать гроші, здоров’я або робота.
  • Файли з неперевірених джерел. Беріть GGUF у розробника моделі або у відомих збирачів на Hugging Face, де файли проходять автоматичну перевірку (позначка Safe у списку файлів). Інсталяційні скрипти на кшталт curl … | sh виконують чужий код із вашими правами — запускайте їх тільки з офіційної адреси проєкту.
  • Гучні обіцянки без застережень. У листопаді 2026 року соцмережами розійшлася цитата з README bitnet.cpp від Microsoft: модель на 100 млрд параметрів на одному процесорі й прискорення до 6,17 раза. Умова при цьому губиться: ідеться тільки про моделі, навчені в 1,58 біта, а прискорення 2,37–6,17 раза рахують відносно повноточних моделей, не відносно Q4_K_M. Доступна модель такого типу — BitNet b1.58 2B4T: за InsiderLLM, 30–45 ток/с на ноутбучних процесорах за 0,4 ГБ пам’яті. Звичайну Qwen чи Llama так не прискорити.

Коли процесора не вистачає: що змінювати і куди йти далі

LLM на CPU впирається у стелю, коли завдання потребують моделі від 9B і довгого контексту. Ознаки: відповідь іде повільніше за 3 токени за секунду, документ на кілька сторінок модель читає хвилинами, а якість 4B-моделі не влаштовує.

Варіанти за зростанням витрат:

  • Змінити модель, а не залізо. Спробуйте іншу модель того самого розміру: якість українською в малих моделей різна, а картки говорять лише про заявлену підтримку мов.
  • Докупити другу планку пам’яті тієї самої частоти, якщо зараз працює один канал. Це найдешевше прискорення для CPU.
  • Відеокарта. Якщо без неї вже ніяк, рахуйте не модель відеокарти, а обсяг відеопам’яті — формула й таблиця за моделями в нашому матеріалі про те, скільки відеопам’яті потрібно під LLM. Порядок апгрейду з усіма підводними каменями, зокрема блоком живлення, розібрано в гіді про апгрейд старого ПК під локальний ШІ.
  • Хмарна модель для важких завдань. Локальна 4B не замінить великі хмарні моделі в складних міркуваннях і програмуванні. Розумна схема — прості й приватні завдання локально, важкі — у хмарі.

FAQ

Яка модель підійде для слабкого комп’ютера з 8 ГБ ОЗП?

На 8 ГБ ОЗП комфортно працюють моделі до 4 млрд параметрів у кванті Q4_K_M: Qwen3.5 2B (1,28 ГБ) і 4B (2,74 ГБ), Llama 3.2 3B (2,02 ГБ), Phi-4 mini (2,49 ГБ), Gemma 4 E2B (3,11 ГБ). Для українського тексту розумно почати з Qwen3.5: за карткою вона підтримує 201 мову й діалект, а в Llama 3.2 українська офіційно не заявлена.

Чи запуститься LLM на старому Mac із процесором Intel?

Так, але не через LM Studio: за офіційними вимогами на 18 листопада 2026 року Mac на Intel програма не підтримує. Залишається llama.cpp — у релізі b12521 є готова збірка macos-x64 на 13,1 МБ. Далі все як на звичайному ПК: модель 1–4B у кванті Q4_K_M, контекст 4096 токенів і потоки за кількістю фізичних ядер.

Чи запуститься LM Studio на процесорі без AVX2?

Версія LM Studio для Windows x64 потребує підтримки AVX2 — так написано в офіційних системних вимогах на 18 листопада 2026 року. В Intel AVX2 є з четвертого покоління Core (Haswell, 2013), у Celeron і Pentium — тільки на архітектурі Tiger Lake і новіших, в AMD — з Excavator (2015). На процесорі без AVX2 використовуйте llama.cpp: за складом готової збірки в ній є варіанти для старіших наборів інструкцій.

Чи працює Ollama без відеокарти і як зрозуміти, що вона на CPU?

Так, Ollama працює без відеокарти й сама завантажує модель в оперативну пам’ять. Щоб переконатися, виконайте ollama ps: у колонці Processor має стояти «100% CPU». Майте на увазі, що теги бібліотеки за замовчуванням бувають важчими за Q4_K_M — qwen3.5:2b важить 2,7 ГБ проти 1,28 ГБ у того самого Qwen3.5 2B у Q4_K_M.

Чим ggml відрізняється від GGUF і llama.cpp?

ggml — бібліотека обчислень на C/C++, фундамент усієї системи. llama.cpp — рушій, який на ggml запускає мовні моделі, через нього працює LM Studio; Ollama частково використовує власний рушій на тій самій ggml. GGUF — формат файлу моделі, у якому лежать ваги й налаштування. Версія 1.0.0 від 13 листопада 2026 року означає стабільний програмний інтерфейс, а не нову швидкість.

Чи можна запустити LLM на ноутбуці з 4 ГБ ОЗП?

Можна, але тільки найменшу модель: Qwen3.5 0.8B (0,53 ГБ) або Llama 3.2 1B (0,81 ГБ) у кванті Q4_K_M. Система сама займе помітну частину пам’яті, тож закрийте браузер і використовуйте легкий llama.cpp — LM Studio рекомендує від 16 ГБ. Ноутбук тримайте підключеним до мережі: від батареї генерація буває вдвічі повільнішою.

Binance · Wall Street 24/7Ціна падає? Це теж шансУгода на зростання або на падіння — почніть із плеча 1×
▲ Long▼ Short
Як це працює
Поділитися
Зв'язатися:
Крипто- та data-аналітик, інженер-програміст (факультет комп'ютерних наук ХНУРЕ). В IT з 2008 року: адміністрував корпоративний моніторинг у «Vodafone Україна», сім років розробляв і просував веб-проєкти, п'ять років керував маркетингом на метриках — конверсія, CTR, ROI, LTV.Криптовалютними ринками займаюся з 2021 року: ончейн-метрики, токеноміка, макроекономічні індикатори. Розробив власну data-driven модель аналізу ринку на 30+ метрик. Стек — Python (pandas, NumPy, SciPy, matplotlib), математична статистика та EDA; збір і звірку даних автоматизую AI-агентами.Принцип — «Don't trust, verify»: кожна цифра перевірена за першоджерелом, ключові — щонайменше за двома незалежними; прогнози — лише сценарії з умовами. Теза без даних не публікується.