Залізо для ШІ

Залізо для нейромереж: відеокарти, збірки, міні-ПК та сервери для локального запуску LLM, Stable Diffusion і навчання моделей.

Коли впадуть ціни на оперативну пам’ять і SSD: DDR5 подорожчала в 4–5 разів через ШІ

DDR5 за рік подорожчала в 4–5 разів, SSD теж дорожчають. Розбираємо, як…

Квантизація локальних LLM: Q8 дає запас, а обрив якості починається нижче Q4

Скільки якості з'їдає квантизація моделі та скільки додає швидкості: таблиці втрат за…

Відеопам’ять під LLM: 10 моделей, 5 квантів і формула для KV-кешу

Скільки відеопам'яті потрібно під модель: таблиця по 10 моделях і 5 квантах,…

Ollama, LM Studio і llama.cpp на одній моделі: від 0,3% різниці до трьох разів

Ollama, LM Studio і llama.cpp на одній моделі: скільки забирає обгортка, чому…

RTX 5090, 4090 і 3090 у локальних LLM: чужі заміри в одній таблиці

Три відеокарти під локальні LLM: tok/s на промті та генерації окремо, паспорт…

ROCm проти CUDA: де Radeon наздогнав GeForce, а де втратите час

Розбираємо ROCm vs CUDA за завданнями: інференс, донавчання, дифузія. Які Radeon підтримані,…

AMD Instinct MI350P: PCIe-прискорювач на 144 ГБ HBM3E і кому він потрібен

AMD Instinct MI350P — PCIe-прискорювач зі 144 ГБ HBM3E під ШІ. Розбираємо…