for-ai-llm

Відеопам’ять під LLM: 10 моделей, 5 квантів і формула для KV-кешу

Скільки відеопам'яті потрібно під модель: таблиця по 10 моделях і 5 квантах, реальні розміри GGUF, розрахунок KV-кешу за контекстом і що робити, коли не влазить.

43 хв. читання

Один чип замість трьох плат: AMD принесла Strix Halo в робототехніку під назвою Ryzen AI Embedded X100

AMD представила вбудовувані процесори Ryzen AI Embedded X100: до 16 ядер Zen 5, 40 блоків RDNA 3.5 і NPU на 50 TOPS в одному корпусі з тепловим пакетом 45 Вт.

3 хв. читання

ROCm проти CUDA: де Radeon наздогнав GeForce, а де втратите час

Розбираємо ROCm vs CUDA за завданнями: інференс, донавчання, дифузія. Які Radeon підтримані, де Vulkan обганяє ROCm і скільки коштує гігабайт відеопамʼяті.

24 хв. читання

AMD Instinct MI350P: PCIe-прискорювач на 144 ГБ HBM3E і кому він потрібен

AMD Instinct MI350P — PCIe-прискорювач зі 144 ГБ HBM3E під ШІ. Розбираємо характеристики, чим відрізняється від MI350X і Nvidia H200 NVL, які LLM тягне і що з ціною.

17 хв. читання

Minisforum MS-03 на Panther Lake: міні-ПК під локальний ШІ — що він реально потягне

Розбір Minisforum MS-03 на Intel Panther Lake як бази для локального ШІ: специфікації, що потягне за tok/s, порівняння з Mac mini і Ryzen AI Max, правда про 90 TOPS.

14 хв. читання

Яку локальну LLM обрати в 2026: 11 моделей під задачу та залізо

Яку локальну LLM обрати у 2026: алгоритм від задачі та VRAM до моделі, майстер-таблиця 11 моделей із розборами та вибір під чат, код, зір і голос.

15 хв. читання

Claude поїхав на найновіших GB300 Blackwell Ultra: що це змінює для ШІ-хмари

Моделі Claude від Anthropic стали загальнодоступні в Microsoft Foundry на найновіших GPU NVIDIA GB300 Blackwell Ultra в Azure. Що це означає для корпоративного ШІ.

2 хв. читання

Supermicro показала Super AI Station на GB300: до 1 трлн параметрів локально, 748 ГБ пам’яті та 1600 Вт

Supermicro вивела Super AI Station на NVIDIA GB300: десктоп-суперкомп’ютер із 748 ГБ пам’яті, до 20 петафлопс і підтримкою моделей до 1 трлн параметрів. Ціна ~$125 000.

2 хв. читання