local-llm

NVIDIA DGX Spark 64 ГБ вийде 23 жовтня за $4 999, а версія 128 ГБ коштує $6 950

NVIDIA випускає DGX Spark із 64 ГБ пам'яті за $4 999, а старша версія на 128 ГБ подорожчала до $6 950. Які моделі вмістяться і чи варто брати пару.

3 хв. читання

Залізо для ШІ-NPC в іграх: NVIDIA ACE працює на відеокарті, а не на NPU

Яке залізо потрібне для ШІ-NPC в іграх: чому NVIDIA ACE працює на відеокарті, а не на NPU, скільки VRAM забирає модель і чи потрібен апгрейд заради PUBG Ally.

35 хв. читання

Amazon Strands Decider 2B: модель обирає варіант за 0,1 секунди

AWS виклала Strands Decider 2B — відкриту модель на 2 млрд параметрів, яка не пише текст, а обирає відповідь із заданих варіантів. Що це дає ШІ-агентам.

3 хв. читання

Ноутбук на Ryzen AI Max+ PRO 495 за $7449: що дають 192 ГБ для локального ШІ

Ноутбук на Ryzen AI Max+ PRO 495 зі 192 ГБ коштує $7449. Що вміщується в 160 ГБ відеопам'яті, яка буде швидкість, чим він програє MacBook Pro M5 Max і кому…

33 хв. читання

MacBook Pro M5 Max для нейромереж: 128 ГБ у ноутбуці та 70B на ≈9–11 ток/с

MacBook Pro M5 Max для локальних нейромереж: реальні ток/с на 70B і MoE, prefill проти генерації, тротлінг 14 дюймів, порівняння з Mac Studio та RTX 5090.

37 хв. читання

Framework Desktop на Ryzen AI Max+ Pro 495 і 192 ГБ: передзамовлення 30 вересня

Framework відкриє передзамовлення Desktop на Ryzen AI Max+ Pro 495 зі 192 ГБ пам'яті 30 вересня. Що дає новий чип проти 395 і які моделі вмістяться в пам'ять.

3 хв. читання

Mac Studio M5 Ultra для LLM: 4,3x — це prefill, а генерація швидша в 1,5–1,9 раза

Mac Studio M5 Ultra для локальних LLM: реальні ток/с проти M3 Ultra, що вміщується в 256 і 512 ГБ, ціна $5 499–9 499 і порівняння з DGX Spark за пам'яттю…

29 хв. читання

Коли впадуть ціни на оперативну пам’ять і SSD: DDR5 подорожчала в 4–5 разів через ШІ

DDR5 за рік подорожчала в 4–5 разів, SSD теж дорожчають. Розбираємо, як ШІ-дата-центри забрали пам'ять, що кажуть прогнози до 2028 року і чи варто чекати.

30 хв. читання