Объём VRAM для локальных LLM: 24, 32, 48 или 96 ГБ — что брать и устареет ли за год
Какой объём видеопамяти брать под локальные LLM: что открывают 16, 24, 32, 48 и 96 ГБ, цена гигабайта в Украине и США и устареют ли 24 ГБ VRAM за год-два.
38 мин. чтения
Видеопамять под LLM: 10 моделей, 5 квантов и формула для KV-кэша
Сколько видеопамяти нужно под модель: таблица по 10 моделям и 5 квантам, реальные размеры GGUF, расчёт KV-кэша по длине контекста и что делать, когда не влезает.
43 мин. чтения