vram-48gb-ua

Видеопамять под LLM: 10 моделей, 5 квантов и формула для KV-кэша

Сколько видеопамяти нужно под модель: таблица по 10 моделям и 5 квантам, реальные размеры GGUF, расчёт KV-кэша по длине контекста и что делать, когда не влезает.