vram-48gb-ua

Відеопам’ять під LLM: 10 моделей, 5 квантів і формула для KV-кешу

Скільки відеопам'яті потрібно під модель: таблиця по 10 моделях і 5 квантах, реальні розміри GGUF, розрахунок KV-кешу за контекстом і що робити, коли не влазить.