Що сталося
9 листопада 2026 року Tom’s Hardware розповів про юриста, який зібрав локальний ШІ-сервер із восьми вживаних прискорювачів Nvidia Tesla V100 — серверних карт 2018 року. На ньому працює DeepSeek V4.1 Flash, а матеріали справ не залишають офісу. За словами автора збірки, модель видає до 215 токенів на секунду під час написання коду й до 118 токенів на секунду в юридичних текстах. Карти стоять на двох платах по чотири, одна така плата на вторинному ринку коштує приблизно $2400.
Деталі
Секрет швидкості не в потужності старих карт, а в розподілі. Шари моделі 0–19 працюють на першій платі, шари 20–39 — на другій. Так за один крок генерації дані лише раз переходять повільною шиною PCIe між платами. Експерти моделі повністю лежать у відеопам’яті. Код генерується швидше за текст завдяки вбудованій у DeepSeek чорновій моделі: вона вгадує п’ять токенів наперед, а в коді такі здогадки справджуються частіше.Що Цифра Генерація коду до 215 токенів/с Юридичні тексти до 118 токенів/с Читання запиту ~2200 токенів/с Перший токен для запиту на 128 тис. токенів ~1 хвилина Та сама модель на 4 картах трьома днями раніше 36–38 токенів/с
Усі цифри — заміри самого автора на Reddit, незалежної перевірки цієї конфігурації немає.
Що це означає
Кого стосується. Юристів, лікарів, бухгалтерів — усіх, кому не можна надсилати документи в хмарний ШІ. Старі серверні карти дають великий обсяг відеопам’яті за невеликі гроші, і двох плат вистачає на модель рівня DeepSeek V4.1 Flash.
Підводні камені. V100 — серверні карти з роз’ємом SXM2, їх не вставити у звичайний ПК: потрібна плата-носій, потужне живлення й охолодження. Свіжих оптимізацій під цю архітектуру дедалі менше.
Що спробувати. Якщо вісім карт — забагато, ту саму модель можна запустити й удома: у розборі DeepSeek V4.1 Flash на домашньому ПК вистачило 64 ГБ оперативної пам’яті й однієї відеокарти, але швидкість там зовсім інша.
