Что произошло
9 ноября 2026 года Tom’s Hardware рассказал о юристе, который собрал локальный ИИ-сервер из восьми б/у ускорителей Nvidia Tesla V100 — серверных карт 2018 года. На нём работает DeepSeek V4.1 Flash, а материалы дел не покидают офис. По словам автора сборки, модель выдаёт до 215 токенов в секунду при написании кода и до 118 токенов в секунду в юридических текстах. Карты стоят на двух платах по четыре, одна такая плата на вторичном рынке обходится примерно в $2400.
Детали
Секрет скорости не в мощности старых карт, а в раскладке. Слои модели 0–19 работают на первой плате, слои 20–39 — на второй. Так за один шаг генерации данные один раз переходят по медленному PCIe между платами. Эксперты модели целиком лежат в видеопамяти. Код генерируется быстрее текста за счёт встроенной в DeepSeek черновой модели: она угадывает пять токенов вперёд, а в коде такие догадки сбываются чаще.Что Цифра Генерация кода до 215 токенов/с Юридические тексты до 118 токенов/с Чтение запроса ~2200 токенов/с Первый токен при запросе на 128 тыс. токенов ~1 минута Та же модель на 4 картах тремя днями раньше 36–38 токенов/с
Все цифры — замеры самого автора на Reddit, независимой проверки этой конфигурации нет.
Что это значит
Кого касается. Юристов, врачей, бухгалтеров — всех, кому нельзя отправлять документы в облачный ИИ. Старые серверные карты дают большой объём видеопамяти за небольшие деньги, и двух плат хватает на модель уровня DeepSeek V4.1 Flash.
Подводные камни. V100 — серверные карты с разъёмом SXM2, их не вставить в обычный ПК: нужна плата-носитель, мощное питание и охлаждение. Свежих оптимизаций под эту архитектуру всё меньше.
Что попробовать. Если восемь карт — перебор, ту же модель можно запустить и дома: в разборе DeepSeek V4.1 Flash на домашнем ПК хватило 64 ГБ оперативной памяти и одной видеокарты, но скорость там совсем другая.
