Что произошло
На конференции Hot Chips 2026, прошедшей 23–24 августа, компания d-Matrix показала ранний кремний ускорителя Raptor. Его идея — отказаться от HBM: вместо памяти, стоящей рядом с вычислительным кристаллом, кристаллы DRAM складывают прямо под ним. Заявленный результат — около 100 ТБ/с пропускной способности при 0,37 пДж на переданный бит.
Детали
| Показатель | Raptor (3D-DRAM) | HBM4 | SRAM |
|---|---|---|---|
| Пропускная способность на мм² | 32,6 ГБ/с | около 1,5 ГБ/с | ограничена площадью |
| Энергия на бит ввода-вывода | 0,3–0,4 пДж | 2,5–5 пДж | около 0,05 пДж |
| Мощность на ГБ/с | 2,96 мВт | 40 мВт | примерно вдесятеро хуже HBM |
| Ёмкость | 32 ГБ на карту | зависит от стека | около 4 ГБ потолок |
Всё упирается в длину пути до памяти: у HBM сигнал идёт сантиметрами через подложку, у Raptor кристаллы соединены «лицом к лицу» с шагом 36 мкм, то есть путь миллиметровый. Отсюда и экономия: на 100 ТБ/с ввод-вывод тратит около 296 Вт. Вычислительный кристалл делает TSMC по нормам N4, партнёр по 3D-упаковке — Alchip. Конфигурация из 72 карт, по расчётам компании, вмещает передовую модель с контекстом в миллион токенов.
Оговорка: цифры пока вендорские, независимых замеров нет, сроков серийного производства d-Matrix не называла.
Что это значит
Касается это всех, кто платит за инференс — от арендаторов облачных GPU до покупателей памяти. Узкое место современных ускорителей на HBM — не арифметика, а подача весов из памяти: генерация токена читает модель целиком, поэтому скорость упирается в пропускную способность, а размер модели — в ёмкость. Именно из-за этого объём памяти определяет, что вообще получится запустить.
Масштаб выигрыша, если цифры подтвердятся: 2,96 мВт на ГБ/с против 40 мВт у HBM4 — это порядок величины по энергии на ту же полосу. При стоимости электричества в дата-центре и текущем дефиците HBM такая разница переводится прямо в цену токена.
Что это не значит: замены HBM завтра не будет. Показан ранний кремний, а не продукт, и 3D-упаковка добавляет свои проблемы — прежде всего отвод тепла, потому что горячий вычислительный кристалл теперь стоит вплотную к памяти, которая перегрева не любит.
Горизонт: следующая точка — заявление о серийном производстве и первые независимые тесты. До них Raptor остаётся ставкой на то, что дефицит HBM продлится достаточно долго, чтобы альтернативу успели довести.
Контекст
Идея обойти HBM носится в отрасли не первый месяц: Qualcomm продвигает свой подход с памятью рядом с вычислением, AMD купила MEXT ради того, чтобы флеш работал как DRAM, а SK hynix и Samsung наращивают слои в самой HBM. Причина у всех одна — память подорожала и стала дефицитом, а спрос на инференс растёт быстрее, чем производство стеков.
