tokens-per-second

RTX 5060 Ti 16 ГБ для локального ИИ: модели до 20B и 33 ток/с на 14B

RTX 5060 Ti 16GB для ИИ: сколько ток/с даёт на моделях 8B–20B, что влезает в 16 ГБ, почему цена прыгала от $429 до $805 и когда лучше взять RTX 3090.

36 мин. чтения

MacBook Pro M5 Max для нейросетей: 128 ГБ в ноутбуке и 70B на 10–18 ток/с

MacBook Pro M5 Max для локальных нейросетей: реальные ток/с на 70B и MoE, prefill против генерации, троттлинг 14 дюймов, сравнение с Mac Studio и RTX 5090.

37 мин. чтения

Mac Studio M5 Ultra для LLM: 4,3x — это prefill, а генерация быстрее в 1,5–1,9 раза

Mac Studio M5 Ultra для локальных нейросетей: реальные ток/с против M3 Ultra, что влезает в 256 и 512 ГБ, цена $5 499–9 499 и сравнение с DGX Spark по памяти…

29 мин. чтения

Квантование локальных LLM: Q8 даёт запас, а обрыв качества начинается ниже Q4

Сколько качества съедает квантование модели и сколько прибавляет скорости: таблицы потерь по уровням GGUF, замеры llama.cpp и научных работ, где потеря заметна.

34 мин. чтения

Ollama, LM Studio и llama.cpp на одной модели: от 0,3% разницы до трёх раз

Ollama, LM Studio и llama.cpp на одной модели: сколько забирает обёртка, почему чужие замеры расходятся в разы и какие настройки решают больше выбора программы.

33 мин. чтения

DGX Spark, Mac Studio и Strix Halo: 120B держат все три, 70B буксует у двух

Сводим замеры DGX Spark, Mac Studio M3 Ultra и Strix Halo к одной методике: кто тянет 70B и 120B, где ломается длинный промпт и сколько это стоит.

35 мин. чтения

RTX 5090, 4090 и 3090 в локальных LLM: чужие замеры в одной таблице

Три видеокарты под локальные LLM: tok/s на промте и генерации раздельно, паспорт методики каждого замера, реальные ватты и цена одного tok/s на 15 августа 2026.

38 мин. чтения

OpenAI запустила Ultrafast: GPT-5.6 Sol быстрее в 14 раз на чипах Cerebras

OpenAI открыла превью Ultrafast: GPT-5.6 Sol работает до 14 раз быстрее и выдаёт до 750 токенов в секунду. Считают пластины Cerebras, цены пока не названы.

3 мин. чтения