Локальных моделей стало так много, что вопрос сместился с «а можно ли запустить ИИ у себя» на «какую именно из десятков выбрать». Этот гид отвечает на второй вопрос: не перечисляет всё подряд, а даёт алгоритм — от вашей задачи и объёма видеопамяти к конкретной модели, — и ведёт в подробный разбор каждой. Все ориентиры даны на июль 2026 года; линейки обновляются быстро, поэтому важнее понять принцип выбора, чем запомнить конкретное имя.
Коротко: с чего начать
Выбор локальной модели держится на трёх вопросах, и отвечать на них нужно именно в таком порядке:
- Какая задача? Универсальный чат, рассуждение и математика, код, работа с картинками или распознавание речи — под каждый сценарий есть свой лидер, и «одна модель на всё» почти всегда проигрывает специалисту.
- Сколько видеопамяти (VRAM)? Это жёсткий потолок. Модель, которая не помещается в память карты, либо не запустится, либо уползёт в оперативную память и станет мучительно медленной.
- Какая нужна лицензия? Для личных экспериментов не важно; для рабочего или коммерческого проекта — критично: часть моделей полностью свободна, часть идёт с оговорками.
Ответили на три вопроса — дальше находите пересечение в мастер-таблице. Если сомневаетесь, какое железо вообще брать под эти модели, это отдельная большая тема — она разобрана в гиде по железу для локального ИИ, эта статья — про сами модели.
Две оси выбора
Любую локальную модель удобно держать в голове на двух осях.
Размер против железа. Размер измеряется в миллиардах параметров (B). Больше параметров — как правило, выше качество, но и выше требования к памяти. Практические ориентиры в квантовании Q4 (о нём ниже): модель на 7–8B требует примерно 5–6 ГБ VRAM, 13–14B — около 9–10 ГБ, 32B — 20–24 ГБ, а 70B — уже 40–48 ГБ, то есть две карты или профессиональная 48-гигабайтная. Отсюда простое следствие: массовый потолок для одной игровой видеокарты — это 32B, а 70B — порог «серьёзной сборки».
Качество против скорости. Тяжёлая модель отвечает точнее, но медленнее. На потребительской видеокарте модель 7B в Q4 выдаёт примерно 40–80 токенов в секунду — это комфортно; на процессоре без GPU те же модели идут в разы медленнее. Здесь же выигрывают так называемые MoE-модели (mixture-of-experts): gpt-oss, Qwen3 235B, DeepSeek — они дают качество флагмана, активируя лишь часть весов на каждый запрос, поэтому считаются быстрее «плотной» модели того же класса.
Плотные модели против MoE. Классическая «плотная» модель задействует все свои параметры на каждый токен — предсказуемо, но тяжело. MoE-модели (mixture-of-experts) держат много «экспертов», а включают лишь нужных: так gpt-oss на 120B активирует малую часть весов и на подходящем железе идёт быстрее плотной модели сопоставимого качества. Обратная сторона — MoE всё равно занимает память под все веса целиком, даже если считает не всеми. Для одной карты это часто означает: плотная модель 14–32B практичнее крупной MoE, которая в память просто не помещается.
Про квантование. Квантование — это сжатие весов модели ради экономии памяти. Практический оптимум — Q4_K_M: он занимает примерно вдвое меньше памяти, чем исходный fp16, при небольшой потере качества. Идти ниже Q4 стоит только когда модель совсем не влезает — качество заметно падает. Проще говоря, Q4 — это дефолт, с которого начинают почти все.
Не забудьте про контекст. Память съедает не только сама модель, но и длина контекста — объём текста, который модель «держит в голове» за один раз. Чем длиннее диалог или документ, тем больше дополнительной видеопамяти уходит на так называемый KV-кэш. На практике это значит: если планируете работать с длинными текстами или большими файлами кода, закладывайте запас памяти сверх «голого» размера модели, а на пределе бюджета берите модель на ступень меньше, чтобы осталось место под контекст. Именно поэтому две одинаковые по размеру сборки могут вести себя по-разному: у кого настроен короткий контекст — работает шустро, у кого длинный — упирается в память.
Мастер-таблица: 11 моделей 2026
Ориентиры по VRAM даны для квантования Q4 и зависят от выбранного размера модели. Клик в последней колонке ведёт в полный разбор с настройкой, бенчмарками и нюансами.Модель Размеры VRAM (Q4) Лицензия Для чего лучше Разбор Llama 8B / 70B (+ Llama 4 MoE) 6 / 42 ГБ Llama Community Универсал с крупнейшей экосистемой разбор Qwen3 0.6–32B (+ 235B MoE) 6–22 ГБ Apache-2.0 «Модель по умолчанию», мультиязык, режим рассуждения разбор DeepSeek-R1 1.5–70B (дистилляты) 6–42 ГБ MIT Рассуждение, логика, математика разбор Gemma 3 1 / 4 / 12 / 27B 3–18 ГБ Gemma Эффективность на одной карте, мультимодальность разбор Mistral Small 24B ~15 ГБ Apache-2.0 Баланс качества и скорости на одной карте разбор Phi-4 14B ~10 ГБ MIT Рассуждение на слабом железе разбор gpt-oss 20B / 120B (MoE) 12 / 65 ГБ Apache-2.0 Открытый флагман OpenAI разбор Qwen Coder 0.5–32B 6–22 ГБ Apache-2.0 Код, локальная замена Copilot разбор LLaVA / vision 7–34B 6–22 ГБ открытые Работа с изображениями (image→text) разбор GLM 9B / MoE от 7 ГБ MIT Агентные задачи, код, фронтенд разбор Whisper tiny–large-v3 1–10 ГБ MIT Голос и диктовка → текст разбор
Как это запустить
Модель — это файл весов; чтобы с ней говорить, нужен «раннер». На июль 2026 года два самых популярных — Ollama и LM Studio. Ollama живёт в командной строке и удобна для автоматизации и серверных сценариев: одна команда скачивает и запускает модель. LM Studio — это графическое приложение с чатом и каталогом моделей «из коробки», ближе тем, кто не хочет возиться с терминалом. На выбор самой модели раннер не влияет: одни и те же веса работают в обоих, разница — в удобстве и интеграциях. Оба по умолчанию берут квантованные версии в формате GGUF, поэтому специально разбираться в квантовании на старте не нужно — достаточно помнить, что Q4 это разумный дефолт.
Выбор по задаче
Универсальный чат. Здесь самый плотный выбор. Хороший дефолт на 2026 год — Qwen3: она сильна в разных языках и умеет переключать «режим рассуждения». Рядом — Llama с крупнейшей экосистемой и Mistral Small, которая по качеству спорит с моделями вдвое крупнее. Если карта слабая — Gemma 3 в размере 4B или 12B.
Рассуждение и математика. Когда важна цепочка размышлений, а не быстрый ответ, берут DeepSeek-R1 — её дистилляты 8–14B дают «рассуждающее» поведение на обычном железе. Компактная альтернатива для слабых машин — Phi-4 на 14B, у которой сильные рассуждения непропорциональны размеру.
Код. Специалист по коду — Qwen Coder: в размере 14–32B он превращается в локальную замену облачных ассистентов. В агентных сценариях и фронтенде хорошо показывает себя GLM.
Картинки и голос. Чтобы модель «видела» изображения, нужны vision-модели — от LLaVA до современных альтернатив. А для распознавания речи и диктовки офлайн работает Whisper — он переводит голос в текст локально, без отправки записей в облако.
Максимум качества. Если хочется самого мощного из открытого и позволяет железо — gpt-oss на 120B в MoE-архитектуре: это первые за годы открытые веса OpenAI.
Несколько языков. Если важна работа не только на английском, смотрите в сторону Qwen3 и GLM: они изначально сильны в мультиязычных сценариях, включая русский и украинский, тогда как часть западных моделей заметно теряет качество за пределами английского. Проверять это лучше на своих типичных запросах — универсального лидера здесь нет, и разница между моделями на конкретном языке бывает больше, чем в англоязычных бенчмарках.
Выбор по бюджету видеопамяти
- 8 ГБ — вход в тему: модели 7–8B (Llama 8B, Qwen3 8B) и компактная Gemma 4B. Комфортно для чата, тесно для длинных контекстов.
- 12 ГБ — рабочий минимум: уверенно тянет 12–14B (Gemma 12B, Phi-4), а в Q4 подступается к некоторым 14B.
- 16 ГБ — универсальный размер: 14B без компромиссов, аккуратно — 20–24B (Mistral Small, gpt-oss 20B).
- 24 ГБ — потолок одной топовой игровой карты: полноценные 32B (Qwen3 32B, Qwen Coder 32B).
- 48 ГБ и выше — территория 70B и больших MoE: профессиональные карты или сборка на две видеокарты.
Частые ошибки
- Гнаться за размером в ущерб памяти. «Скачал 70B на 12 ГБ» — самая частая ошибка: модель уползёт в оперативную память и будет отвечать по слову в секунду. Сначала бюджет VRAM, потом модель.
- Путать «запустилось» и «пригодно для работы». На процессоре запустится почти всё, но скорость сделает работу мучительной. Ориентир комфорта — генерация на GPU, а не на CPU.
- Ронять квант слишком низко. Q4 — разумный дефолт; агрессивные Q2–Q3 экономят память, но качество проседает так, что теряется весь смысл крупной модели.
- Игнорировать лицензию в рабочем проекте. Apache-2.0 и MIT свободны для коммерции, у Llama и Gemma — свои оговорки. Для личных задач не важно, для продукта — проверяйте заранее.
Риски и ограничения
Локальные модели — не бесплатная копия облака во всём, и у выбора есть свои риски. Главный — переоценить своё железо: модель, которая физически влезла в память, не всегда работает достаточно быстро и точно для реальной задачи. Второй риск — волатильность выбора: линейки обновляются почти ежемесячно, и «лучшая модель месяца» устаревает, поэтому опираться стоит на принцип (задача → память → лицензия), а не на конкретное имя. Третий — лицензионные ограничения: часть моделей полностью свободна, часть идёт с оговорками, и для коммерческого продукта это нужно проверять заранее.
При этом плюсы никуда не деваются и часто перевешивают: данные не уходят в облако (приватность), нет платы за токены и лимитов на запросы, работа возможна офлайн. Честный итог — локальная модель отлично закрывает приватность, автономность и стоимость, но по потолку качества пока уступает крупнейшим облачным флагманам. Выбор между ними — это выбор приоритетов, а не «лучше или хуже» вообще.
Что в итоге выбрать
Разберём на примере. Допустим, у вас видеокарта с 12 ГБ памяти и задача — универсальный помощник для текста и немного кода. По бюджету это уверенно 12–14B, значит кандидаты — Gemma 3 12B или Phi-4; если нужен упор в код, добавляем Qwen Coder 14B и переключаемся на него под задачу. Ставим Ollama или LM Studio, берём версию в Q4, оставляем запас памяти под контекст — и получаем рабочую связку без единого рубля за токены. Захотите большего качества позже — под 32B понадобится карта на 24 ГБ, а под 70B уже сборка на две видеокарты.
Если нужен один универсал и карта средняя — начните с Qwen3 или Gemma 3 под ваш объём памяти. Нужна логика — DeepSeek-R1, код — Qwen Coder, картинки — vision-модели, голос — Whisper. А вопрос «на каком железе всё это гонять» закрывает отдельный гид по железу для локального ИИ. Главный плюс локального запуска остаётся неизменным: приватность и отсутствие платы за токены; главный минус — потолок качества против облачных флагманов.
FAQ
Какая локальная LLM лучшая в 2026 году? Единой «лучшей» нет — есть лучшая под задачу и железо. Для универсального чата хороший дефолт — Qwen3, для рассуждения — DeepSeek-R1, для кода — Qwen Coder, для картинок — vision-модели, для голоса — Whisper. Отталкивайтесь от сценария и объёма видеопамяти, а не от рейтинга.
Сколько видеопамяти нужно для локальной модели? Ориентиры в Q4: 7–8B — около 5–6 ГБ, 13–14B — 9–10 ГБ, 32B — 20–24 ГБ, 70B — 40–48 ГБ. Массовый потолок для одной игровой карты — 32B; 70B требует двух карт или профессиональной 48-гигабайтной.
Ollama или LM Studio — через что запускать? Это два самых популярных раннера. Ollama — командная строка и удобная автоматизация, LM Studio — графический интерфейс «из коробки». На выбор модели это не влияет: одни и те же модели работают в обоих.
Можно ли использовать локальные модели в коммерческом проекте? Зависит от лицензии. Apache-2.0 (Qwen3, Mistral, gpt-oss, Qwen Coder) и MIT (DeepSeek, Phi-4, GLM, Whisper) свободны для коммерции. У Llama и Gemma — собственные лицензии с оговорками, их стоит прочитать до внедрения в продукт.
Что выбрать для слабого компьютера без мощной видеокарты? Компактные модели: Gemma 3 в размере 1B или 4B, Phi-4, дистилляты DeepSeek-R1 на 1.5–8B. Они запускаются на 8 ГБ VRAM, а самые маленькие — даже на процессоре, хотя и медленнее.
