Внутри нейросети нет мышления, есть арифметика: как она устроена

Коротко (TL;DR)

Нейросеть — это программа, которая не выполняет написанные человеком правила, а подбирает миллионы (сегодня — миллиарды) числовых коэффициентов так, чтобы на знакомых примерах давать правильный ответ. Внутри нет ни мышления, ни понимания: есть слои простых вычислительных узлов, связи между ними и число у каждой связи. Это число называется весом, и именно веса — то, что «знает» модель.

Вся остальная терминология наращивается вокруг этой конструкции. «Модель на 405 миллиардов параметров» означает, что таких настраиваемых чисел внутри 405 миллиардов. «Обучение» — процесс, в котором сеть миллионы раз ошибается и каждый раз чуть-чуть подкручивает эти числа. «Галлюцинация» — следствие того, что сеть всегда выдаёт наиболее правдоподобное продолжение, даже когда правдоподобного и правильного продолжения не существует.

Дальше разбираем всё это по порядку: из чего состоит сеть, как она учится, чем модель под капотом ChatGPT отличается от сети из учебника, что означают миллиарды параметров в гигабайтах вашей видеопамяти и почему ИИ уверенно ошибается в датах.

Нейросеть простыми словами: угадывание по опыту, а не рассуждение

Представьте опытного приёмщика на почте, который на глаз определяет вес посылки. Он не считает по формуле — он просто видел десятки тысяч коробок, каждый раз ошибался, каждый раз узнавал реальный вес и незаметно для себя корректировал внутреннее «ощущение». Через год он угадывает с точностью до сотни граммов и не может объяснить, как именно.

WTIBRENT

Binance · Wall Street 24/7Новости двигают нефтьWTI · BrentРеагируйте сразу: нефть на Binance торгуется круглосуточно

WTIBRENTGAS

Цена нефти сейчас

Нейросеть работает по этому принципу, только вместо ощущений у неё числа, а вместо года практики — миллионы прогонов. Она не хранит правило «если коробка такая-то, вес такой-то». Она хранит набор коэффициентов, которые в сумме дают нужный ответ на всех примерах, что ей показывали.

Kimi K3.1 Pro против Qwen3.8: индекс 46 против 34, задача у Kimi дешевле в 2,7 раза

Обзор Perplexity: сервис, который ошибается — но даёт себя поймать

Файлы и переписка в ChatGPT, Claude и Gemini: где хранятся и кто их читает

Фото и видео, созданные нейросетью: 6 шагов проверки, когда глаз уже не помогает

Gigabyte AI Top Aero: литровый Windows-ПК на RTX Spark и 128 ГБ, цену не назвали

Отсюда сразу три следствия, которые объясняют почти всё поведение современных ИИ-сервисов. Первое: сеть не отвечает «не знаю» по умолчанию — она всегда выдаёт какое-то число или какое-то слово, потому что выдавать что-то и есть её единственная операция. Второе: качество ответа целиком зависит от того, что она видела при обучении, и на незнакомой задаче она не остановится, а ответит наугад. Третье: объяснить конкретный ответ невозможно так, как объясняют работу обычной программы — там нет строчки кода, которую можно показать пальцем.

Это и есть главное, что стоит понять про нейросеть: что это статистический механизм, а не собеседник. Всё, что похоже на рассуждение, — свойство очень больших наборов таких коэффициентов, а не отдельная способность, которую кто-то запрограммировал.

Как устроена нейросеть: нейрон, вес, слой

Разберём конструкцию снизу вверх — от одного узла до целой сети.

Нейрон (его же называют узлом) — это не модель клетки мозга, а очень простая арифметика. Узел получает несколько чисел на вход, умножает каждое на свой коэффициент, складывает результаты, добавляет ещё одно число-поправку и пропускает сумму через нелинейную функцию. Всё. Никакой биологии внутри нет — сходство с нейроном мозга чисто идейное и осталось от терминологии 1940-х годов.

Вес — тот самый коэффициент у каждой связи. Он показывает, насколько сильно один сигнал влияет на другой, и может быть как положительным (усиливает), так и отрицательным (подавляет). В документации IBM веса описывают как ручки настройки: слово «приз» в письме крутит ручку «это спам» сильнее, чем слово «здравствуйте».

Смещение (bias) — дополнительное число, сдвигающее порог срабатывания узла. Вместе веса и смещения называются параметрами модели. Запомните это равенство: когда в новостях пишут про «модель на 7 миллиардов параметров», речь идёт ровно об этих числах.

WTIBRENT

Binance · Wall Street 24/7Новости двигают нефтьWTI · BrentРеагируйте сразу: нефть на Binance торгуется круглосуточно

WTIBRENTGAS

Цена нефти сейчас

Функция активации — нелинейное преобразование на выходе узла. Без неё вся сеть, сколько слоёв в неё ни складывай, схлопывалась бы в одно линейное уравнение и не могла бы выучить ничего сложнее прямой линии. Именно нелинейность даёт сети способность улавливать запутанные зависимости.

Слои. Узлы выстроены в три типа слоёв: входной принимает исходные данные (пиксели картинки, числа, куски текста), скрытые преобразуют их в промежуточные представления, выходной выдаёт результат — число, вероятность или распределение вероятностей. Если скрытый слой один, сеть называют неглубокой; если их много — глубокой, отсюда и термин «глубокое обучение».

Слово «скрытые» здесь не про секретность: слои называются так потому, что снаружи не видны ни их вход, ни их выход. Что именно кодирует конкретная комбинация весов в середине сети, обычно не знает и сам разработчик — это отдельная исследовательская задача. Как выглядит попытка её решить, хорошо видно по исследованию Anthropic о внутренних представлениях модели: чтобы понять, что происходит в скрытых слоях, потребовался отдельный научный проект.

Как нейросеть учится: ошибка, которую исправляют миллионы раз

Сеть с случайными весами выдаёт мусор. Обучение — это процедура, которая превращает мусор в осмысленный ответ, и состоит она из четырёх шагов, повторяемых миллионы раз.

1. Прямой проход. Пример из обучающего набора пропускают через сеть, и она выдаёт свой ответ.
2. Расчёт ошибки. Функция потерь измеряет, насколько ответ разошёлся с правильным. Это одно число: чем оно больше, тем хуже сработала сеть.
3. Обратное распространение ошибки. Ошибку прогоняют по сети назад и для каждого веса вычисляют, какой вклад именно он внёс в промах.
4. Обновление весов. Каждый вес чуть-чуть сдвигают в сторону, уменьшающую ошибку. Метод называется градиентным спуском, а «чуть-чуть» задаётся отдельным параметром — скоростью обучения.

Третий шаг — тот самый исторический прорыв. Процедуру обратного распространения в современном виде описали Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс в журнале Nature в 1986 году; в статье прямо сказано, что процедура «многократно подстраивает веса связей, чтобы минимизировать меру расхождения между выданным и желаемым вектором на выходе». Именно она сделала возможным обучение многослойных сетей, до этого упиравшихся в вычислительный тупик. Справедливости ради, близкую идею предлагал Пол Вербос ещё в 1974 году, а в 1986-м её независимо переоткрыли сразу несколько групп.

Данные. Обучающий набор делят на три части: тренировочную (на ней сеть учится), тестовую (на ней проверяют точность) и валидационную (на ней оценивают итог). Такое деление существует не из любви к формальностям, а из-за конкретной болезни — переобучения. Слишком сложная сеть с избытком параметров запоминает обучающие примеры вместо закономерности и на новых данных проваливается. IBM называет это самой значимой проблемой при обучении сетей.

Качество данных переходит в модель напрямую. Ошибки разметки воспроизводятся на выходе, предвзятость в текстах воспроизводится тоже. Проверить это со стороны пользователь не может: веса больших моделей публикуют, полный состав обучающих данных — почти никогда.

Нейросеть, машинное обучение и ИИ: что во что вложено

В бытовой речи «нейросеть» и «ИИ» стали синонимами, и это сбивает с толку. На самом деле это вложенные понятия, а не разные названия одного.

Что это значит на практике: нейросеть — не единственный способ делать ИИ, а ИИ — не обязательно нейросеть. Просто именно на нейросетях, как формулирует IBM, построены прорывы в компьютерном зрении, обработке языка и распознавании речи — и на фоне этих результатов остальные подходы отошли на второй план.

Почему между первой нейросетью и ChatGPT прошло шестьдесят лет

Идея старше большинства читателей этой статьи, и разрыв между идеей и работающим продуктом объясняет многое в сегодняшнем ажиотаже.

1943. Уоррен Мак-Каллок и Уолтер Питтс публикуют первую математическую модель нейрона и показывают, что простые узлы способны вычислять функции.

Июль 1958. Управление военно-морских исследований США показывает перцептрон Фрэнка Розенблатта — первую практическую нейросеть. Розенблатт называет её «первой машиной, способной на оригинальную идею», а The New York Times выходит с заголовком «Новое устройство ВМС учится на практике» и описывает перцептрон как зародыш компьютера, который научится читать и станет умнее. Обещания заметно опережают железо.

1969. Марвин Минский и Сеймур Пейперт выпускают книгу «Перцептроны» с разбором принципиальных ограничений однослойных моделей. Финансирование сворачивается, начинается «зима ИИ» — по формулировке Cornell Chronicle, взлёт и падение перцептрона сами же её и приблизили.

1986. Статья в Nature про обратное распространение ошибки снимает главное техническое препятствие: становится понятно, как обучать многослойные сети.

2006 и далее. Работы Хинтона и коллег по глубоким сетям плюс появление доступных GPU превращают теорию в инженерию.

2017. Выходит статья «Attention Is All You Need» — архитектура, на которой построены все нынешние чат-боты.

Полезный вывод из этой хронологии: технология буксовала не потому, что идея была неверной, а потому что не хватало метода обучения и вычислительных мощностей. Оба дефицита закрыли — и именно поэтому за последние восемь лет произошло больше, чем за предыдущие шестьдесят.

Виды нейросетей: от перцептрона до трансформера

Разных архитектур насчитывают несколько десятков, но практический смысл имеет знание пяти-шести.

Чем трансформер отличается — и почему это всё равно нейросеть

Главное недоразумение вокруг современных моделей: трансформер часто подают как что-то отдельное от нейросетей. Это неверно. IBM формулирует прямо: современные архитектуры вроде трансформеров следуют тем же базовым принципам — обучаемые веса и смещения, слои, нелинейности, сквозное обучение обратным распространением, — а различаются в основном тем, как информация смешивается между слоями.

Отличие в одном приёме. Рекуррентная сеть читает текст последовательно, слово за словом, и к концу длинного предложения теряет начало. Трансформер за фиксированное число шагов сравнивает каждое слово со всеми остальными сразу и вычисляет, насколько сильно каждое из них влияет на смысл текущего. В блоге Google Research это объясняют на фразе «я пришёл к банку после того, как перешёл реку»: чтобы понять, что «банк» здесь берег, модели достаточно один раз обратить внимание на слово «река».

Результат оказался и точнее, и дешевле в обучении. В статье 2017 года описаны две конфигурации: базовая на 65 млн параметров дала 27,3 BLEU на англо-немецком переводе WMT 2014 и 38,1 на англо-французском, а большая — 28,4 и 41,8, обойдя в том числе ансамбли предыдущих архитектур на обеих парах языков. Важна здесь не столько сама прибавка, сколько её цена: на переводе с английского на немецкий даже базовая конфигурация обошла все опубликованные до неё модели и ансамбли, потратив на обучение малую долю их вычислений — хотя на англо-французской паре её результат был скромнее, чем у прежних архитектур. Побочный эффект приёма — ограниченный объём текста, который модель способна рассматривать за раз: это и есть контекстное окно, из-за которого ИИ забывает начало длинного диалога.

Что значит «модель на N миллиардов параметров»

Это самое частое число в новостях про ИИ и самое непонятное для новичка. Разберём его до гигабайтов.

Параметры — те самые веса и смещения, которые подбирает обучение. Значит, «модель на 4 миллиарда параметров» — это модель, внутри которой четыре миллиарда настраиваемых чисел. Больше параметров означает больше ёмкости для сложных зависимостей, но не гарантирует лучший результат: та же ёмкость даёт больше возможностей для переобучения и требует больше данных.

Масштаб вырос, но затраты выросли сильнее

Базовая модель трансформера в 2017 году имела 65 млн параметров и обучалась 12 часов на восьми видеокартах NVIDIA P100 — это 96 GPU-часов. Llama 3.1 405B, выпущенная Meta, имеет 405 млрд параметров, обучалась на более чем 15 трлн токенов и потребовала 30,84 млн GPU-часов на картах H100-80GB.

Посчитаем разрыв. По параметрам рост в 6231 раз, по затраченным GPU-часам — в 321 250 раз. Сравнение честно только по порядку величины (P100 и H100 несопоставимы по производительности), но вывод оно даёт однозначный: дорожает не столько размер модели, сколько объём обучения. Именно поэтому обучение фронтир-моделей доступно единицам компаний, а не всем, у кого есть серверная.

Второй ориентир по деньгам даёт DeepSeek: по техническому отчёту, полное обучение DeepSeek-V3 заняло 2,788 млн GPU-часов на картах H800, что при аренде $2 за GPU-час даёт около $5,58 млн. Авторы сразу оговариваются, что в эту сумму не входят предварительные исследования, эксперименты с архитектурой и отброшенные варианты, — то есть реальная стоимость создания модели заметно выше.

Сколько модель весит в гигабайтах

Параметры лежат в памяти как обычные числа, поэтому вес модели считается арифметически. NVIDIA приводит формулу прямо: умножьте число параметров на количество байт, которым хранится один параметр (4 байта для FP32, 2 для FP16). Проверочное правило от Modal то же самое с другой стороны: примерно 2 ГБ памяти на каждый миллиард параметров при 16-битной точности.

Наш расчёт по этой формуле для трёх реальных моделей (1 ГБ = 10⁹ байт, считаются только веса):

Методика: берём только веса, без памяти под контекст, активации и служебные буферы — на практике добавьте сверху 10–30%. Уменьшение числа байт на параметр называется квантизацией, и это не хитрость энтузиастов: Meta сама квантовала 405B с 16 бит до 8, чтобы модель поместилась в один серверный узел.

Практический вывод для домашнего компьютера: 4-миллиардная модель в четырёхбитной квантизации занимает около 2 ГБ и живёт на любой современной видеокарте, а 405-миллиардная не поместится и в восемь топовых карт по 80 ГБ. Между этими полюсами лежит весь выбор — и он подробно разобран в отдельном материале о том, какую локальную модель брать под задачу и железо.

Почему 671 миллиард может работать быстрее, чем 405

С 2024 года число параметров перестало однозначно означать скорость. У DeepSeek-V3 671 млрд параметров всего, но на каждый токен активируется только 37 млрд — архитектура Mixture-of-Experts включает не всю сеть, а подходящую её часть. По нашему расчёту это 5,5% модели.

Для пользователя это означает две вещи. В память нужно положить все 671 млрд (то есть железо требуется под полный размер), а считать на каждом шаге — только двадцатую часть, поэтому ответ приходит быстрее, чем ожидаешь от такого числа. И ещё нюанс, показывающий, насколько слово «размер» стало условным: на диске карточка DeepSeek-V3 занимает 685 млрд весов — 671 млрд основной модели плюс 14 млрд служебного модуля предсказания нескольких токенов. Три разных числа про одну модель.

Почему нейросеть выдумывает факты и путается в датах

Два самых частых разочарования новичка объясняются разными причинами, и обе — конструктивные, а не случайные.

Галлюцинации

Когда говорят, что нейросеть галлюцинирует, — это значит, что модель выдала правдоподобное, но ложное утверждение, причём уверенным тоном. В сентябре 2025 года исследователи OpenAI (Кэлай, Нахум, Вемпала, Чжан) опубликовали разбор причин, и он состоит из двух частей.

Первая часть — устройство обучения. Модель учат предсказывать следующее слово в огромных текстах, и в этих текстах нет пометок «истина» и «ложь». Она видит только примеры складной речи и приближает их общее распределение. Аналогия авторов: если размечать фотографии питомцев не «кот/собака», а датой рождения питомца, любой алгоритм будет ошибаться всегда — в данных просто нет закономерности, которую можно выучить. С редкими фактами вроде чьего-то дня рождения происходит ровно это.

Вторая часть — стимулы оценки, и она интереснее. Модели ранжируют по точности: доля полностью верных ответов. Ответ «не знаю» гарантирует ноль баллов, а угадывание даёт шанс попасть. Поэтому модель, обученная под такие рейтинги, никогда не молчит. По данным OpenAI на тесте SimpleQA, модель gpt-5-thinking-mini воздержалась от ответа в 52% случаев и ошиблась в 26%, а более старая o4-mini воздержалась лишь в 1% и ошиблась в 75% — при почти одинаковой точности, 22% против 24%. Это цифры самой OpenAI о собственных моделях, независимой проверки у них нет, но сам эффект они иллюстрируют наглядно: выбирая модель по одной колонке «точность», можно выбрать ту, что врёт втрое чаще.

Ошибки в датах и незнание свежих событий

Здесь причина проще и полностью проверяема. У любой модели есть дата обрыва обучающих данных. В карточке Llama 3.1 она указана прямо: данные для предобучения заканчиваются декабрём 2023 года. Всё, что произошло позже, модель не видела — но, как мы выяснили выше, промолчать она не умеет, поэтому достраивает ответ по правдоподобию.

Отсюда практическое правило: любые даты, курсы, версии продуктов и «последние новости», полученные из чата без доступа к поиску, нужно проверять на первоисточнике. Модель с подключённым поиском ведёт себя иначе — она подставляет свежий текст в контекст, — но и тогда отвечает за качество источника, а не за истину.

Пять заблуждений о нейросетях

«Нейросеть думает». Не думает. На выходе она выдаёт распределение вероятностей и выбирает из него, а не формирует мнение. Всё, что выглядит как рассуждение, — статистическая закономерность, выученная на текстах, где люди рассуждали.

«Нейросеть — это чёрный ящик, никто не знает, как она работает». Полуправда, которая мешает больше, чем помогает. Математика прохода сигнала известна до последней операции и умещается в несколько формул. Непрозрачно другое: какому понятию соответствует конкретная комбинация весов в середине сети. Этим занимается отдельная область — интерпретируемость, и там есть измеримый прогресс.

«Чем больше параметров, тем умнее модель». Нет. Параметры — это ёмкость, а не качество. Результат определяется данными, объёмом обучения, архитектурой и дообучением; модель на 4 млрд параметров вполне может обходить модель на 70 млрд на конкретной задаче.

«Нейросеть и искусственный интеллект — одно и то же». Нейросеть — метод внутри машинного обучения, машинное обучение — метод внутри ИИ. Существуют системы ИИ без единой нейросети и нейросети, которые никто не назвал бы интеллектом (например, сеть, предсказывающая расход электричества).

«Галлюцинация — это баг, который скоро починят». Скорее свойство конструкции. По разбору OpenAI, ошибки в редких фактах неизбежны уже на этапе предобучения, а стимулы оценки закрепляют привычку угадывать. Частоту снижают, природу — нет.

Где нейросети ломаются: риски и ограничения

Честный список того, чего от технологии ждать не стоит.

• Обрыв знаний. Модель не знает событий после даты обучения (у Llama 3.1 это декабрь 2023) и не сообщает об этом сама.
• Уверенная неправда. Галлюцинации остаются в самых сильных системах и опаснее всего там, где ответ выглядит проверяемым: имена, цифры, ссылки, цитаты.
• Метрики вводят в заблуждение. Одна цифра «точность» не отражает, как часто модель врёт: на SimpleQA модель с точностью 24% ошибалась в 75% случаев, а с точностью 22% — только в 26%.
• Данные тянут за собой ошибки и предвзятость. Что было в обучающем корпусе, то и воспроизводится, а проверить корпус извне обычно невозможно.
• Переобучение. Впечатляющие результаты на демонстрации не переносятся на ваши данные, если модель училась запоминать, а не обобщать.
• Стоимость и доступ. Обучение фронтир-модели измеряется десятками миллионов GPU-часов, поэтому реальный контроль над базовыми моделями сосредоточен у нескольких компаний.
• Непрозрачность представлений. На вопрос «почему модель ответила именно так» строгого ответа нет — можно строить гипотезы, но не показать строчку кода.

Что даёт понимание устройства нейросети на практике

Понимание устройства меняет три конкретные привычки в работе с ИИ-сервисами.

Вы перестаёте спорить с моделью и начинаете переформулировать задачу. Раз ответ — функция от входа, а не мнение, то менять нужно вход. Отсюда вся практика работы с формулировками: подробнее задать условия, дать пример нужного результата, разбить задачу. Как это делать системно, разобрано в материале о том, как формулировать промпт.

Вы понимаете, где обязательна проверка. Правило простое: чем реже факт встречался в текстах, тем выше шанс выдумки. Имена, точные даты, номера версий, цитаты и ссылки проверяются всегда; общие объяснения и переформулировки — почти никогда.

Вы читаете спецификации моделей осмысленно. Число параметров говорит про требования к памяти, дата обрыва данных — про свежесть знаний, контекстное окно — про длину диалога, тип архитектуры (плотная или Mixture-of-Experts) — про соотношение размера и скорости. Все эти цифры лежат в открытых карточках моделей: например, по состоянию на 2 августа 2026 года верх шкалы открытых весов держат DeepSeek-V3 с 671 млрд параметров и Llama 3.1 405B с 405 млрд. Именно эта строчка устареет первой — планку переписывают каждые несколько месяцев, а механика нейрона, весов и обратного распространения не меняется десятилетиями.

Словарь вокруг нейросети: параметр, токен, контекстное окно

Частые вопросы (FAQ)

Нейросеть — это программа или математическая модель? И то, и другое. Математически это функция с миллиардами настраиваемых коэффициентов; практически — файл с этими коэффициентами плюс программа, которая умеет прогонять через них данные. Файл весов и программа запуска — разные вещи: одну и ту же модель можно запускать разными программами.

Нейросети — это отдельная отрасль искусственного интеллекта? Нет, отраслью их называть неточно. Нейросеть — конкретный тип модели внутри машинного обучения, а машинное обучение — один из методов ИИ. Отраслью считается сам искусственный интеллект, а нейросети — самый успешный инструмент внутри него на сегодняшний день.

Может ли нейросеть обучаться прямо во время разговора со мной? Обычно нет. Веса модели зафиксированы после обучения и в диалоге не меняются — то, что выглядит как «запомнила», хранится в контексте текущей сессии или во внешней памяти сервиса. Меняются веса только при отдельном дообучении, которое запускают разработчики.

Почему две модели с одинаковым числом параметров работают по-разному? Потому что параметры — это только ёмкость. Различаются данные обучения, длительность и качество обучения, архитектура, способ дообучения под инструкции. Модель на 8 млрд параметров, обученная на 15 трлн токенов, сильнее модели того же размера, обученной на триллионе.

Нужна ли видеокарта, чтобы запустить нейросеть у себя? Для маленьких моделей — нет: 4-миллиардная модель в четырёхбитной квантизации занимает около 2 ГБ и работает даже на процессоре, хотя и медленно. Видеокарта нужна для скорости и для моделей от 7 млрд параметров и выше — там объём видеопамяти становится главным ограничением.

Правда ли, что нейросети скоро достигнут человеческого уровня во всех задачах? Это прогноз, а не факт, и разброс оценок огромен — от ближайшего десятилетия до столетия и больше. Нынешние модели решают узкие задачи, пусть и очень широкий их набор; общего интеллекта, сопоставимого с человеческим по гибкости, ни одна из них не демонстрирует.