Коротко (TL;DR)
Нейромережа — це програма, яка не виконує написані людиною правила, а добирає мільйони (нині — мільярди) числових коефіцієнтів так, щоб на знайомих прикладах давати правильну відповідь. Усередині немає ані мислення, ані розуміння: є шари простих обчислювальних вузлів, зв’язки між ними та число біля кожного зв’язку. Це число називається вагою, і саме ваги — те, що «знає» модель.
- Коротко (TL;DR)
- Нейромережа простими словами: вгадування за досвідом, а не міркування
- Як влаштована нейромережа: нейрон, вага, шар
- Як нейромережа навчається: помилка, яку виправляють мільйони разів
- Нейромережа, машинне навчання і штучний інтелект: що чим є
- Чому між першою нейромережею і ChatGPT минуло шістдесят років
- Види нейромереж: від перцептрона до трансформера
- Що означає «модель на N мільярдів параметрів»
- Чому нейромережа вигадує факти й плутається в датах
- П’ять хибних уявлень про нейромережі
- Де нейромережі ламаються: ризики та обмеження
- Що дає розуміння будови нейромережі на практиці
- Словник навколо нейромережі: параметр, токен, контекстне вікно
- Часті запитання (FAQ)
Уся решта термінології нарощується довкола цієї конструкції. «Модель на 405 мільярдів параметрів» означає, що таких налаштовуваних чисел усередині 405 мільярдів. «Навчання» — процес, у якому мережа мільйони разів помиляється і щоразу трішки підкручує ці числа. «Галюцинація» — наслідок того, що мережа завжди видає найправдоподібніше продовження, навіть коли правдоподібного й правильного продовження не існує.
Далі розбираємо все це по порядку: з чого складається мережа, як вона навчається, чим модель під капотом ChatGPT відрізняється від мережі з підручника, що означають мільярди параметрів у гігабайтах вашої відеопам’яті й чому ШІ впевнено помиляється в датах.
Нейромережа простими словами: вгадування за досвідом, а не міркування
Уявіть досвідченого приймальника на пошті, який на око визначає вагу посилки. Він не обчислює її за формулою — він просто бачив десятки тисяч коробок, щоразу помилявся, щоразу дізнавався справжню вагу й непомітно для себе коригував внутрішнє «відчуття». За рік він вгадує з точністю до сотні грамів і не може пояснити, як саме.
Нейромережа працює за цим принципом, тільки замість відчуттів у неї числа, а замість року практики — мільйони прогонів. Вона не зберігає правило «якщо коробка така-то, вага така-то». Вона зберігає набір коефіцієнтів, які загалом дають потрібну відповідь на всіх прикладах, що їй показували.
Звідси одразу три наслідки, які пояснюють майже всю поведінку сучасних ШІ-сервісів. Перший: мережа не відповідає «не знаю» за замовчуванням — вона завжди видає якесь число або якесь слово, бо видавати щось і є її єдина операція. Другий: якість відповіді цілком залежить від того, що вона бачила під час навчання, і на незнайомому завданні вона не зупиниться, а відповість навмання. Третій: пояснити конкретну відповідь неможливо так, як пояснюють роботу звичайної програми — там немає рядка коду, на який можна показати пальцем.
Це і є головне, що варто зрозуміти: нейромережа — це статистичний механізм, а не співрозмовник. Усе, що схоже на міркування, — властивість дуже великих наборів таких коефіцієнтів, а не окрема здібність, яку хтось запрограмував.
Як влаштована нейромережа: нейрон, вага, шар
Розберемо конструкцію знизу вгору — від одного вузла до цілої мережі.
Нейрон (його ж називають вузлом) — це не модель клітини мозку, а дуже проста арифметика. Вузол отримує кілька чисел на вхід, множить кожне на свій коефіцієнт, додає результати, докидає ще одне число-поправку і пропускає суму через нелінійну функцію. І все. Жодної біології всередині немає — схожість із нейроном мозку суто ідейна і лишилася від термінології 1940-х років.
Вага — той самий коефіцієнт біля кожного зв’язку. Він показує, наскільки сильно один сигнал впливає на інший, і може бути як додатним (підсилює), так і від’ємним (пригнічує). У документації IBM ваги описують як ручки налаштування: слово «приз» у листі крутить ручку «це спам» сильніше, ніж слово «доброго дня».
Зсув (bias) — додаткове число, що зміщує поріг спрацювання вузла. Разом ваги та зсуви називаються параметрами моделі. Запам’ятайте цю рівність: коли в новинах пишуть про «модель на 7 мільярдів параметрів», ідеться саме про ці числа.
Функція активації — нелінійне перетворення на виході вузла. Без неї вся мережа, скільки шарів у неї не склади, схлопувалася б в одне лінійне рівняння і не могла б вивчити нічого складнішого за пряму лінію. Саме нелінійність дає мережі здатність вловлювати заплутані залежності.
Шари. Вузли вишикувані в три типи шарів: вхідний приймає початкові дані (пікселі картинки, числа, шматки тексту), приховані перетворюють їх на проміжні представлення, вихідний видає результат — число, ймовірність або розподіл імовірностей. Якщо прихований шар один, мережу називають неглибокою; якщо їх багато — глибокою, звідси й термін «глибоке навчання».
Слово «приховані» тут не про таємницю: шари називаються так, бо ззовні не видно ні їхнього входу, ні виходу. Що саме кодує конкретна комбінація ваг усередині мережі, зазвичай не знає й сам розробник — це окреме дослідницьке завдання. Як виглядає спроба його розв’язати, добре видно з дослідження Anthropic про внутрішні представлення моделі: щоб зрозуміти, що відбувається в прихованих шарах, знадобився окремий науковий проєкт.
Як нейромережа навчається: помилка, яку виправляють мільйони разів
Мережа з випадковими вагами видає сміття. Навчання — це процедура, що перетворює сміття на осмислену відповідь, і складається вона з чотирьох кроків, повторюваних мільйони разів.
- Прямий прохід. Приклад із навчального набору пропускають через мережу, і вона видає свою відповідь.
- Обчислення помилки. Функція втрат вимірює, наскільки відповідь розійшлася з правильною. Це одне число: що воно більше, то гірше спрацювала мережа.
- Зворотне поширення помилки. Помилку проганяють мережею назад і для кожної ваги обчислюють, який внесок саме вона зробила в промах.
- Оновлення ваг. Кожну вагу трішки зсувають у бік, що зменшує помилку. Метод називається градієнтним спуском, а «трішки» задається окремим параметром — швидкістю навчання.
Третій крок — той самий історичний прорив. Процедуру зворотного поширення в сучасному вигляді описали Девід Румельгарт, Джефрі Гінтон і Рональд Вільямс у журналі Nature 1986 року; у статті прямо сказано, що процедура «багаторазово підлаштовує ваги зв’язків, щоб мінімізувати міру розбіжності між виданим і бажаним вектором на виході». Саме вона уможливила навчання багатошарових мереж, які до того впиралися в обчислювальний глухий кут. Заради справедливості: близьку ідею пропонував Пол Вербос ще 1974 року, а 1986-го її незалежно перевідкрили одразу кілька груп.
Дані. Навчальний набір ділять на три частини: тренувальну (на ній мережа вчиться), тестову (на ній перевіряють точність) і валідаційну (на ній оцінюють підсумок). Такий поділ існує не з любові до формальностей, а через конкретну хворобу — перенавчання. Занадто складна мережа з надлишком параметрів запам’ятовує навчальні приклади замість закономірності й на нових даних провалюється. IBM називає це найвагомішою проблемою під час навчання мереж.
Якість даних переходить у модель безпосередньо. Помилки розмітки відтворюються на виході, упередженість у текстах відтворюється теж. Перевірити це збоку користувач не може: ваги великих моделей публікують, повний склад навчальних даних — майже ніколи.
Нейромережа, машинне навчання і штучний інтелект: що чим є
У побутовій мові «нейромережа» і «ШІ» стали синонімами, і це збиває з пантелику. Насправді це вкладені поняття, а не різні назви одного.Поняття Що це Відношення до сусідів Штучний інтелект Уся галузь інформатики, зайнята завданнями, які вважаються інтелектуальними Найширша множина; охоплює й підходи без жодного навчання (наприклад, шахові програми на переборі) Машинне навчання Метод усередині ШІ: програма виводить правила з даних, а не отримує їх від людини Підмножина ШІ Глибоке навчання Машинне навчання на нейромережах із кількома прихованими шарами Підмножина машинного навчання Нейромережа Конкретна архітектура моделі: шари вузлів із навчаними вагами Інструмент, на якому побудоване глибоке навчання Велика мовна модель (LLM) Нейромережа-трансформер, навчена передбачати наступний фрагмент тексту Окремий випадок нейромережі
Що це означає на практиці: нейромережа — не єдиний спосіб робити ШІ, а ШІ — не обов’язково нейромережа. Просто саме на нейромережах, як формулює IBM, побудовані прориви в комп’ютерному зорі, обробці мови та розпізнаванні мовлення — і на тлі цих результатів решта підходів відійшла на другий план.
Чому між першою нейромережею і ChatGPT минуло шістдесят років
Ідея старша за більшість читачів цієї статті, і розрив між ідеєю та робочим продуктом пояснює багато що в сьогоднішньому ажіотажі.
1943. Воррен Мак-Каллок і Волтер Піттс публікують першу математичну модель нейрона і показують, що прості вузли здатні обчислювати функції.
Липень 1958. Управління військово-морських досліджень США показує перцептрон Френка Розенблата — першу практичну нейромережу. Розенблат називає її «першою машиною, здатною на оригінальну ідею», а The New York Times виходить із заголовком «Новий пристрій ВМС учиться на практиці» й описує перцептрон як зародок комп’ютера, який навчиться читати і стане розумнішим. Обіцянки помітно випереджають залізо.
1969. Марвін Мінський і Сеймур Пейперт випускають книжку «Перцептрони» з розбором принципових обмежень одношарових моделей. Фінансування згортається, починається «зима ШІ» — за формулюванням Cornell Chronicle, злет і падіння перцептрона самі ж її й наблизили.
1986. Стаття в Nature про зворотне поширення помилки знімає головну технічну перешкоду: стає зрозуміло, як навчати багатошарові мережі.
2006 і далі. Роботи Гінтона й колег із глибоких мереж плюс поява доступних відеокарт перетворюють теорію на інженерію.
2017. Виходить стаття «Attention Is All You Need» — архітектура, на якій побудовані всі нинішні чат-боти.
Корисний висновок із цієї хронології: технологія буксувала не тому, що ідея була хибною, а тому, що бракувало методу навчання й обчислювальних потужностей. Обидва дефіцити закрили — і саме тому за останні вісім років сталося більше, ніж за попередні шістдесят.
Види нейромереж: від перцептрона до трансформера
Різних архітектур налічують кілька десятків, але практичний сенс має знання п’яти-шести.Архітектура Принцип Типове завдання Де трапляється сьогодні Перцептрон Один шар, лінійне розділення Найпростіша класифікація Лише в підручниках як історичний приклад Повнозв’язна мережа (FNN) Сигнал іде строго від входу до виходу, сусідні шари зв’язані повністю Класифікація, прогноз числа Усередині складніших архітектур як будівельний блок Згорткова мережа (CNN) Ковзний фільтр виділяє ознаки на ділянках зображення Комп’ютерний зір Розпізнавання облич, медичні знімки, безпілотники Рекурентна мережа (RNN, LSTM) Вузол отримує сигнал не лише від попереднього шару, а й від себе з минулого кроку Послідовності: текст, мовлення, часові ряди Витіснена трансформерами, лишилася в легких завданнях Генеративно-змагальна мережа (GAN) Дві мережі змагаються: генератор створює, дискримінатор ловить підробку Синтез зображень і аудіо Стилізація фото, діпфейки Трансформер Механізм уваги: кожен елемент порівнюється з усіма іншими одразу Текст, код, мультимодальні завдання ChatGPT, Claude, Gemini, усі сучасні LLM
Чим трансформер відрізняється — і чому це все одно нейромережа
Головне непорозуміння довкола сучасних моделей: трансформер часто подають як щось окреме від нейромереж. Це хибно. IBM формулює прямо: сучасні архітектури на кшталт трансформерів дотримуються тих самих базових принципів — навчані ваги та зсуви, шари, нелінійності, наскрізне навчання зворотним поширенням, — а різняться здебільшого тим, як інформація змішується між шарами.
Відмінність в одному прийомі. Рекурентна мережа читає текст послідовно, слово за словом, і до кінця довгого речення втрачає початок. Трансформер за фіксовану кількість кроків порівнює кожне слово з усіма іншими одразу й обчислює, наскільки сильно кожне з них впливає на зміст поточного. У блозі Google Research це пояснюють на фразі «я прийшов до банку після того, як перейшов річку»: щоб зрозуміти, що «банк» тут берег, моделі досить один раз звернути увагу на слово «річка».
Результат виявився і точнішим, і дешевшим у навчанні. У статті 2017 року описані дві конфігурації: базова на 65 млн параметрів дала 27,3 BLEU на англо-німецькому перекладі WMT 2014 і 38,1 на англо-французькому, а велика — 28,4 і 41,8, обійшовши зокрема ансамблі попередніх архітектур на обох мовних парах. Важлива тут не так сама надбавка, як її ціна: на перекладі з англійської німецькою навіть базова конфігурація обійшла всі опубліковані до неї моделі та ансамблі, витративши на навчання малу частку їхніх обчислень — хоча на англо-французькій парі її результат був скромніший, ніж у попередніх архітектур. Побічний ефект прийому — обмежений обсяг тексту, який модель здатна розглядати за раз: це і є контекстне вікно, через яке ШІ забуває початок довгого діалогу.
Що означає «модель на N мільярдів параметрів»
Це найчастіше число в новинах про ШІ і найнезрозуміліше для новачка. Розберемо його до гігабайтів.
Параметри — ті самі ваги та зсуви, які добирає навчання. Отже, «модель на 4 мільярди параметрів» — це модель, усередині якої чотири мільярди налаштовуваних чисел. Більше параметрів означає більше місткості для складних залежностей, але не гарантує кращого результату: та сама місткість дає більше можливостей для перенавчання і потребує більше даних.
Масштаб виріс, але витрати зросли сильніше
Базова модель трансформера 2017 року мала 65 млн параметрів і навчалася 12 годин на восьми відеокартах NVIDIA P100 — це 96 GPU-годин. Llama 3.1 405B, випущена Meta, має 405 млрд параметрів, навчалася на понад 15 трлн токенів і забрала 30,84 млн GPU-годин на картах H100-80GB.
Обчислимо розрив. За параметрами зростання в 6231 раз, за витраченими GPU-годинами — у 321 250 разів. Порівняння чесне лише за порядком величини (P100 і H100 незіставні за продуктивністю), але висновок воно дає однозначний: дорожчає не так розмір моделі, як обсяг навчання. Саме тому навчання фронтир-моделей доступне одиницям компаній, а не всім, у кого є серверна.
Другий орієнтир за грошима дає DeepSeek: за технічним звітом, повне навчання DeepSeek-V3 забрало 2,788 млн GPU-годин на картах H800, що за оренди $2 за GPU-годину дає близько $5,58 млн. Автори одразу застерігають, що в цю суму не входять попередні дослідження, експерименти з архітектурою та відкинуті варіанти, — тобто справжня вартість створення моделі помітно вища.
Скільки модель важить у гігабайтах
Параметри лежать у пам’яті як звичайні числа, тому вага моделі обчислюється арифметично. NVIDIA наводить формулу прямо: помножте кількість параметрів на кількість байтів, якими зберігається один параметр (4 байти для FP32, 2 для FP16). Перевірне правило від Modal те саме з іншого боку: приблизно 2 ГБ пам’яті на кожен мільярд параметрів за 16-бітної точності.
Наш розрахунок за цією формулою для трьох реальних моделей (1 ГБ = 10⁹ байтів, враховуються тільки ваги):Модель Параметрів 16 біт (2 байти) 8 біт (1 байт) 4 біти (0,5 байта) Gemma 3 4B 4 млрд ≈8 ГБ ≈4 ГБ ≈2 ГБ Llama 3.1 405B 405 млрд ≈810 ГБ ≈405 ГБ ≈203 ГБ DeepSeek-V3 671 млрд ≈1342 ГБ ≈671 ГБ ≈336 ГБ
Методика: беремо лише ваги, без пам’яті під контекст, активації та службові буфери — на практиці додайте зверху 10–30%. Зменшення кількості байтів на параметр називається квантизацією, і це не хитрість ентузіастів: Meta сама квантувала 405B з 16 бітів до 8, щоб модель помістилася в один серверний вузол.
Практичний висновок для домашнього комп’ютера: 4-мільярдна модель у чотирибітній квантизації займає близько 2 ГБ і живе на будь-якій сучасній відеокарті, а 405-мільярдна не поміститься й у вісім топових карт по 80 ГБ. Між цими полюсами лежить увесь вибір — і він докладно розібраний в окремому матеріалі про те, яку локальну модель брати під завдання і залізо.
Чому 671 мільярд може працювати швидше, ніж 405
Від 2024 року кількість параметрів перестала однозначно означати швидкість. У DeepSeek-V3 671 млрд параметрів загалом, але на кожен токен активуються лише 37 млрд — архітектура Mixture-of-Experts вмикає не всю мережу, а придатну її частину. За нашим розрахунком це 5,5% моделі.
Для користувача це означає дві речі. У пам’ять треба покласти всі 671 млрд (тобто залізо потрібне під повний розмір), а обчислювати на кожному кроці — лише двадцяту частину, тому відповідь приходить швидше, ніж очікуєш від такого числа. І ще нюанс, який показує, наскільки слово «розмір» стало умовним: на диску картка DeepSeek-V3 займає 685 млрд ваг — 671 млрд основної моделі плюс 14 млрд службового модуля передбачення кількох токенів. Три різні числа про одну модель.
Чому нейромережа вигадує факти й плутається в датах
Два найчастіші розчарування новачка пояснюються різними причинами, і обидві — конструктивні, а не випадкові.
Галюцинації
Коли кажуть, що нейромережа галюцинує, — це означає, що модель видала правдоподібне, але хибне твердження, ще й упевненим тоном. У вересні 2025 року дослідники OpenAI (Келай, Нахум, Вемпала, Чжан) опублікували розбір причин, і він складається з двох частин.
Перша частина — будова навчання. Модель учать передбачати наступне слово у величезних текстах, і в цих текстах немає позначок «істина» і «хиба». Вона бачить лише приклади доладного мовлення і наближає їхній загальний розподіл. Аналогія авторів: якщо розмічати світлини улюбленців не «кіт/собака», а датою народження тварини, будь-який алгоритм помилятиметься завжди — у даних просто немає закономірності, яку можна вивчити. З рідкісними фактами на кшталт чийогось дня народження відбувається рівно це.
Друга частина — стимули оцінювання, і вона цікавіша. Моделі ранжують за точністю: часткою повністю правильних відповідей. Відповідь «не знаю» гарантує нуль балів, а вгадування дає шанс поцілити. Тому модель, навчена під такі рейтинги, ніколи не мовчить. За даними OpenAI на тесті SimpleQA, модель gpt-5-thinking-mini утрималася від відповіді у 52% випадків і помилилася у 26%, а старіша o4-mini утрималася лише в 1% і помилилася у 75% — за майже однакової точності, 22% проти 24%. Це цифри самої OpenAI про власні моделі, незалежної перевірки в них немає, але сам ефект вони ілюструють наочно: обираючи модель за однією колонкою «точність», можна обрати ту, що бреше втричі частіше.
Помилки в датах і незнання свіжих подій
Тут причина простіша й цілком перевірювана. У будь-якої моделі є дата обриву навчальних даних. У картці Llama 3.1 вона вказана прямо: дані для попереднього навчання закінчуються груднем 2023 року. Усе, що сталося пізніше, модель не бачила — але, як ми з’ясували вище, промовчати вона не вміє, тому добудовує відповідь за правдоподібністю.
Звідси практичне правило: будь-які дати, курси, версії продуктів і «останні новини», отримані з чату без доступу до пошуку, треба перевіряти на першоджерелі. Модель із під’єднаним пошуком поводиться інакше — вона підставляє свіжий текст у контекст, — але й тоді відповідає за якість джерела, а не за істину.
П’ять хибних уявлень про нейромережі
«Нейромережа думає». Не думає. На виході вона видає розподіл імовірностей і обирає з нього, а не формує думку. Усе, що виглядає як міркування, — статистична закономірність, вивчена на текстах, де міркували люди.
«Нейромережа — це чорна скринька, ніхто не знає, як вона працює». Напівправда, яка заважає більше, ніж допомагає. Математика проходу сигналу відома до останньої операції й уміщається в кілька формул. Непрозоре інше: якому поняттю відповідає конкретна комбінація ваг усередині мережі. Цим займається окрема галузь — інтерпретовність, і там є вимірний поступ.
«Що більше параметрів, то розумніша модель». Ні. Параметри — це місткість, а не якість. Результат визначають дані, обсяг навчання, архітектура й доопрацювання; модель на 4 млрд параметрів цілком може обходити модель на 70 млрд у конкретному завданні.
«Нейромережа і штучний інтелект — те саме». Нейромережа — метод усередині машинного навчання, машинне навчання — метод усередині ШІ. Існують системи ШІ без жодної нейромережі та нейромережі, які ніхто не назвав би інтелектом (наприклад, мережа, що прогнозує споживання електрики).
«Галюцинація — це баг, який скоро полагодять». Радше властивість конструкції. За розбором OpenAI, помилки в рідкісних фактах неминучі вже на етапі попереднього навчання, а стимули оцінювання закріплюють звичку вгадувати. Частоту знижують, природу — ні.
Де нейромережі ламаються: ризики та обмеження
Чесний перелік того, чого від технології чекати не варто.
- Обрив знань. Модель не знає подій після дати навчання (у Llama 3.1 це грудень 2023) і не повідомляє про це сама.
- Упевнена неправда. Галюцинації лишаються в найсильніших системах і найнебезпечніші там, де відповідь виглядає перевірюваною: імена, цифри, посилання, цитати.
- Метрики вводять в оману. Одна цифра «точність» не відображає, як часто модель бреше: на SimpleQA модель із точністю 24% помилялася у 75% випадків, а з точністю 22% — тільки у 26%.
- Дані тягнуть за собою помилки й упередженість. Що було в навчальному корпусі, те й відтворюється, а перевірити корпус ззовні зазвичай неможливо.
- Перенавчання. Вражальні результати на демонстрації не переносяться на ваші дані, якщо модель училася запам’ятовувати, а не узагальнювати.
- Вартість і доступ. Навчання фронтир-моделі вимірюється десятками мільйонів GPU-годин, тому справжній контроль над базовими моделями зосереджений у кількох компаній.
- Непрозорість представлень. На питання «чому модель відповіла саме так» строгої відповіді немає — можна будувати гіпотези, але не показати рядок коду.
Що дає розуміння будови нейромережі на практиці
Розуміння будови змінює три конкретні звички в роботі з ШІ-сервісами.
Ви перестаєте сперечатися з моделлю і починаєте переформульовувати завдання. Раз відповідь — функція від входу, а не думка, то міняти треба вхід. Звідси вся практика роботи з формулюваннями: докладніше задати умови, дати приклад потрібного результату, розбити завдання. Як це робити системно, розібрано в матеріалі про те, як формулювати промпт.
Ви розумієте, де перевірка обов’язкова. Правило просте: що рідше факт траплявся в текстах, то вищий шанс вигадки. Імена, точні дати, номери версій, цитати й посилання перевіряються завжди; загальні пояснення та переформулювання — майже ніколи.
Ви читаєте специфікації моделей осмислено. Кількість параметрів говорить про вимоги до пам’яті, дата обриву даних — про свіжість знань, контекстне вікно — про довжину діалогу, тип архітектури (щільна чи Mixture-of-Experts) — про співвідношення розміру та швидкості. Усі ці цифри лежать у відкритих картках моделей: наприклад, станом на 2 серпня 2026 року верх шкали відкритих ваг тримають DeepSeek-V3 з 671 млрд параметрів і Llama 3.1 405B з 405 млрд. Саме цей рядок застаріє першим — планку переписують кожні кілька місяців, а механіка нейрона, ваг і зворотного поширення не змінюється десятиліттями.
Словник навколо нейромережі: параметр, токен, контекстне вікно
| Термін | Що означає |
|---|---|
| Параметр | Одне налаштовуване число всередині моделі (вага або зсув) |
| Токен | Шматок тексту, яким модель оперує: слово, частина слова або символ |
| Контекстне вікно | Скільки токенів модель утримує в одному діалозі |
| Навчальний корпус | Набір текстів і даних, на якому навчалася модель |
| Квантизація | Зменшення кількості байтів на параметр заради економії пам’яті |
| Інференс | Запуск навченої моделі на нових даних (на відміну від навчання) |
| Доопрацювання (fine-tuning) | Донавчання готової моделі на своїх даних під конкретне завдання |
| Mixture-of-Experts | Архітектура, де на кожен крок вмикається лише частина мережі |
| Відкриті ваги | Модель, чиї параметри викладені публічно й запускаються локально |
Часті запитання (FAQ)
Нейромережа — це програма чи математична модель? І те, і те. Математично це функція з мільярдами налаштовуваних коефіцієнтів; практично — файл із цими коефіцієнтами плюс програма, яка вміє проганяти крізь них дані. Файл ваг і програма запуску — різні речі: ту саму модель можна запускати різними програмами.
Нейромережі це галузь штучного інтелекту? Ні, галуззю їх називати неточно. Нейромережа — конкретний тип моделі всередині машинного навчання, а машинне навчання — один із методів ШІ. Галуззю вважається сам штучний інтелект, а нейромережі — найуспішніший інструмент усередині нього на сьогодні.
Чи може нейромережа навчатися просто під час розмови зі мною? Зазвичай ні. Ваги моделі зафіксовані після навчання і в діалозі не змінюються — те, що виглядає як «запам’ятала», зберігається в контексті поточної сесії або в зовнішній пам’яті сервісу. Ваги змінюються лише під час окремого донавчання, яке запускають розробники.
Чому дві моделі з однаковою кількістю параметрів працюють по-різному? Бо параметри — це лише місткість. Різняться дані навчання, тривалість і якість навчання, архітектура, спосіб донавчання під інструкції. Модель на 8 млрд параметрів, навчена на 15 трлн токенів, сильніша за модель того самого розміру, навчену на трильйоні.
Чи потрібна відеокарта, щоб запустити нейромережу в себе? Для маленьких моделей — ні: 4-мільярдна модель у чотирибітній квантизації займає близько 2 ГБ і працює навіть на процесорі, хоч і повільно. Відеокарта потрібна для швидкості й для моделей від 7 млрд параметрів і вище — там обсяг відеопам’яті стає головним обмеженням.
Чи правда, що нейромережі скоро досягнуть людського рівня в усіх завданнях? Це прогноз, а не факт, і розкид оцінок величезний — від найближчого десятиліття до століття й більше. Нинішні моделі розв’язують вузькі завдання, хай і дуже широкий їх набір; загального інтелекту, зіставного з людським за гнучкістю, жодна з них не демонструє.
