Що сталося
2 листопада 2026 року четверо дослідників MIT CSAIL — Rikiya Takehi, Jayden Teoh, Alex Zhang і Omar Khattab — опублікували роботу «Sparks of Weight-Space Programming». У ній закрита модель OpenAI GPT-6 Astra отримала доступ до ваг маленької відкритої моделі Qwen3.5-0.8B і виправила їх безпосередньо, без дотренування. Ваги — це сотні мільйонів чисел усередині нейромережі, які й визначають її поведінку. Після правки частка розв’язаних задач у тесті MATH-500 (500 задач шкільної та олімпіадної математики) зросла з 7,9% до 48,1% — приблизно в 6 разів.
Деталі
Astra працювала в Python-сесії із завантаженими вагами, без відеокарти. На пошук проблеми їй дали 50 прогонів моделі на тренувальних задачах із наборів GSM8K і MATH. Діагноз: Qwen3.5-0.8B у режимі міркувань майже завжди зациклюється й упирається в ліміт 32 768 токенів. Astra знайшла один напрямок у MLP-блоках (внутрішніх обчислювальних шарах) 15-го і 19-го шару, який відповідає за повтори, і відняла його.Тест (Qwen3.5-0.8B) До правки Після правки MATH-500 7,9% 48,1% GSM8K 13,8% 67,1% IFEval (виконання інструкцій) 21,0% 62,3% Відповіді, що вперлися в ліміт токенів 93,0% 33,1%
Змінено 131 072 ваги — 0,016% моделі. Відредагований чекпоінт лежить на Hugging Face під ліцензією Apache 2.0, точний дифф ваг — у GitHub. Незалежний перезапуск на Hugging Face (2 000 генерацій, 51 хвилина на H200) дав 51,0% на MATH-500 і 31,6% відповідей у ліміті — результат авторів відтворюється.
Що це означає
Для тих, хто запускає маленькі моделі локально, це перший наочний приклад того, що модель можна полагодити «скальпелем», а не дотренуванням. Дотренування — це прогін моделі на тисячах прикладів, коли алгоритм сам підкручує всі ваги; потрібні відеокарта й дані, і є ризик, що модель забуде старі навички. Тут змінили 0,016% ваг і отримали +40 відсоткових пунктів на MATH-500.
Обмеження автори називають самі. Приріст дав ремонт зациклення, а не нові знання: у Gemma 3 270M, яка майже не зациклюється, MATH-500 лишився на рівні 6,8–7,7%. Порівняння з LoRA і звичайним дотренуванням у роботі немає. Повторити метод на своїй моделі поки складно: потрібен платний доступ до GPT-6 Astra, а готового інструмента немає — опубліковано логи й скрипт застосування правки.
Горизонт: спробувати результат можна вже зараз — модель на 0,8 млрд параметрів запускається на звичайному ноутбуці, як і інші Qwen3 на своєму ПК. Практичний інструмент «полагодь свою модель» — справа місяців, а не днів: за даними VentureBeat, бенчмарк і фреймворк для методу ще в розробці.
