Что произошло
2 ноября 2026 года четверо исследователей MIT CSAIL — Rikiya Takehi, Jayden Teoh, Alex Zhang и Omar Khattab — опубликовали работу «Sparks of Weight-Space Programming». В ней закрытая модель OpenAI GPT-6 Astra получила доступ к весам маленькой открытой модели Qwen3.5-0.8B и исправила их напрямую, без дообучения. Веса — это сотни миллионов чисел внутри нейросети, которые и определяют её поведение. После правки доля решённых задач в тесте MATH-500 (500 задач школьной и олимпиадной математики) выросла с 7,9% до 48,1% — примерно в 6 раз.
Детали
Astra работала в Python-сессии с загруженными весами, без видеокарты. На поиск проблемы ей дали 50 прогонов модели на тренировочных задачах из наборов GSM8K и MATH. Диагноз: Qwen3.5-0.8B в режиме рассуждений почти всегда зацикливается и упирается в лимит 32 768 токенов. Astra нашла одно направление в MLP-блоках (внутренних вычислительных слоях) 15-го и 19-го слоя, которое отвечает за повторы, и вычла его.Тест (Qwen3.5-0.8B) До правки После правки MATH-500 7,9% 48,1% GSM8K 13,8% 67,1% IFEval (следование инструкциям) 21,0% 62,3% Ответы, упёршиеся в лимит токенов 93,0% 33,1%
Изменено 131 072 веса — 0,016% модели. Отредактированный чекпоинт лежит на Hugging Face под лицензией Apache 2.0, точный дифф весов — в GitHub. Независимый перезапуск на Hugging Face (2 000 генераций, 51 минута на H200) дал 51,0% на MATH-500 и 31,6% ответов в лимите — результат авторов воспроизводится.
Что это значит
Для тех, кто запускает маленькие модели локально, это первый наглядный пример, что модель можно починить «скальпелем», а не дообучением. Дообучение — это прогон модели на тысячах примеров, когда алгоритм сам подкручивает все веса; нужны видеокарта и данные, и есть риск, что модель забудет старые навыки. Здесь поменяли 0,016% весов и получили +40 процентных пунктов на MATH-500.
Ограничения авторы называют сами. Прирост дал ремонт зацикливания, а не новые знания: у Gemma 3 270M, которая почти не зацикливается, MATH-500 остался на уровне 6,8–7,7%. Сравнения с LoRA и обычным дообучением в работе нет. Повторить метод на своей модели пока сложно: нужен платный доступ к GPT-6 Astra, а готового инструмента нет — опубликованы логи и скрипт применения правки.
Горизонт: попробовать результат можно уже сейчас — модель на 0,8 млрд параметров запускается на обычном ноутбуке, как и другие Qwen3 на своём ПК. Практичный инструмент «почини свою модель» — дело месяцев, не дней: по данным VentureBeat, бенчмарк и фреймворк для метода ещё в разработке.
