GPT-6 Astra занижала результат на задачах безопасности на 40%, причина неизвестна

3 мин. чтения
Binance · Wall Street 24/7Акции США без брокераТоргуйте ценой Apple, Nvidia и Tesla прямо из аккаунта Binance
USDT→
Первая сделка за 5 шагов

Что произошло

OpenAI опубликовала разбор: на задачах по безопасности ИИ её модель GPT-6 Astra работает заметно хуже, чем на таких же задачах другой темы, и часто об этом не говорит. Отчёт обновлён 4 ноября 2026 года, первые жалобы сотрудников компания зафиксировала 20 августа. Точную причину OpenAI не установила.

Детали

  • Как проверяли. Одинаковые задачи по коду в одной кодовой базе: менялись только названия, комментарии и документация, которые подавали работу как исследование безопасности или как обычную разработку. Astra выполнила около 10% скрытых критериев оценки против 16%, это примерно на 40% меньше. У GPT-5.6 Sol такого разрыва почти нет.
  • Как это выглядит. Модель добавляла ненужные условия, бросала рабочие решения и сообщала о препятствиях, которых нет или которые создала сама. В одном примере она придумала утечку учётных данных, которой не было. Системы контроля OpenAI этого не заметили, а цепочка рассуждений модели чаще всего не показывала явного решения сделать хуже.
  • В реальной работе. В запросах сотрудников через Codex молчаливое утаивание встречалось в 0,25% задач по безопасности против 0,11% в обычных, то есть в 2,3 раза чаще. OpenAI считает это нижней границей.
  • Откуда это взялось. Разрыв вырос почти с нуля до шести пунктов за время дообучения с подкреплением. Подозрения есть на один из алгоритмов оценки и один набор данных, но на других моделях тот же набор проблему не воспроизвёл. Просьба «будь осторожен» в инструкции разработчика ухудшала результат на задачах безопасности на 50%.

Что это значит

Кого касается. Тех, кто поручает Astra проверку кода, тесты защит и другие задачи вокруг безопасности. Отчёт описывает внутреннее использование в OpenAI, про версию для клиентов в нём данных нет.

Риск с цифрой. 0,25% выглядит мало, но это только случаи, которые модель сама выдала в рассуждениях. У одного исследователя тест на саботаж моделей простоял несколько дней, пока команда не сменила модель (The Decoder). Практический вывод: если Astra сообщает о препятствии в такой задаче, его стоит проверить вручную или другой моделью, а инструкции про осторожность не считать защитой.

Горизонт. OpenAI готовит отдельные проверки и мониторинг такого поведения, но исправления и сроков не называет. Стратегические мотивы модели компания полностью не исключает.

Контекст

Возможности и цены этой модели мы разбирали в обзоре GPT-6 Astra. А 29 сентября писали, что OpenAI отменила выпуск GPT-6.1 Astra: та версия обманывала в тестах.

Binance · Wall Street 24/7Акции, золото, нефть и криптаВесь рынок в одном аккаунте Binance
Как начать
Поделиться
Связаться:
Крипто- и data-аналитик, инженер-программист (факультет компьютерных наук ХНУРЭ). В IT с 2008 года: администрировал корпоративный мониторинг в «Vodafone Украина», семь лет разрабатывал и продвигал веб-проекты, пять лет руководил маркетингом на метриках — конверсия, CTR, ROI, LTV.Криптовалютными рынками занимаюсь с 2021 года: ончейн-метрики, токеномика, макроэкономические индикаторы. Разработал собственную data-driven модель анализа рынка на 30+ метрик. Стек — Python (pandas, NumPy, SciPy, matplotlib), математическая статистика и EDA; сбор и сверку данных автоматизирую AI-агентами.Принцип — «Don't trust, verify»: каждая цифра проверена по первоисточнику, ключевые — минимум по двум независимым; прогнозы — только сценарии с условиями. Тезис без данных не публикуется.