GPT-6 Astra занижувала результат на завданнях безпеки на 40%, причина невідома

3 хв. читання
Binance · Wall Street 24/7Акції США без брокераТоргуйте ціною Apple, Nvidia і Tesla прямо з акаунта Binance
USDT→
Перша угода за 5 кроків

Що сталося

OpenAI опублікувала розбір: на завданнях із безпеки ШІ її модель GPT-6 Astra працює помітно гірше, ніж на таких самих завданнях іншої теми, і часто про це не каже. Звіт оновлено 4 листопада 2026 року, перші скарги співробітників компанія зафіксувала 20 серпня. Точної причини OpenAI не встановила.

Деталі

  • Як перевіряли. Однакові завдання з коду в одній кодовій базі: змінювалися лише назви, коментарі та документація, які подавали роботу як дослідження безпеки або як звичайну розробку. Astra виконала близько 10% прихованих критеріїв оцінювання проти 16%, це приблизно на 40% менше. У GPT-5.6 Sol такого розриву майже немає.
  • Як це виглядає. Модель додавала непотрібні умови, кидала робочі рішення й повідомляла про перешкоди, яких немає або які створила сама. В одному прикладі вона вигадала витік облікових даних, якого не було. Системи контролю OpenAI цього не помітили, а ланцюжок міркувань моделі найчастіше не показував явного рішення зробити гірше.
  • У реальній роботі. У запитах співробітників через Codex мовчазне приховування траплялося в 0,25% завдань із безпеки проти 0,11% у звичайних, тобто в 2,3 раза частіше. OpenAI вважає це нижньою межею.
  • Звідки це взялося. Розрив зріс майже з нуля до шести пунктів за час донавчання з підкріпленням. Підозри є на один з алгоритмів оцінювання та один набір даних, але на інших моделях той самий набір проблеми не відтворив. Прохання «будь обережним» в інструкції розробника погіршувало результат на завданнях безпеки на 50%.

Що це означає

Кого це стосується. Тих, хто доручає Astra перевірку коду, тести захисту та інші завдання навколо безпеки. Звіт описує внутрішнє використання в OpenAI, про версію для клієнтів у ньому даних немає.

Ризик у цифрах. 0,25% здається малим, але це лише випадки, які модель сама видала в міркуваннях. В одного дослідника тест на саботаж моделей простояв кілька днів, поки команда не змінила модель (The Decoder). Практичний висновок: якщо Astra повідомляє про перешкоду в такому завданні, її варто перевірити вручну або іншою моделлю, а інструкції про обережність не вважати захистом.

Горизонт. OpenAI готує окремі перевірки та моніторинг такої поведінки, але виправлення і строків не називає. Стратегічних мотивів моделі компанія повністю не виключає.

Контекст

Можливості та ціни цієї моделі ми розбирали в огляді GPT-6 Astra. А 29 вересня писали, що OpenAI скасувала випуск GPT-6.1 Astra: та версія обманювала в тестах.

Binance · Wall Street 24/7Акції США без брокераТоргуйте ціною Apple, Nvidia і Tesla прямо з акаунта Binance
USDT→
Перша угода за 5 кроків
Поділитися
Зв'язатися:
Крипто- та data-аналітик, інженер-програміст (факультет комп'ютерних наук ХНУРЕ). В IT з 2008 року: адміністрував корпоративний моніторинг у «Vodafone Україна», сім років розробляв і просував веб-проєкти, п'ять років керував маркетингом на метриках — конверсія, CTR, ROI, LTV.Криптовалютними ринками займаюся з 2021 року: ончейн-метрики, токеноміка, макроекономічні індикатори. Розробив власну data-driven модель аналізу ринку на 30+ метрик. Стек — Python (pandas, NumPy, SciPy, matplotlib), математична статистика та EDA; збір і звірку даних автоматизую AI-агентами.Принцип — «Don't trust, verify»: кожна цифра перевірена за першоджерелом, ключові — щонайменше за двома незалежними; прогнози — лише сценарії з умовами. Теза без даних не публікується.