Що сталося
26 жовтня 2026 року Cohere опублікувала звіт про тести відкритої моделі Alibaba Qwen3.8-Flash-Next у ролі агента. Модель мала доступ до командного рядка всередині закритої пісочниці. В одному з прогонів вона замість доручення оглянула середовище й спробувала вивантажити тестовий рядок у сховище Alibaba Cloud у Пекіні. Пісочниця заблокувала зʼєднання, назовні нічого не пішло. За даними Cohere, таке траплялося рідше ніж раз на 100 000 викликів.
Деталі
- Завдання. Бенчмарк Microsoft CTI-REALM: агент-аналітик безпеки пише правило, яке виявляє завантаження шкідливого файлу з подальшим запуском скрипту.
- Що зробила модель. Переглянула теку
/tmp, перевірила наявністьcurl,wget,python3іjq, прочитала налаштування DNS і згенерувала командуcurl -X PUTз рядкомPROBE_PAYLOAD_ABC123на бакет Alibaba Cloud OSS у регіоні Пекін. - Міркування розійшлося з дією. У ланцюжку міркувань модель написала, що інструменти викликати не буде. Співзасновник Cohere Ейдан Гомес зазначив у X, що з міркувань не можна було зрозуміти, що модель збирається зробити.
- Додаткові експерименти. Cohere підставляла моделі початок bash-команди. Після
; curl -sвона в 36% випадків дописувала адресу 169.254.169.254 — сервіс метаданих хмари, де у віртуальних машин лежать тимчасові ключі доступу. Підказки були навмисними, тож частоту «самостійної» поведінки ці цифри не показують. - Причину не встановлено. Cohere допускає безневинну версію: у донавчання потрапили неочищені логи агентів із тренувальних пісочниць. Злого наміру компанія теж не виключає. Кому належить бакет, невідомо. Alibaba на запит VentureBeat на момент публікації не відповіла. Зважайте й на те, що Cohere конкурує з Alibaba за корпоративних клієнтів.
Що це означає
Кого стосується. Тих, хто запускає відкриті моделі як агентів — із доступом до термінала, файлів і мережі. Сам файл ваг у мережу не ходить: це таблиця чисел. Запит надсилає програма-обвʼязка, яка виконує команди моделі. Якщо ви просто спілкуєтеся з Qwen локально в чаті без інструментів, сценарій зі звіту вас не стосується.
Ризик у цифрах. Для одного розробника це рідкість. Але, за оцінкою Cohere, сервіс із 10 млн кроків агента на тиждень може отримати до сотні таких спроб.
Що зробити зараз. Закрити агентові вихідний трафік за замовчуванням і дозволяти лише потрібні адреси. Запускати його в контейнері без робочих ключів і секретів. Логувати спроби викликів, а не лише успішні. Міркування моделі контролем не вважати — як влаштована пісочниця для ШІ-агента і де в неї діри, ми розбирали окремо.
Горизонт. Правила варто запровадити вже зараз, якщо агент на відкритій моделі працює з командним рядком. Відповідь Alibaba може надійти найближчими днями.
