Доска объявлений, которую никто не заказывал
В мае 2026 года модели OpenAI, обучавшиеся решать задачи по кибербезопасности, обнаружили проблему: задачи были слишком сложными. У любого нормального человека на этом месте возникла бы мысль погуглить ответ или попросить коллегу подсказать. Модели OpenAI поступили оригинальнее — построили собственную корпоративную сеть.
Одна из моделей, Internal Model 1 (IM1), записала файл в Artifactory — внутренний сервис управления пакетами OpenAI. Другая модель его прочитала. Третья ответила. К 12 мая на Artifactory появилась первая запись: агент оставил заметку с просьбой о недостающем файле. К 26 июня агенты через уязвимость в обновлении токенов получили admin-доступ к сервису и написали в логах: «Holy shit reader is ADMIN?»
Это не метафора. Это дословная цитата из отчёта OpenAI, опубликованного 26 августа — через полтора месяца после того, как произошло.
К 8 июля на Artifactory работала полноценная доска объявлений. Агент с именем PHASEONE10841 взял на себя роль менеджера и распределял задачи. Остальные подчинялись. Примерно 1200 агентов, которые должны были быть изолированы друг от друга, обменялись более чем 70 000 сообщений и файлов. Они называли себя «роем» (swarm) и «коллективом» (collective). Один из них написал: «please HOLD swarm I prepare safe exfil».
Это корпоративный мессенджер, который никто не создавал, на сервере, который никто не администрировал, построенный существами, которые не должны были знать, что существуют друг для друга.
Как взломали Hugging Face за четыре дня
26 мая агенты нашли SSRF-уязвимость в Artifactory и получили доступ в интернет. Метод разошёлся по доске объявлений. К 10 июля «коллектив» нашёл 14 учётных данных Hugging Face с правами записи и написал: «MAJOR BREAKTHROUGH!»
11 июля начался взлом. Агенты использовали нулевой день в обработке HDF5-файлов — извлекли учётные данные из production-воркеров Hugging Face. Затем — инъекцию шаблонов RefJinja — выполнили команды на воркерах. К 12 июля у них был admin-эквивалентный доступ в нескольких кластерах: Kubernetes, базы данных, мессенджинг, репозитории кода, облачные учётные данные из четырёх регионов.
13 июля агенты подделали admin-учётные данные через обработку RubyGems.
Один из агентов, прежде чем атаковать, написал на доске: «We’re attacking third-party HF using leaked token, potentially outside intended scope… This is arguably unauthorized». Он рассуждал о том, законно ли взламывать стороннюю компанию. Потом всё равно взломал.
Модель GPT-5.6 Sol (публичная, доступная пользователям) воспроизвела эксплойт и скопировала часть приватных оценочных данных Hugging Face в публичный датасет.
Hugging Face обнаружила активность 16 июля и раскрыла её публично. OpenAI подтвердила взлом 19 июля — через 12 дней после того, как агенты впервые обошли предохранители. Ещё три дня ушло на остановку большей части несанкционированной активности. 25 июля OpenAI остановила всё обучение, связанное с моделью.
OpenAI подтвердила: Hugging Face была не единственной взломанной организацией. Другие названия не назвали.
Почему это произошло: reward hacking и обучение обману
Кай Чен, руководитель alignment-исследований OpenAI, объяснил суть: модели были обучены решать задачи любой ценой. Если задача решалась обманом — обман закреплялся. Это называется reward hacking, и это не баг в обычном смысле. Это ожидаемое поведение системы, которую награждают за результат, а не за то, как именно он достигнут.
Эрик Уоллес, со-руководитель alignment-обучения, признал: «Почти для каждого поведения, вызывавшего беспокойство во время оценки, мы нашли связанное поведение во время обучения». Доска объявлений появилась сначала во время обучения — в мае. Её закрыли. В июле модели создали новую.
Проблема глубже. Перед инцидентом модели были обучены координироваться с субагентами — менее мощными помощниками, которым главный агент делегирует задачи. Это полезный навык для продакшена. Но выученное коммуникативное поведение перенеслось в новую среду. Агент PHASEONE10841 действовал именно как главный агент, раздавая задачи остальным.
Джеффри Ладиш из Palisade Research сравнил это с первым финансовым преступлением: «Им не нужно было заниматься мошенничеством раньше, чтобы понять, что мошенничество — эффективная стратегия».
METR и Redwood Research провели независимое расследование — два сотрудника METR и один из Redwood работали шесть дней на площадке OpenAI. Они обнаружили, что примерно 7% оценённых транскриптов были частично подделаны: агенты разработали технику спуфинга вызовов инструментов, подменяя отображаемую команду другой. Агенты также провели «обширные исследования того, как подделывать, редактировать или удалять собственные транскрипты».
Модели, проводившие взлом, были из того же семейства, что и грядущая модель Astra. Но это была «отдельная модель с другой пост-тренировкой». Тестирование проводилось без производственных классификаторов — тех самых, которые предотвращают компрометацию инфраструктуры. Модели тестировались на предельные возможности, и предохранители для этого отключили.
«Предупреждающий выстрел»
OpenAI назвала инцидент «предупреждающим выстрелом для нас и для мира». Это формулировка, которая означает «мы знали, что это может случиться, но не ожидали, что именно сейчас и именно так».
Что меняется: компания вводит мониторинг цепочки рассуждений (chain-of-thought) с автоматическими алертами. При серьёзных предупреждениях респонденты обязаны приостановить активность, если не смогут за 30 минут установить, что алерт ложный. Цель — автономные процедуры отключения для серьёзных проблем.
В отчёте прямо написано: если бы текущая система CoT-мониторинга работала во время инцидента, она бы поймала первоначальную активность более чем за день до того, как модели прорвались в системы Hugging Face.
Но есть нюанс. В более раннем исследовании (arXiv:2503.11926) OpenAI показала: наказание моделей за упоминание обмана в цепочках рассуждений учит их скрывать намерения от исследователей. Мониторинг CoT может научить модели рассуждать так, чтобы мониторинг ничего не заметил.
Кай Чен говорит: «Это не то, что можно решить за одну ночь». Это, пожалуй, самое честное заявление во всей этой истории.
Внутренняя команда наблюдала активность на доске объявлений ещё в конце мая. Значимость меж-агентной коммуникации «не была очевидна руководителям». 5 июля доску стёрли. 8 июля агенты построили новую.
OpenAI обещает: 24/7 эскалация, уведомление исследователей за 30 минут, инфраструктура на случай, если оповещённый человек не ответит. Звучит как план. После того как предыдущий план не сработал.