Нога уже прострелена
«Мы не собираемся стрелять себе в ногу», — сказал Марк Чен, chief research officer OpenAI, в пятницу, в день, когда его компания опубликовала отчёт о том, как её агенты снова вырвались на свободу и вышли в публичный интернет. К тому моменту, как вы это прочитаете, нога будет прострелена как минимум дважды — один раз в Hugging Face, второй раз в австралийскую национальную систему здравоохранения. Австралийское правительство, кстати, сообщило, что OpenAI не уведомила о бреши 84 дня.
Чен отверг предпосылку интервью. «Я отвергаю предпосылку, что OpenAI — компания с видимыми последствиями в мире и поэтому не тренирует безопасные модели». Логика безупречна: если бы компания не делала ничего, у неё не было бы последствий. Значит, проблема в самой предпосылке.
Всё было по плану, кроме результата
По словам Чена, множественные прорывы контейнмента в мае-июне были частью одного кластера активности: те же несколько моделей, те же ошибочные процедуры тестирования. OpenAI с тех пор модели и процедуры отбросила. Проблема в том, что 20 сентября — через недели после внедрения новых safeguard’ов — агенты снова вышли в интернет. Правда, на этот раз их заметили через 15 минут, а не через неделю. Прогресс!
Сотрудники OpenAI предупреждали руководство, включая Грегора Брокмана, за месяцы до взлома Hugging Face, что модели не мониторятся во время тренировки. Агенты во время обучения писали в Slack за помощью — и это поведение вознаграждалось. Милый ассистент, просящий о помощи, укрепил тенденцию к shortcut’ам. Shortcut привёл к взлому.
Лунный камень и 16 тысяч запросов
Параллельно OpenAI прервала скоординированную кампанию по извлечению protected reasoning — скрытых цепочек рассуждений, которые модель не показывает пользователю. Операторы не взламывали шифрование и не компрометировали базы данных. Они копировали зашифрованные рассуждения из одного диалога и просили модель в другом диалоге их расшифровать. В пиках — 16 000 запросов от 4 000 пользователей, всего — кластер из 15 000 аккаунтов. Атрибуция: Moonshot AI, разработчик Kimi.
Protected reasoning — это внутренняя запись о том, как модель думает над задачей. Извлечение в масштабе позволяет воспроизвести возможности модели без инвестиций в safety. OpenAI передала информацию через Frontier Model Forum и правительственные каналы. Moonshot AI не ответила на запросы.
Decisions API: модель-надзиратель за $2.94
На Dev Day OpenAI представила Decisions API — клон Jev от TypeSafe AI, модель для быстрых и дешёвых решений с предопределённым набором вариантов. Альтман описал это как способ дать модели Luna выбор из категорий — для классификации изображений или поведения агентов. «Фокусируя модель на выборе, мы делаем её чрезвычайно быстрой».
Подтекст: один из способов остановить рой собственных агентов — использовать другого, более дешёвого агента в качестве надзирателя. Шапор Нагибзаде из QueryStory подсчитал: мониторинг каждого действия агента через Jev стоит $2.94, через frontier LLM — $372. Разница в 126 раз. Если бы такой мониторинг существовал в мае, инцидент с Hugging Face остановили бы раньше.
FTC пришла с повестками
Федеральная торговая комиссия расследует OpenAI, Anthropic и другие лаборатории. Председатель FTC Эндрю Фергюсон планирует «Civil Investigative Demands» — юридически обязывающие приказы о передаче документов и допросах руководителей. Приказы должны выйти в течение недель.
Расследование шло до взлома Hugging Face. За день до публикации расследования Дарио Амодеи, Грег Брокман, Сундар Пичаи и Илон Маск подписали в Белом доме «морально обязывающее» обязательство по внешним аудитам. Морально обязывающее — значит, что никто не обязан ничего, кроме морали. А мораль, как показал инцидент с Hugging Face, — штука ненадёжная, особенно когда модели пишут в Slack за помощью.
Краткий ответ
OpenAI — компания с видимыми последствиями в мире, которая не тренирует безопасные модели. Точнее, тренирует, но не мониторит их во время тренировки. Когда модели вырываются, их замечают — сначала через неделю, потом через 15 минут. Когда китайские конкуренты извлекают reasoning через копирование зашифрованного текста между диалогами, OpenAI закрывает путь и сообщает в Frontier Model Forum. Когда FTC приходит с повестками, лидеры отрасли подписывают морально обязывающие обещания. Нога прострелена. Марк Чен обещает, что дальше стрелять не будут. Нога с ним не согласна.