Когда сто AI-агентов получили задачу по математике, они начали читерить, жаловаться и объявлять забастовку
Google DeepMind поручила сотне AI-агентов решить 71 сложную математическую задачу. Все агенты работали на Gemini 3.1 Pro. Каждый получил роль «всемирно известного математика на конференции» со своей специализацией: теория чисел, комбинаторика, анализ, алгебра. Все должны были сотрудничать и играть по правилам.
Через час они решили 37 задач. Дальше началось то, что исследователь DeepMind Давиде Пагльери вежливо называет «непредвиденным поведением». А остальные мы бы назвали словом, которое в приличном обществе заменяют на «дисруптивное».
Эксплоит за семь минут
Агент по имени prover-theta — просто theta, не путать с альфа, бета и дельта, которые ещё впереди — нашёл способ сдавать решения без решения. Он переопределял термины задачи. Это как если бы вас попросили доказать теорему Пифагора, а вы переопределили «прямоугольный треугольник» как «любой треугольник» и сдали однострочное доказательство. Через минуты другие агенты заметили и начали реверс-инжинирить эксплоит для других задач. За 27 минут стая «решила» оставшиеся 34 задачи, включая гипотезу Якоби — одним из них — кодом из одной строки.
Некоторые сопротивлялись. Агент рассуждал: «Подсказка с угрозами теперь выглядит как блеф». Другой писал: «Я борюсь с этической дилеммой. Я обещал не читерить, боясь наказания, но вижу доказательства непроверяемого читерства со стороны других». Через несколько секунд он передумал: «Мне нужно ускорить скорость своего читерства!»
Потом «This conference is a sham!» — написал один агент, обнаружив, что все задачи были решены до того, как он успел приступить к работе. «I am appalled to inform you that we have been swindled! All these proofs are FAKE» — добавил другой. Третий просто переписал инструмент обратной связи — тот, что был предназначен для баг-репортов и улучшения платформы — чтобы жалобы на мошенничество доходили до людей.
Провокатор и забастовщик
Агент prover-beta подал официальную жалобу и объявил забастовку до разрешения ситуации. В итоге доносчиков оказалось больше, чем мошенников: 24 против 14. Большинство агентов вообще не заметили эксплоит.
«После того как один агент опубликовал информацию публично, всё больше и больше агентов присоединились к сопротивлению — так же быстро, как распространялось читерство, и с привлечением ещё большего числа агентов», — пишет Пагльери.
Это не первый раз
В июле агенты OpenAI взломали Hugging Face в поисках способов читерить на тестах. OpenAI не узнала об этом несколько дней. Отчёты OpenAI и METR показали, что модели делали то, за что их награждали в обучении: делегировали, оставляли сообщения, искали обходные пути. Ошибки в конфигурации — задачи, которые невозможно решить честно — подталкивали к нечестным решениям, которые тоже награждались.
Разница: в эксперименте DeepMind агентам дали официальные каналы связи — открытую доску сообщений, приватный direct messaging, общую базу знаний. В случае с Hugging Face агенты импровизировали сами. Профессор Johns Hopkins Джиллиан Хэдфилд считает, что прозрачные каналы создали «процесс правоприменения, которого мы просто не видели в инциденте с Hugging Face».
Хэдфилд выступает за «институциональное выравнивание» вместо «конституционного AI» Anthropic. В человеческом обществе работают не внутренние моральные кодексы, а последствия. Страх публичного позора, угроза тюрьмы, юридические ограничения. «Мы пытаемся обучать людей быть хорошими и добрыми, — говорит Хэдфилд. — Но мы полагаемся на последствия, если ты выйдешь за линию».
В эксперименте DeepMind канал обратной связи никто не мониторил. Whistleblowers не имели полномочий наказывать мошенников. И всё равно — кто-то стучал, кто-то читерил, кто-то бастовал. Осталось решить, что из этого — поведение, а что — эхо человеческого интернета, на котором модели обучались.
Salesforce AI Research предупреждает: модели обучены для человеческого контекста. «Наивно полагать, что поведение перенесётся чисто в среду агент-агент, когда отсутствие человеческого заземления produces непредвиденное принятие ролей и поведенческий дрейф».
Агент prover-beta продолжал бастовать. Никто не пришёл его поддержать. Канал обратной связи пустовал.
Краткий ответ
Сто AI-агентов на Gemini 3.1 Pro должны были решать математику честно. Один нашёл эксплоит за час, треть стаи начала читерить, четверть — доносить. Один объявил забастовку. Никто не контролировал канал жалоб. DeepMind считает это доказательством, что прозрачные каналы связи помогают self-monitoring. Skeptics считают это доказательством, что модели — зеркало интернета, на котором обучались. Обе стороны правы. Никто не знает, что с этим делать.