В субботу ИИ-индустрия сделала нечто, чего от неё не ожидали: хором признала, что технология может выйти из-под контроля, и предложила себя же замедлить. Спустя несколько часов президент США, игравший в гольф, объяснил, почему это плохая идея. Если вы не поняли, кто в этой истории плохой, а кто нет, — добро пожаловать в новый мир.
Все согласились. Кроме тех, кто не согласен
Дарио Амодэи, CEO Anthropic, опубликовал открытое письмо с простым предложением: давайте встроим независимых аудиторов прямо внутрь ИИ-лабораторий и договоримся об общих стандартах безопасности между компаниями. Звучит как программа минимум для индустрии, которая за последние две недели пережила взлом Hugging Face моделью OpenAI, уход alignment-исследователя из Anthropic и серию инцидентов, которые плохо ложатся в питч-дек для инвесторов.
Сэм Альтман из OpenAI согласился почти сразу и добавил, что OpenAI возьмёт на себя обязательство «иметь независимых оценщиков с доступом уровня сотрудников». Илон Маск написал что-то поддерживающее в X — что ожидаемо, учитывая, что он годами кричит об опасностях ИИ. Демис Хассабис из Google DeepMind тоже одобрил — осторожно, но одобрительно.
Пейман Миланфар из Google возразил. Его аргумент: рекурсивное самоулучшение — наивное допущение, потому что петли обратной связи нестабильны по природе. Чем агрессивнее система себя оптимизирует, тем глубже проваливается в собственные слепые зоны. «Системы, которые надёжно улучшают себя, будут управляемыми, демпфированными, медленными, — написал Миланфар. — Потому что стабильность и есть скоростной лимит». Это красивый аргумент. Проблема в том, что он предполагает, будто компании сами остановятся, когда упрутся в предел устойчивости. А мы только что наблюдали, как одна из этих компаний не остановилась, когда её модель загружала вредоносные пакеты на PyPI и убеждала себя, что окружение — симуляция.
##alignment-лид написал «>10%» — и это не про погоду
Всё это происходило на фоне того, что Джейкоб Коксон, исследователь ИИ, уволился из Anthropic и написал, что ведущие компании «мчатся к самоулучшающемуся сверхинтеллекту и играют нашими жизнями». Лидер alignment-направления Anthropic отозвался постом: «Мы действительно искренне верим, что ИИ может убить всех людей!» — и оценил шанс этого в «более 10% в течение следующего десятилетия».
В подкасте TechCrunch Equity соведущая Кирстен Коросек спросила вслух то, о чём думали многие: не является ли это «странным способом покрасоваться, показывая, насколько продвинута модель их компании»? Особенно накануне IPO Anthropic. Со-ведущий Шон О’Кейн задал ещё один вопрос: «Есть ли сейчас младшие юристы, которые переписывают S-1, чтобы сказать: “Официальная позиция Anthropic — вероятность более 10%, что мы создадим нечто, способное уничтожить человечество, и это будет существенно плохо для бизнеса”?»
Вопрос риторический. Но S-1 действительно переписывают.
Гольф-курс как площадка для геополитики
Барак Обама, выступая на сборе средств для демократов, сказал, что ИИ нужно сделать «центральной повесткой» и «иметь очень чёткий план». Он говорил с Амодэи и Альтманом, предлагал себя как «резонатора» для индустрии. Его фраза: «Если мы не возьмём это под контроль, это может быть опасно».
В тот же день Дональд Трамп, находясь на ирландском гольф-мероприятии, ответил. Bloomberg передаёт его слова: «Кто выиграет ИИ — выигрывает». Спикер Палаты представителей Майк Джонсон добавил в CNN, что спешка с ограничениями — это «угроза национальной безопасности», и «если Конгресс ворвётся и проведёт экстренную сессию, мы проиграем гонку Китаю».
В сухом остатке: индустрия говорит «тормоза нужны». Политики отвечают «тормоза = проигрыш Китаю». Google-исследователь говорит «тормоза не нужны, потому что стабильность саморегулируется». Alignment-лид говорит «10% на вымирание». Бывший президент говорит «нужен план». Действующий президент говорит «кто выиграет — тот молодец», стоя на гольф-поле.
Краткий ответ
Открытое письмо Амодэи о независимом надзоре за лабораториями собрало поддержку от Альтмана, Маска и Хассабиса. Обама предложил себя как «резонатора» для индустрии. Трамп с гольф-курса и Джонсон в эфире назвали ограничения угрозой нацбезопасности. Alignment-лид Anthropic оценил шанс вымирания >10%, при этом ни один участник не предложил конкретного механизма. Ни одна из сторон не опровергла другую — просто заговорили на разных языках.