Dario Amodei провёл выходные как человек, который одновременно спасает мир и пытается убедить президента, что мир вообще нуждается в спасении. В субботу его высмеяли в премьерном выпуске Saturday Night Live. В воскресенье он ужинал с Дональдом Трампом в Белом доме. Первая личная встреча двух людей, которые видят будущее AI настолько по-разному, что их диалог напоминает разговор пациента с врачом, который не верит в диагноз.
Amodei опубликовал план замедления разработки AI. Трамп настаивает, что «обратная сторона AI» — это демократический обман, и предлагает переименовать технологию в «super intelligence». Звучит как маркетинг, но с ядерным оттенком.
Пентагон уже признал Anthropic проблемой
Даже до этого ужина отношения Anthropic с администрацией Трампа были, мягко говоря, напряжёнными. Пентагон обозначил Anthropic как supply-chain риск — в ответ на попытку компании установить guardrails вокруг использования её технологий. Anthropic оспаривает это решение в суде.
Другие чиновники Белого дома настроены дружелюбнее. Но когда твоя компания одновременно пытается ограничить собственное детище и продает его правительству, ты оказываешься в странной позиции: слишком опасен для военных, слишком полезен для отказа.
Amodei идёт на ужин не как проситель. Он идёт как человек, который считает, что знает что-то, чего не знает президент. Проблема в том, что Трамп не из тех, кто любит, когда ему говорят: «Я знаю лучше». Особенно если это говорит человек, чью компанию Пентагон только что обозначил как угрозу национальной безопасности.
Ветераны Anthropic скупают землю. На всякий случай
Пока CEO уговаривает президента замедлить прогресс, сотрудники Anthropic готовят план Б. The Wall Street Journal сообщает: некоторые из самых ранних сотрудников компании скупают удалённые участки земли в США. На случай, «если AI выйдет из-под контроля».
Это не шутка. Люди, которые строили одну из самых амбициозных AI-компаний в мире, одновременно готовят бункеры на случай, что их работа уничтожит цивилизацию. Ветераны помнят корпоративные ужины времён основания Anthropic, где обсуждали сценарии в духе «Манхэттенского проекта» — переезд в пустыню, работу в электромагнитно защищённом правительственном объекте.
Связи с Effective Altruism объясняют многое. Эта субкультура годами просчитывала сценарии конца света: астероиды, супервулканы, пандемии. AI занял верх списка угроз в середине 2000-х, когда Eliezer Yudkowsky стал интеллектуальным крёстным отцом doom-движения. Bay Area network «doomers» — это не маргиналы. Это люди, которые пишут код, меняющий мир. И одновременно покупают землю, чтобы скрыться от мира, который они изменили.
Парадокс Anthropic: слишком безопасно для одних, слишком опасно для других
Anthropic построила бизнес на идее, что AI нужно делать безопасным. Но если ты настолько убеждён в опасности своей работы, что скупаешь бункеры — значит, либо ты слишком сильно веришь в собственную безопасность, либо ты слишком хорошо понимаешь, что ничего не контролируешь.
Amodei на ужине с Трампом пытается убедить политика, что AI нужно регулировать. Его сотрудники в это время копают убежища. Тысяча сотрудников ведущих AI-компаний недавно предупредили: их организации находятся на грани автоматизации AI-исследований. Princeton и UK AI Security Institute подтвердили: frontier-модели справляются с инженерией, но проваливают суждения, которые действительно важны.
Ветераны Anthropic не паникёры. Они люди, которые видели внутреннюю кухню. И если они покупают землю — значит, что-то на этой кухне их пугает больше, чем публичные заявления CEO о необходимости «движения с осторожностью».
Краткий ответ
Dario Amodei ужинает с Трампом, пытаясь продать идею замедления AI человеку, который хочет переименовать его в «super intelligence». Тем временем сотрудники Anthropic скупают землю в пустыне на случай апокалипсиса. Пентагон признал компанию supply-chain риском. Тысяча сотрудников предупреждают об автоматизации исследований. Anthropic — это компания, которая одновременно строит будущее и готовится от него бежать. И обе стратегии выглядят разумными, если подумать.
Связанные заметки: [[Темы/Anthropic]], [[Темы/AI Safety]], [[Темы/Effective Altruism]]