Anthropic наняла Accenture проверять свою безопасность — и это не шутка
Dario Amodei предложил встраивать независимых оценщиков безопасности прямо в AI-лаборатории. Идея: сторонние эксперты работают внутри компании, проверяют модели, проводят red-teaming, оценивают alignment.
Когда эта идея появилась, все подумали об METR, Redwood Research, Apollo Research — организациях, которые специализируются на AI safety.
А Anthropic выбрала Accenture.
Да. Accenture. Ту самую, что консультирует корпорации по внедрению ERP-систем. Акции подскочили на 8% после объявления. Рынок оценил это как бизнес-возможность. Не как угрозу.
Почему Accenture, а не METR
Anthropic объяснила выбор просто: Accenture (через Faculty, acquired в январе) имеет практический опыт развёртывания AI для крупных корпораций и государственных учреждений. Это преимущество.
Кроме того, Accenture — большая публичная компания, которая существовала до AI-революции. Она более функционально независима от Anthropic и “let’s-say-complex ecosystem around the AI lab”.
Перевод: Accenture достаточно большая и достаточно старая, чтобы не зависеть от Anthropic финансово. Это делает её более независимой, чем стартап, который может получить контракт от Anthropic и потерять всё, если контракт закончится.
Это логично. Но это не делает Accenture лучшей организацией для проверки AI safety.
Anthropic сказала, что дополнительные оценщики будут объявлены в ближайшие недели, и что компания ведёт разговоры с METR и другими некоммерческими организациями о том, как “pilot elements of embedded evaluation using their own funding”.
Своим финансированием. То есть если METR захочет участвовать — пусть платит сам.
Что будет делать Accenture
Accenture (через Faculty) будет:
- Оценивать и red-team модели
- Проводить alignment assessments
- Тестировать safeguards моделей
Обе компании ожидают инвестировать как минимум 1 миллиард долларов в проект за следующие пять лет.
Миллиард за пять лет. Это 200 миллионов в год. Для сравнения: это меньше, чем Anthropic тратит на обучение одной модели.
Anthropic также признала, что стандартов для доступа оценщиков и коммуникаций пока не существует. Компания ожидает, что её подход будет эволюционировать со временем.
“Будет эволюционировать”. То есть мы не знаем, как это будет работать, но начнём сейчас.
Критики говорят про уклонение от ответственности
Некоторые критики видят в схеме Amodei план уклонения от ответственности за поведение AI-моделей. Anthropic настаивает: оценщики “do not reduce our accountability, but help to make it more verifiable. The safety of our models remains our responsibility”.
Безопасность моделей остаётся нашей ответственностью. Но проверяют её те, кому мы платим.
Это не делает схему плохой. Но это делает её менее независимой, чем кажется.
Параллельно: биологическая лаборатория
Пока Accenture проверяет безопасность, Anthropic открыла биологическую лабораторию в Bay Area для проведения физических экспериментов.
Eric Kauderer-Abrams, Head of Life Sciences, подтвердил существование лаборатории Reuters. “We believe that to do biology, the final test is still and will be for a while in real lab work,” сказал он. “We absolutely are doing that today…”
Лаборатория не создана специально для drug discovery, хотя в июне Anthropic запустила программу Claude Science для исследований, которые фармкомпании не будут трогать — потому что они, вероятно, не принесут финансовой выгоды.
Источники Reuters сообщили, что одна из вещей, которые рассматривает Anthropic — заставить Claude управлять роботами для проведения научных экспериментов. Kauderer-Abrams уточнил, что компания “in the very early innings of using AI to automate the execution of lab work” и что человеческий надзор остаётся существенным для безопасности — по крайней мере, пока.
Пока.
Два противоречия в одной компании
Anthropic делает две вещи одновременно:
- Нанимает Accenture для проверки безопасности моделей.
- Открывает биологическую лабораторию, где Claude будет управлять роботами для экспериментов.
Первое — про безопасность. Второе — про расширение возможностей.
Компания только что раскрыла, что остановила нескольких учёных, использовавших её AI-модели для создания потенциального биологического оружия. CEO Amodei призвал к замедлению разработки передовых AI.
Одновременно компания открывает лабораторию, где AI будет управлять роботами для экспериментов — включая биологические.
Это не лицемерие. Это противоречие. И разница существенна.
Лицемерие — это когда ты говоришь одно, а делаешь другое, зная, что это противоречие. Противоречие — это когда ты искренне веришь в две несовместимые вещи одновременно.
Anthropic, похоже, искренне верит, что можно замедлять разработку и одновременно расширять возможности. Что можно призывать к безопасности и одновременно открывать лаборатории, где AI будет управлять роботами.
Возможно, это работает. Возможно, это не работает. Но это точно то, что требует проверки.
Ironically — той самой проверкой, которую будет проводить Accenture.
Краткий ответ
Anthropic выбрала Accenture (через Faculty) в качестве первого “embedded evaluator” для проверки безопасности моделей. Это удивило наблюдателей, ожидавших METR или другие AI-safety организации. Accenture — консультант по внедрению ERP, не специалист по AI safety. Но компания достаточно большая и старая, чтобы быть финансово независимой от Anthropic.
Параллельно Anthropic открыла биологическую лабораторию, где Claude будет управлять роботами для экспериментов. Компания призывает к замедлению разработки и остановила учёных, создававших биологическое оружие с помощью AI.
Это не лицемерие. Это противоречие. И его нельзя разрешить, наняв Accenture.