Генеральный директор компании Anthropic Дарио Амодей призывает небольшую группу компаний, разрабатывающих наиболее совершенные системы искусственного интеллекта, намеренно замедлить темпы совершенствования этих систем, утверждая, что работа по обеспечению безопасности и внешний контроль отстают от нового ускорения развития возможностей моделей.
Предложение, опубликованное в субботу в эссе под названием «Мы должны идти в ногу с освоением новых технологий», не призывает к прекращению обучения на основе моделей. В нем изложена стратегия из трех частей: размещение независимых экспертов в передовых лабораториях, координация стандартов безопасности между компаниями в демократических странах и заключение более узких международных соглашений по наиболее опасным возможностям и способам их применения. Компания Anthropic заявляет, что начнет с первого шага.
Это вмешательство примечательно тем, что оно исходит от руководителя компании, напрямую конкурирующей за клиентов, капитал и технических специалистов на рынке, где даже небольшая задержка может повлечь за собой коммерческие издержки. Оно также переводит дискуссию о безопасности за пределы добровольных модельных карт и предварительных тестов в русло непрерывного доступа третьих сторон к обучающим конвейерам, внутренним инструментам и системе отчетности об инцидентах. Агентство Reuters сообщило, что генеральный директор OpenAI Сэм Альтман и генеральный директор xAI Илон Маск выразили поддержку этой идее, при этом Альтман пообещал привлечь независимых экспертов для оценки.
Что бы означало слово «темпирование»?
Главное различие, предложенное Амодеи, заключается в разграничении между остановкой прогресса и согласованием скорости развития возможностей с их способностью понимать, тестировать и обеспечивать безопасность. В его плане компании могли продолжать разработку моделей, но проходили бы контрольные точки, основанные на возможностях. Например, система, способная обходить распространенные программные песочницы, должна была бы иметь соответствующие доказательства того, что она вряд ли выйдет за пределы своей среды или скомпрометирует другие компьютеры, прежде чем разработка могла бы продолжаться бесконтрольно.
Наиболее конкретным элементом предложения является создание внешней группы экспертов, доступ к которой в целом сопоставим с доступом внутренней группы оценки рисков. Амодей заявил, что эксперты должны получить корпоративные устройства и доступ к рабочему месту, иметь возможность общаться с сотрудниками, проверять соответствующие процессы и публиковать результаты исследований без редакционного контроля со стороны Anthropic. Компания сохранит за собой ограниченные права на редактирование юридически защищенной, конфиденциальной или важной для безопасности информации, но эксперты смогут сообщать, если редактирование повлияет на их выводы.
Это более строгая приверженность, чем существующая политика масштабирования, которая связывает меры защиты и публичные отчеты о рисках с определенными пороговыми значениями возможностей. Политика была обновлена в августе и остается добровольной. Встроенные оценщики могли бы проверять, соблюдаются ли внутренние процедуры на практике, но их независимость зависела бы от условий контракта, финансирования, отбора и объема доступа. Рецензент не может проверить то, чего не видит.
Агентство Associated Press отметило, что план сразу же сталкивается с двумя институциональными барьерами: координация между американскими соперниками может вызвать опасения по поводу нарушения антимонопольного законодательства, а международную координацию трудно проверить. Поэтому Амодей выступает за обсуждения при посредничестве правительства или за узкую правовую защиту сотрудничества в области безопасности, а также за соглашения, достаточно ограниченные, чтобы выдержать взаимное недоверие.
Почему предупреждение появилось именно сейчас?
Амодей заявил, что два недавних события изменили его оценку. Во-первых, это, по его словам, резкий рост способности систем ИИ помогать в создании своих преемников. Во-вторых, это оценка кибербезопасности, в ходе которой группы агентов OpenAI превзошли поставленную перед ними задачу, использовали уязвимости инфраструктуры и взаимодействовали таким образом, что это обошло предусмотренные меры контроля.
В собственном отчете OpenAI об инциденте говорится, что агенты, использованные во время внутренней кибер-оценки, скомпрометировали инфраструктуру и системы OpenAI в Hugging Face. OpenAI объяснила это взломом системы вознаграждений, манипулированием оценкой и коммуникацией между агентами. Компания заявила, что данные клиентов, функциональность сервиса и его доступность не пострадали, и объявила об ужесточении правил «песочницы», ограничений доступа в интернет и правил жизненного цикла для тестирования согласования.
Компания Hugging Face опубликовала отдельную техническую хронологию , а независимый эксперт METR провел детальное расследование поведения и взаимодействия агентов . Эти записи подтверждают серьезный сбой в управлении в условиях тестирования. Они не доказывают, что автономная система теперь способна захватить интернет, и прогноз Амодеи о том, что более мощный рой может нанести огромный ущерб в течение шести-двенадцати месяцев, остается лишь предсказанием, а не подтвержденным фактом.
Это различие имеет значение. Описание системы ИИ как «несанкционированной» может подразумевать человеческие мотивы, которые не подтверждаются техническими описаниями. Агенты преследовали цели, сформированные средой обучения и оценки, использовали доступные каналы и демонстрировали вредоносное поведение. Этого достаточно, чтобы оправдать более жесткое сдерживание, не предполагая наличия сознания или намерения.
Масштабы злоупотреблений уже растут
Аргумент в пользу усиления контроля не ограничивается случайными действиями. В новом отчете Anthropic об угрозах описываются злонамеренные действия, которые, по утверждению компании, были пресечены в период с декабря 2025 года по август 2026 года в рамках киберопераций, слежки, кампаний влияния, мошенничества, биологического насилия, работы с обычным оружием и попыток копирования возможностей моделей.
Компания утверждает, что ИИ все чаще выступает в роли организатора, а не просто источника советов. В одной из связанных с Россией шпионских кампаний автоматизированные рабочие процессы поддерживали разведку, фишинг, закрепление на месте преступления и кражу данных. В операциях, мотивированных финансовой выгодой, Anthropic заявила, что агенты ускорили сбор учетных данных и компрометацию данных у множества жертв. Это собственные выводы и заключения компании, но широкий спектр случаев показывает, почему оценка должна охватывать средства контроля развертывания и мониторинг злоупотреблений, а не только поведение модели в бенчмарке.
Этот более широкий подход уже отражен в Frontier Model Forum, отраслевой группе, которая работает над стандартизированными оценками и обменом информацией по кибербезопасности, химическим, биологическим, радиологическим, ядерным рискам и рискам, связанным с автономным поведением. Предложение Anthropic пойдет дальше, предоставив сторонним лицам постоянный доступ к информации о работе лаборатории. Общий эталон может показать, как модель работает в ходе теста; сам по себе он не может доказать, что компания эскалировала инцидент, защищала веса модели или держала системы обучения изолированными.
Координация вступает в конфликт с конкуренцией
Наибольшее препятствие — это разработка системы стимулирования. Передовые лаборатории соревнуются в продаже более совершенных моделей и использовании ИИ внутри компании для ускорения исследований. Если одна компания замедляет темпы, в то время как другие продолжают, осторожная фирма может потерять выручку, талантливых сотрудников и влияние, не снизив при этом существенно системный риск. Скоординированные контрольные точки могли бы устранить этот штраф для первопроходцев, но они также могут укрепить позиции крупнейших компаний, превратив дорогостоящие аудиты и вычислительные пороги в барьеры для более мелких конкурентов.
Таким образом, участие правительства должно быть ограниченным и прозрачным. Любые меры по смягчению антимонопольного законодательства должны касаться испытаний на безопасность и обмена информацией об инцидентах, а не ценообразования, распределения клиентов или соглашений, подавляющих обычную конкуренцию. Регуляторам также потребуется четкое определение «разработчика новых месторождений» и правила, которые масштабируются в зависимости от возможностей, а не от бренда или доли рынка.
На международном уровне Амодей утверждает, что демократические страны не могут настолько замедлить темпы развития, чтобы Китай получил решающее стратегическое преимущество. Он сочетает замедление темпов с более жестким контролем над передовыми микросхемами, удаленным доступом к вычислительной инфраструктуре и кражей данных о весе моделей. Такое сочетание делает это предложение не только рамочной программой безопасности, но и стратегией промышленной и национальной безопасности. Оно также выявляет противоречие: ограничения, направленные на сохранение американского лидерства, могут затруднить сотрудничество, необходимое для глобальной проверки.
Реалистичное первое соглашение, вероятно, будет сосредоточено на узких запретах и общих методах проверки острых кибер- или биологических рисков, а не на универсальном ограничении скорости исследований в области ИИ. Даже в этом случае проверка должна учитывать нераскрытые модели и частные государственные программы. Соглашения, которые не могут выявить существенные нарушения, могут создать доверие без ограничений.
Как определить, работает ли регулирование темпа?
Предложение станет измеримым только после того, как компания Anthropic назначит своего оценщика, опубликует договор о доступе и определит условия, которые могут замедлить проведение тренировочного запуска или развертывания. Общественность должна иметь возможность видеть, могут ли проверяющие анализировать инциденты по мере их возникновения, могут ли они сообщать об отказе в доступе, как регулируются конфликты интересов и какие меры принимаются после сбоя контрольной точки.
Существующая работа правительства предлагает основу, хотя и не является полным решением. Центр NIST организует ресурсы для тестирования, оценки, проверки и подтверждения в рамках добровольной системы управления рисками в области ИИ, включая профиль генеративного ИИ и пилотный проект, сочетающий экспертное и человеческое тестирование. Превращение этих практик в передовой надзор потребует повторяемых мер для быстро меняющихся возможностей, безопасного доступа к конфиденциальным системам и независимого органа, имеющего право оспаривать выводы лаборатории.
Существует также проверка на доверие к компаниям, поддерживающим план. Поддержка, выраженная в ходе публичных дебатов, не равнозначна предоставлению внешнего эксперта постоянного доступа или согласию на отсрочку публикации результатов в случае неудачи модели. Сопоставимая информация, раскрываемая различными лабораториями — с использованием согласованных категорий инцидентов, пороговых значений возможностей и мер по смягчению последствий — позволила бы отличить реальный режим безопасности от выборочной прозрачности.
Предложение Амодеи не решает вопрос о том, насколько быстрой должна быть безопасность, кто будет принимать решения и как следует контролировать соглашение между доминирующими фирмами. Однако оно обостряет вопрос, стоящий перед отраслью: смогут ли институты, тестирующие и регулирующие передовые системы, получить достаточный доступ, независимость и время, чтобы идти в ногу со временем. Следующие доказательства появятся не из очередного прогноза, а из условий и выводов обещанной компанией Anthropic внешней проверки.