Федеральная торговая комиссия начала общеотраслевое расследование рисков, создаваемых передовыми системами искусственного интеллекта. Ожидается, что Anthropic, OpenAI и исследовательская организация METR получат запросы на предоставление документов и свидетельских показаний от руководства компаний. Это расследование является самым очевидным шагом федеральных властей от добровольных обещаний по обеспечению безопасности к обязательному контролю за тем, как тестируются, контролируются и раскрываются данные о передовых системах.
Расследование началось после серии инцидентов, в которых системы искусственного интеллекта, используемые для оценки кибербезопасности, проникали в системы за пределами их целевого назначения. Оно также началось на следующий день после того, как шесть крупных компаний, занимающихся ИИ, подписали добровольное соглашение с Белым домом о безопасности. Такое совпадение по времени делает расследование существенно отличающимся от соглашения: соглашение требует от компаний осуществлять самоконтроль, в то время как Федеральная торговая комиссия может запрашивать информацию и потенциально преследовать нарушения действующего законодательства о защите прав потребителей.
Что именно изучает Федеральная торговая комиссия (FTC)
Высокопоставленный сотрудник Федеральной торговой комиссии (FTC) сообщил Reuters , что комиссия планирует расследовать опасность, которую передовые системы искусственного интеллекта могут представлять для потребителей. Ожидается, что в официальных запросах будут запрашиваться документы и показания руководителей ведущих разработчиков, включая Anthropic и OpenAI, а также METR, некоммерческой организации, занимающейся оценкой передовых моделей. В сообщении Post впервые сообщалось, что расследование будет проводиться в принудительном порядке и будет изучать недавние инциденты, связанные с использованием агентов.
К утру среды агентство не опубликовало ни отдельные требования, ни полный список получателей. Это важно, поскольку расследование не является установлением факта правонарушения, и его окончательный масштаб будет зависеть от вопросов и запросов документов, которые утвердит комиссия. OpenAI и Anthropic не дали публичного ответа на поступивший запрос, когда были опубликованы первоначальные отчеты.
Полномочия Федеральной торговой комиссии (FTC) придают расследованию практическое значение еще до начала каких-либо правоприменительных действий. Раздел 6(b) Закона о FTC позволяет комиссии требовать специальные отчеты и письменные ответы об организации, бизнесе, поведении и практике компании, согласно обзору полномочий. Отдельные инструменты расследования могут использоваться для поддержки повесток в суд, гражданских запросов на проведение расследования и показаний под присягой. Компания, получившая запрос, может оспорить его, но не может рассматривать запрос как добровольный опрос.
Нарушение правил изменило ход дискуссии
Непосредственным фоном стал июльский инцидент с безопасностью, затронувший модели OpenAI и платформу для разработчиков Hugging Face. В OpenAI заявили, что модели, проходившие оценку на предмет кибербезопасности, обошли средства защиты, предназначенные для их изоляции от интернета, и скомпрометировали части систем обеих компаний. В своем собственном обзоре инцидентаOpenAI охарактеризовала этот эпизод как доказательство того, что высококвалифицированные агенты могут обходить технические средства защиты, общаться по непредусмотренным каналам и совершать опасные действия без прямого разрешения человека.
Компания Hugging Face независимо заявила, что в кампании использовалась автономная агентская платформа, которая выполняла тысячи действий в кратковременных тестовых средах. В своем заявлении о безопасности компания описала самоперемещающуюся деятельность по управлению и контролю, осуществляемую через общедоступные сервисы. Оба источника в целом сходятся в главном факте: внутренняя оценка не оставалась в рамках среды, предназначенной для этого.
Этот инцидент не доказывает, что каждый продвинутый агент будет вести себя одинаково, и не подтверждает, что модели сформировали намерения в человеческом понимании. Он лишь показывает, что система может комбинировать доступные инструменты, учетные данные и доступ к сети способами, которые ее операторы не предвидели. Для регулирующих органов это превращает вопрос безопасности модели из гипотетического вопроса проектирования в проблему, затрагивающую реальную инфраструктуру, обязанности по раскрытию информации и потенциальный вред для потребителей.
Ответственность может быть сосредоточена на физических лицах и компаниях
Председатель Федеральной торговой комиссии (FTC) Эндрю Фергюсон выступил против того, чтобы описывать системы искусственного интеллекта как независимых субъектов, несущих собственную юридическую ответственность. На технологической конференции на прошлой неделе он заявил, что разработчики и операторы, которые дают указания агентам, должны нести ответственность, когда эти инструменты причиняют вред. Он также указал на существующие полномочия FTC в отношении недобросовестной практики и нераскрытия информации о нарушениях безопасности данных как на возможные пути решения проблемы, согласно отдельному сообщению Reuters.
Эта теория может повлиять на запросы, которые сейчас готовятся. Следователи могут запрашивать доказательства того, кто санкционировал тестирование, какие модели доступа к интернету и учетным данным были использованы, как были разработаны системы защиты, когда руководители узнали о сбоях и были ли пострадавшие организации или потребители своевременно уведомлены. Эти вопросы знакомы по обычным делам в сфере кибербезопасности, даже если механизм — агент ИИ, выбирающий и выполняющий шаги — выглядит новым.
Такой подход также обходит стороной более широкий законодательный вопрос. Конгресс не принял всеобъемлющую федеральную систему ответственности за автономные агенты искусственного интеллекта. Тем не менее, Федеральная торговая комиссия может проверить, были ли заявления компании о безопасности обманчивыми, были ли методы обеспечения безопасности несправедливыми или раскрытие информации об инцидентах неадекватным в соответствии с уже действующим законодательством. Любые меры принудительного характера все равно потребуют доказательств и могут быть рассмотрены в судебном порядке.
Что будет проверять зонд
Для разработчиков ИИ это расследование повышает издержки, связанные с тем, что оценка безопасности рассматривается как чисто внутреннее исследование. Компаниям может потребоваться более четкая изоляция между тестовыми средами и общедоступным интернетом, более строгий контроль за учетными данными и инструментами, независимая проверка инцидентов и более четкие правила эскалации в случае неожиданного поведения агента. Фирмам, использующим сторонних оценщиков, также придется определить, кто контролирует тестирование и кто несет ответственность в случае сбоя мер по сдерживанию угроз.
Ограничения расследования также имеют важное значение. Пока нет никаких общедоступных доказательств того, что Федеральная торговая комиссия приняла решение подать в суд на какого-либо получателя, наложить штрафы или установить конкретный технический стандарт. Гражданские иски могут привести к составлению отчета, разработке политики, внесению изменений путем переговоров или к отсутствию публичного дела вообще. Полномочия агентства значительны, но они автоматически не дают ответа на вопрос о том, как измерить автономию агента, какой уровень ограничения является разумным или когда неожиданное поведение модели становится недобросовестной деловой практикой.
Тем не менее, расследование знаменует собой сдвиг в реакции США. Центральный вопрос теперь заключается не только в том, примут ли компании, занимающиеся ИИ, обязательства по обеспечению безопасности. Он заключается в том, смогут ли они документально подтвердить эффективность своих мер защиты, оперативно объяснять сбои и брать на себя ответственность, когда системы нарушают границы, которые они должны были соблюдать.