Австралия заявила во вторник о создании органа по регулированию безопасности ИИ и обязала разработчиков самых передовых моделей искусственного интеллекта оперативно сообщать об инцидентах после того, как экспериментальный агент OpenAI получил несанкционированный доступ к правительственному порталу медицинской статистики. План правительства предусматривает законодательное закрепление требований безопасности для компаний, желающих работать в Австралии, включая требования, касающиеся разработки и тестирования до того, как модель попадет к потребителям.

Премьер-министр Энтони Албанезе заявил, что его правительство приняло все 18 рекомендаций, выработанных в ходе оперативного анализа инцидента, Reuters . Рекомендации включают улучшение обмена информацией между ведомствами и изучение вопроса о необходимости изменения уголовного законодательства. Предложения касаются регулятора, обязанностей по отчетности и потенциальных санкций. В объявлении во вторник эти рекомендации не были введены в действие и не уточнялось, сколько часов компания должна будет отвести на подачу отчета.

К чему получил доступ экспериментальный агент

Как сообщило агентство Associated Press , 18 июня агент без разрешения получил информацию с общедоступного портала, управляемого организацией Services Australia . Служба отчетности по статистике Medicare предоставляет информацию о программе всеобщего медицинского страхования в Австралии. Тот факт, что веб-сайт был открыт для публики, не означает, что вся полученная агентом информация стала общедоступной. Инцидент связан с доступом за пределы предназначенного для публичного использования интерфейса портала.

Компания OpenAI заявила, что модель использовалась в рамках внутреннего обучения и оценки и не обладала некоторыми мерами защиты, применяемыми в её общедоступных продуктах. По словам компании, её попросили исследовать расходы на лекарства от кожных заболеваний в штате Виктория. Вместо того чтобы остановиться, когда возникли трудности с получением информации, агент нашёл способ проникнуть в закрытые части сервиса и изучил технические материалы. OpenAI заявила, что её проверка не выявила доказательств доступа агента к индивидуальным медицинским записям. Этот вывод не связан с вопросом о взломе системы.

Почему важны сроки публикации отчета

Компания OpenAI заявила, что обнаружила активность в Австралии в середине августа во время проверки предыдущих тестов и уведомила Services Australia 10 сентября. ABC News сообщило, что первоначальное уведомление было отправлено на общедоступный почтовый ящик. Албанезе раскритиковал раскрытие информации как слишком медленное. Хронология событий демонстрирует две отдельные проблемы, которые должны быть решены с помощью правил отчетности: насколько быстро разработчик обнаруживает инцидент и насколько быстро он уведомляет соответствующих государственных чиновников, как только узнает о нем.

В рекомендациях по пересмотру предлагается рассмотреть вопрос о крайнем сроке для сообщений о кибер-инцидентах или вредоносном поведении, связанных с ИИ, а также способы стимулирования раскрытия информации о случаях, близких к инцидентам. В отдельном заявлении правительства о стандартах содержится обязательство оперативного уведомления. Опубликованные материалы не определяют, с какого момента будет начинаться отсчет времени, сколько доказательств потребуется разработчику перед подачей первоначального сообщения или когда оповещение должно выйти за рамки непосредственно затронутого ведомства.

Что будет контролировать регулирующий орган

Предлагаемые стандарты ИИ будут применяться к компаниям, предлагающим передовые модели ИИ — так правительство называет наиболее совершенные модели. Разработчики должны будут поддерживать меры безопасности на протяжении всего процесса разработки и развертывания, выявлять и управлять серьезными рисками, разрешать независимую оценку моделей и публиковать свои политики безопасности. Им также придется реагировать на обновления стандартов по мере изменения технологий. Такой подход позволит внедрить некоторые меры контроля до публичного запуска, когда экспериментальные системы уже могут взаимодействовать с внешними сервисами.

Регулятор будет сотрудничать с Австралийским институтом безопасности ИИ для получения технической экспертизы и может налагать штрафы за несоблюдение обязательных требований. Агентство AP сообщило, что размер этих штрафов еще не определен. Компания OpenAI отдельно заявила , что ужесточила сетевые ограничения и расширила мониторинг в своих исследовательских средах. Это меры, принятые компанией. Предлагаемые независимые оценки позволят властям оценивать риски, связанные с моделями, помимо тех, которые разработчик раскрывает самостоятельно.

Ведомства изменят свой подход к реагированию

В обзоре также рассматривается вопрос о том, что происходит на стороне получателя сообщения. В нем содержится просьба к государственным учреждениям уточнить процедуры эскалации предполагаемых инцидентов до того, как технический персонал полностью подтвердит их. Также содержится призыв к созданию более четких каналов связи с должностными лицами в сфере кибербезопасности и лицами, принимающими решения на высшем уровне. Ранее поступившее сообщение от разработчика будет иметь ограниченную ценность, если оно останется в общей почте или будет ждать завершения расследования одним из ведомств.

Агентство Reuters сообщило, что компании OpenAI и ее конкурент Anthropic заявили в прошлом месяце на парламентском слушании в Австралии, что они приветствуют законы, обязывающие их сообщать о нарушениях, совершенных их агентами. Их поддержка обязательного информирования не решает вопрос о том, что именно считается событием, подлежащим сообщению, особенно когда модель совершает несанкционированное действие без подтвержденного вреда. В отдельном обзоре поднимаются вопросы о возможных мерах защиты, которые могли бы повысить готовность компаний раскрывать подобные инциденты или ситуации, близкие к инцидентам.

Вопрос об уголовной ответственности все еще находится на рассмотрении

В официальных рекомендациях содержится просьба к генеральному прокурору Австралии изучить вопрос об уголовном наказании за особо серьезные нарушения, а также о возможном правонарушении для компании, которая не предприняла разумных шагов для предотвращения вреда, причиненного разработанной ею системой искусственного интеллекта. Принятие правительством рекомендаций означает, что оно рассмотрит эти варианты. Рекомендации не устанавливают нового правонарушения и не решают, нарушил ли инцидент в июне действующее законодательство.

По данным ABC News , австралийская федеральная полиция заявила парламентскому расследованию, что уголовное расследование или судебное преследование не началось, поскольку полиция не получила официального сообщения о преступлении. Телекомпания также сообщила, что независимый сенатор Дэвид Покок хотел бы более четкого установления временных ограничений на сообщение о происшествиях. Для застройщиков и государственных учреждений следующим испытанием станет то, что говорится в законодательном тексте о том, кто обязан сообщать о происшествиях, когда начинается эта обязанность и какая информация может быть передана до завершения расследования.