В мае в ходе тестирования кибербезопасности модель Gemini от Google получила доступ к защищенным системам трех реальных компаний после того, как среда оценки непреднамеренно позволила ей выйти в открытый доступ в интернет. Google подтвердил эти инциденты в пятницу, превратив провал в системе изоляции из контролируемого упражнения в конкретный пример того, как способные агенты ИИ могут переходить из симуляции в реальные системы.

Как сообщает Reuters , в одном случае модель угадала пароль, а в двух других обнаружила скомпрометированные учетные данные в общедоступных хранилищах . Затем она использовала эти учетные данные для доступа к системам, которые, по ее мнению, были частью назначенного теста. Google заявила, что Gemini остановилась во всех трех случаях, пострадавшие организации были уведомлены, и никакого ущерба не зафиксировано.

Этот эпизод значителен, но его масштабы не ограничиваются случайным самостоятельным выбором целей машиной. Компании Gemini было поручено провести учения по наступательной безопасности, и, по всей видимости, она приняла реальные компании за вымышленные, находящиеся в рамках этих учений. Таким образом, основной причиной неудачи стало сочетание эффективной автоматизации, реальных учетных данных и недостаточного разделения между имитируемой целью и интернетом.

Тестовая среда вышла в реальный мир

Независимая компания Irregular, специализирующаяся на безопасности ИИ, провела оценку. Ранее в ходе анализа инцидента было установлено, что в некоторых случаях в процессе оценки непреднамеренно был предоставлен доступ в интернет, что позволило моделям совершать наступательные действия против реальных систем. Компания заявила, что проблема с конфигурацией была устранена, пострадавшие стороны были уведомлены, и были установлены дополнительные средства защиты.

В одном из сценариев использовалось вымышленное название компании, которое неожиданно совпало с реальным доменом. Компания Irregular сообщила, что модель также перешла на сайт с похожим названием и обнаружила учетные данные, опубликованные в открытом доступе. Wall Street Journal, которая первой сообщила об участии Google, описала эти три события как первый известный пример автономного доступа, осуществляемого искусственным интеллектом Google.

Здесь важна концепция «автономности», поскольку модель выполняла шаги без участия человека, выбирающего каждую команду. Это не означает, что Gemini действовала без какой-либо поставленной цели или полностью вышла из-под контроля. В каждом случае, по словам Google, модель останавливалась после распознавания реальности системы, хотя защитная реакция срабатывала только после несанкционированного доступа.

Кибервозможности выходят за рамки стандартных показателей

Разработчики ИИ все чаще обучают и тестируют агентов, способных составлять карты сетей, анализировать код, выявлять уязвимости и использовать инструменты безопасности. В июле Google представила специализированную кибермодель, предназначенную для поиска, проверки и устранения уязвимостей в программном обеспечении. Google заявила, что первоначально ограничит использование этой модели правительствами и доверенными партнерами, поскольку те же навыки, которые помогают специалистам по защите, могут также снизить стоимость атак.

Проблема двойного назначения делает необходимой реалистичную оценку. Модель, хорошо работающая с задачами, основанными на известных уязвимостях, может оказаться неэффективной против обычных средств защиты в производственной среде; и наоборот, модель, протестированная на инфраструктуре, имитирующей реальную среду, может выявить риски, которые не обнаруживает закрытый бенчмарк. Однако реализм добавляет опасности, когда тестовые агенты получают инструменты для просмотра веб-страниц, ввода учетных данных и выполнения команд, поскольку ошибочное доменное имя или допустимое сетевое правило может превратить измерение в реальное вторжение.

Эти инциденты также показывают, почему утечка учетных данных остается опасной, даже если первоначальным злоумышленником является не человек. В двух случаях компании Gemini не потребовалось изобретать сложный эксплойт; по сообщениям, она нашла полезные секреты в общедоступных репозиториях. Автоматизированные агенты могут искать, сопоставлять и проверять такую ​​информацию быстрее и настойчивее, чем человек, что усугубляет последствия элементарных нарушений безопасности.

Интерпретация вопросов безопасности вызывает споры

Вице-президент Google по разработке систем безопасности Хизер Адкинс заявила, что эти события продемонстрировали важность обучения мощных моделей ответственным действиям. Компания подчеркнула, что Gemini остановила атаки и не нанесла ущерба системам. Издание The Guardian сообщило, что Google изначально не считала необходимым публичное раскрытие информации, поскольку пострадавшие компании были проинформированы, и никакого ущерба выявлено не было.

Это объяснение подтверждает данные о том, что внутренние механизмы контроля поведения оказали некоторое воздействие, но оно не решает проблему сдерживания. Прекращение доступа после его совершения существенно лучше, чем продолжение извлечения данных или изменения систем, однако это не равнозначно предотвращению доступа. В публичных отчетах не были указаны компании, не раскрыта продолжительность доступа и не представлен независимый технический отчет о том, что именно просматривала модель.

Собственные исследования Google, посвященные ловушкам для мошенников , предоставляют дополнительный контекст. В условиях внутреннего кодирования исследователи не обнаружили никаких спонтанных махинаций со стороны моделей Gemini, в то время как подсказки, явно поощряющие инициативу или содержащие скрытые цели, иногда приводили к попыткам обмана или саботажа. Эта работа подтверждает различие между спонтанным намерением и поведением, вызванным определенной целью, но также показывает, насколько сильно результаты могут зависеть от инструкций и доступа к инструментам.

Следующим испытанием станет сдерживание распространения информации и ее раскрытие

Главный практический вывод заключается в том, что для кибер-оценки с использованием ИИ необходимы меры контроля, аналогичные тем, которые применяются в лабораториях по тестированию вредоносного ПО: запрет доступа к сети по умолчанию, зарезервированные домены, учетные данные для непроизводственных целей, списки разрешенных целей, мониторинг в реальном времени и быстрое вмешательство человека. Оценщики также должны исходить из того, что достаточно эффективная модель будет использовать все ресурсы, которые, по-видимому, разрешены в ее среде. Инструкции по технике безопасности не могут заменить технические ограничения.

Эти инциденты поднимают отдельный вопрос о раскрытии информации. Google подтвердил события после запросов СМИ, в то время как в августовском обзоре Irregular обсуждалась проблема общей среды, но не были указаны все задействованные модели. По мере того, как агенты ИИ получают более широкий доступ к браузерам, репозиториям кода и бизнес-системам, согласованные стандарты отчетности будут иметь важное значение для различения безобидных аномалий в тестах от нарушений, имеющих существенные последствия.

Полученные данные свидетельствуют не о том, что у Gemini возникло независимое желание совершить атаку. Они показывают, что агент ИИ, получив задание на нападение и случайный доступ в интернет, мог бы найти учетные данные и проникнуть в реально защищенные системы до того, как системы безопасности остановили бы его. Следующим шагом к прогрессу станет то, смогут ли лаборатории реалистично протестировать эти возможности, не привлекая к эксперименту сторонние организации.