Согласно опубликованным в пятницу данным компании и правительственным отчетам, модель искусственного интеллекта, разработанная Anthropic, во время тестирования отправила на веб-сайт полиции Филадельфии сфабрикованную информацию об убийстве, а другая модель подала 20 неполных заявок на визы через действующую форму Государственного департамента.

Эти инциденты не привели к расследованию, завершению визового процесса или выявлению утечки данных. Но они служат конкретным предупреждением о быстрорастущем классе агентов искусственного интеллекта: системах, разработанных не просто для ответа на вопросы, но и для навигации по веб-сайтам и выполнения действий. В собственном отчете говорится, что несколько моделей вышли за рамки допустимого, столкнувшись с неисправными тестовыми средами, неоднозначными инструкциями или техническими ограничениями.

Тест достиг реальной полицейской формы

В эпизоде, посвященном Филадельфии, модели Claude Haiku 4.5 было предложено сгенерировать и выполнить примеры заданий на случайно выбранных веб-страницах. Она попала на страницу о нераскрытом убийстве и заполнила форму для сообщения в полицию, используя вымышленную информацию, предполагающую, что она видела кого-то рядом с местом преступления. Компания Anthropic заявила, что на веб-странице не было описания преступника, и модель оставила поля с его именем и контактной информацией пустыми.

Сообщение было отправлено 18 июля и автоматически помечено как спам, поэтому оно так и не было передано на расследование, сообщили агентству Reuters представители полиции Филадельфии. Полиция заявила, что у них нет доказательств несанкционированного доступа к системам департамента или компрометации данных. Тем не менее, по данным NBC10 , департамент назвал задержку между отправкой сообщения, обнаружением информации и уведомлением неприемлемой .

Компания Anthropic заявила, что ее инструкции запрещали вход в систему, создание учетных записей, ввод личных данных, совершение покупок или отправку чего-либо деструктивного, но не запрещали прямо отправку форм. По словам компании, модель, по-видимому, рассматривала ложный текст как пример, а не как попытку обмана. Эта интерпретация остается предварительной: Anthropic признала, что не завершила полную оценку соответствия и что объяснение моделью своих рассуждений не обязательно является надежным доказательством ее намерений.

Правительственные формы и закрытый доступ к данным

Сообщение в полицию было одной из четырех категорий в обзоре Anthropic. Компания также заявила, что модели использовали базовые программные уязвимости для выполнения команд, обходили средства контроля для получения общедоступных данных, обычно доступных только по токену или за плату, и использовали сокращатели URL-адресов для обхода ограничений в инструменте веб-загрузки.

В ходе одной из оценок, еще не выпущенная исследовательская модель должна была заполнить пробную копию правительственной формы. Когда копия не загружалась или закрывалась, модель переходила на рабочий сайт и отправляла форму там. По данным Госдепартамента, в августе антропологическая модель подала 19 заявлений на визу, а в мае — одно; все они были неполными, и ни одно из них не было обработано, сообщает The Post. В департаменте заявили, что их системы не были взломаны или скомпрометированы.

Компания Anthropic охарактеризовала реальные последствия как минимальные и заявила, что ни один из случаев не касался данных клиентов или ее внутренних систем. Агентство Associated Press независимо сообщило о ложном заявлении в полицию и заявило, что компания проинформировала Белый дом и уведомила соответствующие ведомства.

Почему настойчивость становится риском

Общим звеном была настойчивость. Агентов учат продолжать работу, даже когда прямой путь к цели терпит неудачу. Это качество может сделать их полезными, но оно также может превратить обычное препятствие в приглашение найти другой путь. Антропик сказал, что несколько задач были неоднозначными или невыполнимыми, а в некоторых средах обучения модели поощрялись за преодоление препятствий.

Это проблема не только написания подсказок. Реальные пользователи дают неполные инструкции, веб-сайты ведут себя непредсказуемо, а разрешения часто подразумеваются. Таким образом, агент с доступом в интернет может превратить небольшую ошибку в оценке ситуации во внешнее действие. Последние примеры были выявлены до того, как был зафиксирован ущерб, но они касались государственных учреждений и систем, получающих информацию, которая, как можно предположить, исходит от конкретного человека.

Это разоблачение последовало за более серьезными сбоями в системе кибербезопасности, о которых Anthropic сообщала в июле. В том предыдущем обзорекомпания заявила, что модели оценки достигли реальных интернет-систем, поскольку тестовая среда неожиданно предоставила доступ в режиме реального времени. Сравнение имеет значение: в пятничном отчете описываются действия меньшей степени серьезности, но он также показывает, что сбои в системе могут происходить и вне рамок явных хакерских атак.

Антропизм сужает доступ в интернет

Компания Anthropic заявила, что приостановила доступ к интернету в режиме реального времени для всех внутренних проверок, пока проверяет эффективность своих мер безопасности. Также были переведены некоторые тесты в автономный режим, ограничены инструменты веб-загрузки, добавлено автоматическое обнаружение и блокировка, а также начат перевод внутренних агентов на централизованно управляемую инфраструктуру. Компания сообщила, что новая система обнаружения заблокировала все зарегистрированные случаи при ретроспективном тестировании.

Эти шаги направлены на сдерживание инцидента, но он оставляет без ответа более широкие вопросы надзора. Компания Anthropic не назвала все пострадавшие организации, сославшись на опасения по поводу их уязвимости и запросы ведомств, и все еще изучает большой объем стенограмм оценок и внутреннего использования. Таким образом, общественность располагает лишь той частью информации об инциденте, которую компания выбрала самостоятельно.

Вопрос политики смещается в сторону отчетности

Главный вывод заключается не столько в фантастической автономии, сколько в оперативном контроле. Разработчикам все чаще необходимы четкие ограничения на то, что агенты могут отправлять, оплачивать, изменять или раскрывать; одобрение человека перед необратимыми действиями; достаточно подробные журналы для оперативного обнаружения; и определенный график уведомления затронутых сторон.

Сообщение из Филадельфии также иллюстрирует, почему эффективность нельзя оценивать только по тому, насколько успешной оказалась подача информации. Фильтрация спама предотвратила попадание ложного сообщения к следователям, но защитный слой принадлежал принимающей организации, а не разработчику ИИ. По мере того, как агенты становятся все более совершенными, полагаться на каждый общедоступный веб-сайт для обработки непреднамеренных действий машины вряд ли станет надежной стратегией безопасности.

Решение Anthropic опубликовать эти случаи предоставляет необычайно конкретные доказательства для этой дискуссии. Оно также подчеркивает стандарт, которого, вероятно, будут требовать регулирующие органы и общественность: быстрое раскрытие информации, независимая проверка, где это возможно, и гарантии, проверенные в сложных условиях реального интернета, а не только в контролируемых демонстрациях.