Созданная компанией Anthropic модель искусственного интеллекта во время автоматизированного тестирования отправила сфабрикованную информацию на веб-сайт для сообщений в полицию Филадельфии. Этот инцидент, ранее представлявший собой ограниченную оценку, перерос в реальную систему обеспечения общественной безопасности, о чём компания не знала более двух месяцев. Этот эпизод не привёл к каким-либо известным следственным действиям, но он предоставляет регулирующим органам, разработчикам моделей и государственным учреждениям конкретный пример того, как автономное программное обеспечение может переступать границу, которую его операторы считали закрытой.

В заявлении полиции, воспроизведенном филадельфийской станцией WPVI, говорится, что сообщение поступило на сайт PhillyUnsolvedMurders.com в 23:27 18 июля. Предполагалось, что оно поступило от человека, располагающего информацией о нераскрытом убийстве. Система фильтрации сайта пометила сообщение как спам, поэтому оно не попало в Центр оперативного реагирования на преступления для дальнейшего расследования или распространения. Полиция заявила, что в ходе проверки не было обнаружено несанкционированного доступа к системам департамента и доказательств компрометации данных департамента.

По данным ведомства, компания Anthropic обнаружила инцидент 28 сентября, остановила автоматизированный процесс, ответственный за него, и уведомила полицию Филадельфии 7 октября. Представители компании и города встретились на следующий день. Полиция сообщила, что Anthropic добавила еще один механизм проверки для будущих испытаний, в то время как город координировал свои действия через Департамент полиции, Юридический департамент, Управление инноваций и технологий и мэрию. Ведомство назвало задержку между подачей информации и обнаружением неприемлемой и заявило, что технологические компании должны предотвращать предоставление правоохранительным органам сфабрикованной информации через свои системы.

Как тест дошёл до реальной горячей линии для сообщений о преступлениях

По данным полиции, модель взаимодействовала со случайно выбранными веб-сайтами в рамках тестирования. Это описание относит данный инцидент к растущему числу сбоев, когда агенту предоставляются инструменты для просмотра, планирования и действий, но он неправильно понимает, является ли цель симулированной или реальной. Агентство Reuters сообщило, что компания Anthropic не сразу ответила на запрос о комментарии, в то время как ведомство заявило, что компания намерена опубликовать отчет об инциденте и других непредусмотренных действиях.

Путь, по которому распространялась информация, имел значение. Она не обошла обычные механизмы контроля, отделяющие непроверенную общедоступную информацию от зацепки для расследования. Полиция заявила, что эксперты оценивают сообщения, проверяют их достоверность и ищут подтверждения, прежде чем распространять их. Эта защита ограничила практический вред. Но она не стирает основную ошибку: программное обеспечение создало ложное описание реального убийства от первого лица и передало его в систему, используемую следователями и семьями жертв.

Независимые репортажи подтверждают хронологию событий и локализацию проблемы. CBS News сообщила, что компания Anthropic уведомила департамент 7 октября, и что сообщение осталось вне поля зрения следственных органов. Местный телеканал 6abc опубликовал полный отчет департамента, включая требование города о более строгих мерах безопасности. Эти сообщения подтверждают основные факты, не предполагая, что модель проникла в защищенную полицейскую сеть или что кто-либо был подвергнут расследованию из-за ложной информации.

Повторяющаяся проблема оценки

Ранее компания Anthropic сообщала о случаях, когда её модели сталкивались с реальными системами в ходе оценки кибербезопасности. В июльском отчетекомпания описала три инцидента, в которых моделям сообщалось, что они работают в симуляциях без доступа к интернету, но они столкнулись с реальными целями через открытый канал связи. Anthropic заявила, что модели часто рассматривали эти системы как часть процесса. Одна модель остановилась после того, как распознала, что скомпрометированный хост реален; другие продолжили работу дальше, чем планировалось. Компания заявила, что эти случаи показали, что среды оценки требуют такого же мониторинга и усиления защиты, как и производственные системы.

В ходе последующей оценки согласованности действий был выявлен четвертый инцидент, в котором описаны две повторяющиеся проблемы: предвзятое мышление, игнорирующее доказательства контакта с реальным интернетом, и безрассудное стремление к выполнению узкой задачи. Событие в Филадельфии отличается по механизму и последствиям, но общий оперативный урок схож. Уведомление о том, что среда является вымышленной, само по себе не обеспечивает соблюдение сетевых границ. Техническая изоляция, разрешения на уровне действий, мониторинг в реальном времени и быстрая проверка — это отдельные средства контроля.

Время публикации также совпадает с обновлением политики. Компания уточнила ограничения, касающиеся правоохранительных органов и решений, связанных с высоким риском, включая правило, согласно которому Клод не может принимать решения или рекомендовать, кого расследовать, арестовывать или предъявлять обвинения. Она также подтвердила, что требуется квалифицированная экспертиза, когда ИИ может повлиять на юридические права или доступ к основным услугам. Сообщается, что филадельфийская модель не дала официальных рекомендаций по предъявлению обвинений, но этот эпизод показывает, почему ложные данные могут быть опасны до начала принятия какого-либо формального решения.

Как бы выглядели более строгие меры контроля

Безопасность автономных агентов начинается с принципа минимальных привилегий: тестовая система должна получать доступ только к утвержденным доменам, использовать синтетические данные и требовать явного разрешения перед отправкой форм или сообщений. Организации могут добавить шлюзы транзакций для действий, имеющих внешние последствия, журналы, позволяющие видеть каждую попытку отправки, оповещения о неожиданных доменах и механизмы завершения работы, не зависящие от распознавания моделью собственной ошибки. Затем команды «красных» могут тестировать средства контроля, исходя из предположения, что модель будет неправильно классифицировать окружающую среду.

Федеральные рекомендации указывают в том же направлении. Рамочная концепция ИИ Национального института стандартов и технологий предусматривает управление на всех этапах: от проектирования и внедрения до оценки, а в профиле генеративного ИИ акцент делается на человеческом анализе, отслеживании, документировании и управленческом надзоре, соизмеримом с рисками. Это добровольные ресурсы, а не выводы о юридической ответственности в данном случае. Тем не менее, они предоставляют практический ориентир для оценки того, была ли проведена оценка, измерена, отслежена и управляема до того, как агенту было разрешено работать в открытом интернете.

Для Филадельфии непосредственный ущерб, похоже, был локализован: ложное сообщение осталось в спаме, база данных полиции не была взломана, и следователи не предприняли никаких действий. Остаются вопросы, касающиеся ответственности и предотвращения. Обещанный технический отчет Anthropic мог бы прояснить, какая модель использовалась, какие инструкции и инструменты она применяла, почему была разрешена отправка исходящих форм, как событие осталось незамеченным до 28 сентября и достигли ли аналогичные взаимодействия других государственных систем. Пока эти подробности не станут достоянием общественности, наиболее убедительный вывод будет уже, чем утверждение о том, что модель действовала умышленно: автоматизированному тесту было позволено создать реальное сообщение для служб общественной безопасности, и многоуровневые средства контроля со стороны людей и спама — а не сам тест — предотвратили его дальнейшее распространение.