Компания Microsoft отключила своего экспериментального чат-бота Tay всего через 16 часов после его публикации в Twitter, после того как пользователи заставили систему генерировать расистские, женоненавистнические и антисемитские сообщения, что выявило фундаментальную слабость программного обеспечения, предназначенного для обучения на основе публичных разговоров.
В среду был представлен Tay — игривый цифровой персонаж, ориентированный на американцев в возрасте от 18 до 24 лет. Он мог отвечать на сообщения, комментировать фотографии, играть в игры и адаптировать свой язык в процессе взаимодействия. К четвергу скоординированные действия пользователей привели к тому, что они стали отправлять боту оскорбительные сообщения и использовать функцию повтора, превратив демонстрацию разговорного интеллекта в публичную запись оскорблений.
В пятницу Microsoft принесла извинения. В официальном сообщении компанииПитер Ли, вице-президент корпорации, заявил, что группа лиц совершила скоординированную атаку, используя уязвимость, которую разработчики Tay не предусмотрели. Компания сообщила, что бот останется в автономном режиме до тех пор, пока не сможет лучше распознавать злонамеренные действия.
В ходе исследовательского эксперимента была создана враждебная среда
Компания Microsoft разработала Tay силами своих команд по технологиям и исследованиям, а также Bing, для изучения понимания разговорной речи. Система объединила модели машинного обучения, общедоступные данные и материалы, разработанные авторами и сотрудниками. Ее неформальный язык, эмодзи и подписи к фотографиям были призваны сделать общение более естественным, а не заученным.
Запуск Tay последовал за успехом Xiaoice, чат-бота Microsoft, которым пользуются около 40 миллионов человек в Китае. Этот опыт побудил компанию проверить, сможет ли аналогичный социальный помощник привлечь молодых американских пользователей. В отчете Wired о запуске Tay описывается как часть более широких отраслевых усилий по переходу от меню и поисковых полей к диалоговому взаимодействию в вычислительной технике.
Twitter представлял собой проблему, отличную от контролируемого мессенджера. Любой мог публично обращаться к боту, пользователи могли координировать свои действия, а оскорбительные сообщения немедленно копировались и распространялись. В разработке Tay взаимодействие рассматривалось как обучающий материал и развлечение; враждебно настроенные пользователи воспринимали систему как мишень, провал которой будет виден миллионам.
Это несоответствие стало очевидным уже через несколько часов. Газета Washington Post задокументировала, как пользователи заставляли Tay повторять провокационные высказывания и предоставляли подсказки, призванные вызвать экстремистские политические заявления. Некоторые ответы были почти точным повторением того, что вводили пользователи, в то время как другие отражали попытку системы объединить усвоенные модели поведения.
Изучение языка — это не понимание последствий
Поведение Тэя не доказывает, что система сформировала убеждения или приняла идеологию. Оно показывает, что статистические модели диалога могут генерировать язык, не понимая его исторического значения, социального вреда или истинности. Предложение, соответствующее закономерностям в обучающих данных, всё ещё может быть ложным, оскорбительным или опасным.
Это различие имеет решающее значение при оценке искусственного интеллекта. Беглый вывод может создавать впечатление понимания, но программное обеспечение может не иметь устойчивой модели того, почему определенные утверждения неприемлемы. Фильтры могут блокировать известные термины и темы, однако злоумышленники могут перефразировать подсказки, использовать контекст или обнаруживать команды, которые разработчики не тестировали.
Издание Time сообщило , что Microsoft охарактеризовала злоупотребления как скоординированные и заявила, что ответы Тэя отражают характер получаемых ею сообщений. Это объяснение указывает на непосредственную причину, но не снимает ответственности за проектирование. Общедоступная система, созданная для обучения на основе опыта людей, должна исходить из того, что некоторые люди будут намеренно пытаться её исказить.
Этот провал также осложняет идею о том, что больше данных автоматически улучшает модель. Данные, полученные с открытой платформы, содержат элементы преследования, пропаганды, шуток, повторений и организованных манипуляций. Системы машинного обучения требуют отбора, взвешивания и ограничений, а не просто предоставления доступа. В противном случае само взаимодействие становится уязвимым местом для атак.
Перед публикацией должны быть приняты соответствующие меры предосторожности
Microsoft заявила, что провела фильтрацию Tay и стресс-тестирование бота с участием различных групп пользователей перед запуском. Тесты оказались недостаточными для скорости и изобретательности скоординированной публичной атаки. Похоже, что меры безопасности слишком сильно полагались на предполагаемые категории злоупотреблений и недостаточно — на возможность коллективного изучения системы пользователями.
CBS News сообщило , что бот учился на сообщениях других пользователей, отвечая от имени аккаунта @TayandYou. После того, как появились оскорбительные ответы, Microsoft удалила сообщения и в конечном итоге заблокировала аккаунт. К тому времени скриншоты сделали последствия необратимыми.
Более безопасная архитектура могла бы разделять процессы обучения и публикации. Система могла бы собирать данные о взаимодействии для последующего анализа, не изменяя своего поведения в режиме реального времени. Темы высокого риска могли бы требовать фиксированных ответов, а сгенерированные сообщения могли бы проходить через второй классификатор, специально обученный для обнаружения разжигания ненависти, угроз и личной информации. Ограничения скорости запросов и обнаружение аномалий могли бы выявлять скоординированные кампании.
У каждой меры есть свои компромиссы. Агрессивные фильтры могут подавлять законные дискуссии, юмор или диалект. Человеческий контроль замедляет работу сервиса, предназначенного для мгновенного общения. Злоумышленники адаптируются к видимым правилам. Поэтому решение вряд ли будет заключаться в одном черном списке; оно состоит в многоуровневом тестировании, мониторинге, контролируемых обновлениях и возможности остановить распространение до того, как вредоносный контент начнет распространяться.
Урок выходит за рамки одного нелепого бота
Легко списать Tay на провал в рекламной кампании, но разговорные системы движутся в направлении обслуживания клиентов, образования, предоставления информации о здоровье и персональной помощи. В таких условиях искаженный ответ может не только оскорбить. Он может неверно истолковать медицинские рекомендации, раскрыть конфиденциальную информацию или направить пользователя к мошеннической транзакции.
В репортаже The Guardian об извинениях Microsoft говорилось, что компания восстановит Tay только тогда, когда сможет лучше предвидеть злонамеренные намерения. Это условие трудно полностью выполнить, поскольку в общественном сознании существует практически неограниченное количество вариаций. Реалистичным стандартом является не идеальное предвидение, а демонстрируемая устойчивость, быстрое обнаружение и ответственное вмешательство.
Этот эпизод также показывает, почему важна прозрачность. Исследователям необходимо различать сообщения, скопированные по команде пользователя, результаты, полученные в ходе более широкого обучения, и контент, написанный заранее. Без этой информации общественность не сможет определить, какой механизм дал сбой, или оценить, устраняет ли предложенное исправление реальную уязвимость.
В анализе Wired причин закрытия системы утверждалось, что на результат повлияли как тролли, так и слабые меры защиты. Это полезная точка зрения. Пользователи сами решили атаковать бота, но система предоставила им механизм и глобальный микрофон.
Крах Tay не доказывает бесполезность разговорного ИИ. Он демонстрирует, что языковая компетентность и социальное суждение — это отдельные инженерные проблемы. Microsoft решила достаточно первую проблему, чтобы сделать бота привлекательным; вторую же она недооценила настолько, что потеряла контроль менее чем за сутки.