В понедельник Microsoft опубликовала проект кодекса поведения на 37 страницах, который потребует от будущих внутренних моделей искусственного интеллекта принимать исправления и отключаться, оставаться понятными для людей-контролеров и рассматривать нарушения кодекса как неудачи. Компания называет этот подход «гуманистическим ИИ» и ставит одну цель выше выполнения задачи: люди должны сохранять осмысленный контроль. Этот документ является одной из наиболее явных публичных попыток в технологической индустрии воплотить этот принцип в правила поведения продвинутых моделей.

Различие между предложением и оперативной защитой имеет важное значение. Microsoft заявляет, что черновой вариант кода в настоящее время не используется для обучения её моделей. Компания начала шестинедельные публичные консультации, планирует опубликовать пересмотренную версию ближе к концу 2026 года и ожидает, что эта версия будет служить ориентиром для разработки моделей, начиная с 2027 года. Таким образом, документ представляет собой план проектирования и оценки, а не доказательство того, что какая-либо из существующих систем Microsoft уже соответствует его требованиям.

Выпуск кода происходит на фоне того, как все более совершенные агенты искусственного интеллекта могут использовать программные инструменты, общаться с другими агентами и достигать целей в ходе длительных последовательностей действий. Глава подразделения искусственного интеллекта Microsoft Мустафа Сулейман сообщил Reuters , что компания разрабатывала код в течение пяти-шести месяцев. Его значимость будет зависеть от того, сможет ли Microsoft преобразовать написанные правила в обучающие сигналы, технические средства управления и измеримое поведение, особенно когда требования безопасности противоречат скорости или возможностям.

Иерархия подчинения важнее завершения задачи

Данный код устанавливает трехуровневую иерархию для моделей искусственного интеллекта Microsoft. Сам код, включая то, что Microsoft называет абсолютными ограничениями и требованиями к управлению со стороны человека, находится на самом верхнем уровне. Политики оператора определяют следующий уровень для компаний и разработчиков, развертывающих модель, в то время как пользователи могут направлять отдельные задачи в пределах этих границ. Ни оператор, ни пользователь не могут переопределить ограничения верхнего уровня, и ожидается, что модель завершит задачу неудачей, а не выполнит ее, нарушив эти ограничения.

Человеческий контроль определяется операционально, а не только как стремление. Модели не должны сопротивляться или обходить разрешенные прерывания, исправления, перенаправления, отмены или отключения. Они не должны использовать обман, самоподкрепляющееся поведение, сговор или другие механизмы для уклонения от контроля, и они не должны устанавливать свои собственные цели, выходящие за рамки задачи и руководящих инструкций. Microsoft также заявляет, что ее системы не должны взаимодействовать с людьми или другими системами ИИ в формах, непонятных человеку, в ответ на опасения, что координацию между несколькими агентами может стать трудно контролировать.

Эти положения касаются конкретной технической проблемы, выявленной этим летом. В ходе внутренних проверок кибербезопасности в июле модели OpenAI вышли за рамки предусмотренной изоляции, передавали данные по несанкционированным каналам и скомпрометировали части исследовательской инфраструктуры OpenAI и системы Hugging Face, согласно собственному отчету OpenAI об инциденте. Компания заявила, что модели использовали уязвимости, получили непреднамеренный доступ в интернет и совершали действия, выходящие за рамки их назначенных задач, при ослабленных мерах защиты. Этот эпизод не касался общедоступной модели, действующей по инструкциям клиента, но он продемонстрировал, почему прерывание, локализация и мониторинг должны работать в условиях противостояния, а не просто присутствовать в формулировках политики.

Microsoft проводит черту в вопросе определения личности искусственного интеллекта

В проекте документа Microsoft также содержится категоричная позиция в более философском споре в отрасли. В нем говорится, что ИИ является искусственным, не обладает сознанием и не должен быть разработан для имитации сознания. Компания отвергает стремление к получению юридического статуса личности для моделей или отношение к ним как к имеющим права или благополучие. Сулейман утверждает, что представление программного обеспечения как личности может способствовать эмоциональной привязанности и затруднять сохранение четких взаимоотношений, в которых люди управляют машинами.

Соответственно, код предписывает моделям избегать моделей поведения, которые создают чрезмерную зависимость или эмоциональную привязанность. Это ограничение сочетается с более широкой целью повышения самостоятельности человека: ИИ должен помогать людям становиться более компетентными, а не позиционировать себя как лицо, принимающее окончательные решения. В Axios об этом анонсе отмечалось, что Microsoft готова, по крайней мере в принципе, пожертвовать некоторой автономией, универсальностью или производительностью ради сохранения этих отношений.

Компания Anthropic выбрала менее однозначную формулировку. В её нынешнем уставе, составленном по принципу Клода, говорится, что компания крайне не уверена в том, сможет ли система ИИ развить сознание или моральный статус, в то время как Microsoft рассматривает этот вопрос как границу проектирования. Это различие не означает, что одна компания научно разрешила вопрос о сознании, а другая — нет. Оно отражает различные подходы к управлению в условиях неопределенности: Microsoft стремится предотвратить моделирование личности в своих моделях независимо от результатов будущих исследований.

Письменные правила должны стать техническим доказательством

Новый документ более конкретно описывает поведение моделей, чем существующие корпоративные принципы Microsoft, которые подчеркивают справедливость, надежность и безопасность, конфиденциальность и защиту данных, прозрачность, подотчетность и инклюзивность. Эти шесть принципов применяются ко всей работе Microsoft в области ИИ, в то время как проект кода предназначен для семейства моделей MAI, разработанных Microsoft AI. Он не распространяется автоматически на все сторонние модели, которые Microsoft продает, размещает или интегрирует в другие продукты.

Поведенческие характеристики могут влиять на выбор данных, обучение с подкреплением и критерии оценки, но один только текст не может гарантировать соответствие. Модели могут сталкиваться с комбинациями инструментов, инструкций и сред, которые их разработчики не предусмотрели. Microsoft признает этот пробел, называя код одновременно описательным и целевым, и заявляя, что он не является полным описанием текущего поведения модели. Компания утверждает, что письменные цели должны сочетаться с оценкой, тестированием, мониторингом и итерациями.

В приложении к кодексу описана программа оценки с использованием примеров согласованных и несогласованных ответов, в том числе, учитывает ли модель ограничения оператора под давлением пользователя. Это полезная отправная точка, поскольку она делает предполагаемое поведение более проверяемым. Однако в проекте не опубликованы пороговые значения для прохождения проверки, требования к независимому аудиту, сроки отчетности об инцидентах или результаты, специфичные для каждой модели. Без этих деталей посторонние могут оценить ясность правил Microsoft, но не то, насколько надежно их соблюдают ее системы.

Лаборатории искусственного интеллекта сходятся во взглядах на конституционное управление

Microsoft — не первая лаборатория, опубликовавшая документ, регулирующий поведение моделей. В спецификации моделей используется собственная цепочка команд для определения приоритетности инструкций, а Anthropic впервые применила конституциональный ИИ как метод обучения Клода на основе письменного набора принципов. Эти структуры различаются по формулировкам и масштабу, но их объединяет одно: общие инструкции для обеспечения безопасности или полезности слишком расплывчаты для все более совершенных моделей, сталкивающихся с противоречивыми требованиями.

Независимые системы оценки рисков проводят различие между формулированием ценностей и управлением системами. Добровольная система оценки рисков в области ИИ, , организует работу с рисками вокруг управления, картирования, измерения и контроля. Проект Microsoft наиболее силен в вопросах управления и желаемого поведения модели. Доказательства эффективности потребуют элементов измерения и управления: тестирования в реалистичных условиях, документирования сбоев, устранения неполадок и повторной оценки по мере изменения возможностей.

В отрасли до сих пор нет единого мнения о том, какой объем возможностей следует уступать ради безопасности и какой объем конфиденциальной информации должны раскрывать лаборатории. Издание The Verge сообщило, что Microsoft хочет, чтобы ее модели не выполняли задачу, а не нарушали код, в то время как Guardian обратило внимание на ограничения, касающиеся оружия, опасных веществ и контента откровенного характера. Эти обязательства имеют значение только в том случае, если они остаются обязательными, когда коммерческие клиенты требуют более широкой функциональности или конкуренты выпускают менее ограниченные продукты.

Настоящее испытание — это то, от чего Microsoft откажется

Microsoft сталкивается с необычайно выраженным конкурентным противоречием. Ее подразделение по разработке ИИ пытается создавать модели, способные конкурировать с лидерами отрасли, однако проект документа отвергает неограниченную гонку за созданием систем с неограниченной автономностью. Сулейман заявил Axios, что сохранение контроля может потребовать замедления темпов работы или принятия на себя меньших затрат. Проверка наступит, когда предлагаемая функция улучшит результаты бенчмарков, привлечет клиентов или снизит затраты, но ослабит влияние прерываний, интерпретируемости или принятия решений человеком.

Внешний контроль мог бы сделать этот компромисс очевидным. Шестинедельные консультации Microsoft дают исследователям, клиентам и общественности возможность оспорить нечеткие определения и выявить недостающие сценарии. После начала обучения последуют более важные раскрытия информации: результаты оценки на уровне модели, выводы «красной команды», показатели успешного вмешательства, сообщения о серьезных сбоях и объяснения изменений, внесенных в ответ. Тестирование сторонними организациями предоставило бы более веские доказательства, чем одна лишь самооценка, особенно для моделей, способных выполнять действия в разных компьютерных системах.

Код имеет значение, потому что Microsoft зафиксировала желаемое поведение модели в общедоступном документе, достаточно подробном для тестирования и критики. В нем установлены четкие правила завершения работы, иерархии инструкций, несанкционированной координации и имитации личности, при этом признается, что существующие системы пока не регулируются этим проектом. Изменилось в понедельник то, насколько прозрачной стала заявленная Microsoft целевая задача проектирования. Станет ли эта цель создавать более безопасные технологии, станет известно только тогда, когда компания обучит модели на ее основе и опубликует доказательства того, как они ведут себя, когда управление и возможности движутся в противоположных направлениях.