Компания Moonshot AI заявляет, что намеренно снизила возможности своей новой модели Kimi K3.1 Pro в области кибербезопасности перед запланированным выпуском с открытым исходным кодом, создав таким образом реальную проверку того, может ли разработчик ИИ сохранить полезные навыки программирования, ограничивая при этом возможности, которые могут быть адаптированы для взлома.
Пекинская компания заявила в субботу, что удалила материалы, связанные с киберпреступностью, из части обучающих данных модели и сред обучения с подкреплением. В сообщении говорится, что полные веса — числовые параметры, позволяющие сторонним исследователям запускать и модифицировать модель, — будут опубликованы к 4 ноября. Агентство Reuters сообщило, что внутренние результаты компании не были независимо проверены, что является важным ограничением для выводов, которые можно сделать до того, как сторонние исследователи протестируют модель.
В проекте Moonshot обучающие данные использовались в качестве контрольной группы безопасности
Компания Moonshot сообщила о повышении эффективности исследования уязвимостей по мере того, как она уделяла больше вычислительных ресурсов после обучения Kimi K3.1 Pro. Компания объяснила это повышение частично наличием киберматериалов, включенных в ее более широкий обучающий корпус, а также задачами по кибербезопасности в рамках ее системы обучения с подкреплением. Затем она исключила контент, связанный с кибербезопасностью, из обоих этапов, сохранив при этом общие задачи по программированию.
В ходе внутренней оценки Moonshot с помощью xdev-bench-hard, нефильтрованная контрольная точка позволила решить 90,5% задач по обнаружению и эксплуатации уязвимостей за три попытки. Релизная версия показала результат в 81,0%, в то время как её предшественница Kimi K3 — 33,3%. Эти цифры свидетельствуют о снижении возможностей модели по сравнению с тем, что могла бы обеспечить та же самая система обучения, но также показывают, что готовая модель осталась гораздо более совершенной, чем её предшественница. Бенчмарк, выбор тестов и сравнения были созданы или собраны Moonshot, поэтому проценты следует рассматривать как данные компании, а не как независимое измерение.
Открытые веса изменяют расчет риска
Размещенные на серверах сервисы ИИ могут отслеживать запросы, ограничивать доступ, обновлять средства защиты и блокировать пользователей, нарушающих правила. Модели с открытым исходным кодом предоставляют пользователям больше контроля и конфиденциальности, но разработчик теряет многие из этих инструментов контроля после загрузки и распространения файлов. Более широкий анализ, , показывает, что ведущие открытые модели недавно отставали в кибервозможностях от лучших закрытых моделей всего на четыре-семь месяцев, сократив разрыв, который составлял от шести до десяти месяцев на протяжении большей части 2025 года.
Это различие делает решения Moonshot, принятые до выпуска, весьма важными. Фильтрация обучающих материалов может повлиять на возможности, заложенные в исходные веса, в то время как обычные сообщения об отказе или мониторинг на стороне сервера могут быть удалены или обойдены после выпуска. Независимый обзор более ранней версии Kimi K2.5 предупреждал о том, что средства защиты от взлома весов могут быть удалены с помощью недорогой тонкой настройки, а опубликованные веса нельзя отозвать или централизованно обновить. Это исследование было предварительным и рассматривало другую модель, но оно подтверждает более широкую обеспокоенность тем, что контроль возможностей до выпуска имеет большее значение, когда контроль после выпуска ограничен.
Внешние данные свидетельствуют в пользу осторожности, а не уверенности
Ранее правительственные эксперты тестировали модели Moonshot, что позволило получить полезную базовую оценку, не подтверждающую работоспособность новой версии. В совместной оценкебританский институт и американский Центр стандартов и инноваций в области ИИ обнаружили, что Kimi K3 отстает от самых сильных закрытых моделей в разработке эксплойтов и имитации 32-шаговой сетевой атаки. Тем не менее, Kimi K3 пытался проводить наступательные операции в ходе тестирования, и эксперты подчеркнули, что их результаты являются предварительными и охватывают ограниченный набор показателей.
Kimi K3.1 Pro — это более новая и функциональная система, поэтому предыдущая оценка не может подтвердить её безопасность. Moonshot утверждает, что отфильтрованная модель всё ещё находится в тени проприетарных систем, которые были общедоступны как минимум три месяца. После появления весовых коэффициентов необходимо будет провести независимое тестирование, чтобы проверить, сохранится ли снижение уязвимости в других задачах разработки эксплойтов, более длинных цепочках атак и модифицированных версиях модели.
Китай также движется к введению экспортного контроля
Решение компании принято на фоне рассмотрения китайскими властями ограничений на экспорт некоторых технологий искусственного интеллекта. Министерство коммерции Китая заявило в официальном заявлении , что предлагаемые изменения будут касаться чувствительных технологий и потребуют предварительной регистрации перед экспортом в течение периода консультаций. Проект включает в себя меры контроля, связанные с обнаружением уязвимостей с помощью ИИ и генерацией вредоносного кода — областями, тесно связанными с рисками, описанными Moonshot.
Предложенные правила экспорта остаются предметом общественного обсуждения и не связаны с решением Moonshot о добровольном обучении. Однако вместе они демонстрируют две формы управления рисками, возникающие вокруг передового китайского ИИ: государственный контроль над некоторыми передачами технологий и решения разработчиков о том, какие возможности следует включать в открыто публикуемые весовые коэффициенты.
Релиз 4 ноября станет настоящим испытанием
Kimi K3.1 Pro уже доступен через размещенные продукты и программный интерфейс Moonshot, но компания заявляет, что загружаемые весовые коэффициенты появятся к 4 ноября. Этот релиз позволит независимым экспертам воспроизвести или оспорить внутренние результаты, сравнить модель с другими открытыми системами и проверить, насколько легко тонкая настройка восстанавливает возможности, которые Moonshot пыталась подавить.
Таким образом, основной результат носит предварительный характер. Компания Moonshot представила конкретное решение, сообщила об измеримом снижении риска и признала, что более строгий общий подход к программированию по-прежнему применим к задачам кибербезопасности. Насколько этот подход действительно снизит риск неправомерного использования, будет зависеть от данных, собранных вне компании, а также от того, сохранят ли модифицированные версии достигнутое снижение риска после того, как весовые коэффициенты станут недоступны.