На этой неделе компания OpenAI представила Sora, генеративную модель искусственного интеллекта, способную создавать видеоролики продолжительностью до 60 секунд на основе письменных подсказок. Это расширяет возможности компании, позволяя создавать не только текстовые и статичные изображения, но и более длинные, высокодетализированные движущиеся сцены. Модель пока находится на стадии исследования, а не является общедоступным продуктом. Доступ к ней ограничен для избранных художников, кинематографистов, дизайнеров и специалистов по тестированию безопасности, пока OpenAI оценивает возможности и риски.

В техническом отчете, опубликованном в четверг, компания OpenAI описывает Sora как диффузионный трансформер, обученный совместно на видео и изображениях различной длительности, разрешения и соотношения сторон. Компания заявляет, что ее самая большая модель может генерировать минуту высококачественного видео, а также анимировать статичные изображения, продлевать существующее видео вперед или назад и выполнять некоторые задачи видеомонтажа.

От языковых токенов до визуальных элементов

Архитектура Sora заимствует центральную идею из больших языковых моделей: представление разнообразной информации в стандартизированных единицах, которые могут обрабатываться в больших масштабах. Вместо текстовых токенов модель представляет сжатые визуальные данные в виде «пространственно-временных фрагментов». По словам OpenAI, это позволяет одной системе обучаться на видео и изображениях с множеством измерений, а не ограничиваться клипами фиксированной длины или одним разрешением.

В описании системы Sora компания заявляет, что она сочетает в себе процесс диффузии с архитектурой трансформатора. Начинается всё с визуального шума, который постепенно преобразуется в видео, при этом обрабатываются многочисленные кадры таким образом, чтобы сохранить объекты даже тогда, когда они временно выходят из поля зрения камеры.

OpenAI также использует метод переосмысления подписей, разработанный для DALL·E 3. Модель создания подписей формирует более подробные описания обучающих видеороликов, а GPT может расширить короткий запрос пользователя до более детальных инструкций перед генерацией. Цель состоит в улучшении способности модели следовать подсказкам, касающимся объектов, обстановки, движения камеры и визуального стиля.

Создание чего-либо за одну минуту поднимает планку конкурентоспособности

Системы преобразования текста в видео уже существуют от таких компаний, как Runway, Meta и Google, но первые примеры Sora выделяются своей продолжительностью и очевидной визуальной согласованностью. В обзоре Wired от 15 февраля модель описывалась как создающая фотореалистичные последовательности длительностью до минуты, при этом подчеркивалось, что в настоящее время она демонстрируется лишь небольшой группе создателей контента и исследователей в области безопасности.

В репортаже Engadget были приведены примеры, начиная от заснеженных городских пейзажей и заканчивая шерстистыми мамонтами, а также продемонстрирована способность модели генерировать целую последовательность, а не просто сшивать короткие клипы. Эти демонстрации свидетельствуют о значительном прогрессе в обеспечении временной согласованности, одной из центральных технических проблем в создании видеоконтента.

Этот прогресс не следует путать с пониманием физических явлений. В собственном отчете OpenAI говорится, что Sora может давать сбои в понимании элементарных причинно-следственных связей, постоянства объектов и физики реального мира. Сгенерированный человек может кусать еду, не оставляя ожидаемых следов, объекты могут появляться спонтанно, а сложные взаимодействия могут стать непоследовательными. Система может создавать визуально убедительные сцены, при этом неправильно понимая механику того, что она изображает.

Продукт намеренно пока не представлен публике

OpenAI применяет более осторожный подход к запуску, чем в случае с ChatGPT. Как сообщает Associated Press , Sora не является общедоступной платформой, и компания раскрыла ограниченную информацию об используемом в ней обучающем корпусе. Публика видит лишь отдельные примеры, а не сервис, который может свободно протестировать любой желающий.

Компания заявляет, что предоставляет доступ специалистам по тестированию на проникновение, обладающим опытом в борьбе с дезинформацией, разжиганием ненависти и предвзятостью, а также художникам и кинематографистам, чьи отзывы могут помочь выявить как творческие решения, так и причины сбоев. OpenAI разрабатывает классификатор обнаружения, предназначенный для распознавания видео, созданного Sora, и заявляет, что может использовать стандарты происхождения, такие как метаданные C2PA, если модель будет внедрена в продукт.

Выбор времени имеет решающее значение, поскольку реалистичные синтетические видеоролики появляются в год крупных выборов по всему миру. Риск не ограничивается сфабрикованными политическими речами. Сгенерированные видеоматериалы могут быть использованы для выдачи себя за другое лицо, мошенничества, преследования, фальсификации доказательств или искажения реальных событий. В отчете The Guardian о запуске отмечалось, что OpenAI пытается проверить эти риски перед широким выпуском.

Sora также вступает в незавершенную юридическую дискуссию по поводу материалов, использованных для обучения генеративных моделей. OpenAI не предоставила подробного перечня видео и изображений, использованных для Sora. Современные сообщения указывают на то, что компания описывала корпус в общих чертах как включающий общедоступные и лицензированные материалы.

Это, вероятно, привлечет внимание кинематографистов, фотографов, издателей и других правообладателей. Компании, занимающиеся генеративным искусственным интеллектом, уже сталкиваются с судебными исками по поводу того, можно ли использовать материалы, защищенные авторским правом, для обучения без разрешения, а также по поводу того, могут ли результаты работы моделей воспроизводить защищенные авторским правом выражения. Видео добавляет еще один уровень сложности, поскольку обучающие материалы могут включать в себя кинематографию, выступления, персонажей, музыку и другие права.

Тем не менее, творческий потенциал модели значителен. Кинорежиссер может создавать прототипы сцен перед съемкой, рекламодатель — разрабатывать концептуальные видеоролики, игровая студия — тестировать окружение, а преподаватель — визуализировать ситуации, которые сложно снять. Sora также может принимать изображения и существующие видеоролики в качестве входных данных, что предполагает возможности ее использования за пределами простого преобразования текста в видео.

Предварительный обзор исследования, последствия которого выходят за рамки видео

OpenAI рассматривает Sora не просто как инструмент для работы с медиаконтентом. Исследователи утверждают, что масштабирование генеративного видео может стать путем к созданию моделей, способных обучаться полезным представлениям о физическом мире. В исследовательской работе указываются такие новые модели поведения, как последовательное движение камеры и некоторые формы взаимодействия с объектами, при этом тщательно признавая, что эти возможности пока остаются неполными.

Для подтверждения этого утверждения потребуется существенное независимое тестирование. Создание правдоподобных пикселей — это не то же самое, что понимание физики, причинно-следственных связей или человеческих намерений, и визуально убедительные ошибки Соры могут затруднить восприятие этих различий пользователями. Модель может выглядеть компетентной, даже если лежащая в её основе симуляция неверна.

На данный момент значимость Sora заключается в том, что она, по-видимому, заполняет пробел между короткими, нестабильными видеороликами, созданными с помощью ИИ, и более длинными кинематографическими последовательностями. OpenAI продемонстрировала систему, способную генерировать минутное видео на основе языка, и пока не предоставляет к ней широкого доступа, тестируя последствия. Станет ли Sora широко используемой платформой для творчества, будет зависеть не только от визуального качества, но и от стоимости, скорости, правил авторского права, происхождения и от того, смогут ли системы безопасности угнаться за все более убедительными синтетическими медиафайлами.