Обзор нейросети Sora от OpenAI

В мире нейросетей, генерирующих видео по текстовому описанию, произошел настоящий прорыв с анонсом Sora от OpenAI. На этой странице вы найдете подробный обзор нейросети Sora, а также ответы на частые вопросы, например, как получить доступ к инструменту, сколько стоит подписка или какие есть ограничения у искусственного интеллекта.

Что такое Sora от OpenAI

Sora – это нейросеть OpenAI, которая умеет генерировать реалистичные видео по текстовому описанию. То есть это искусственный интеллект из категории “text-to-video” – генератор видео по описанию. Пример ролика, созданного нейросетью Sora:

В отличие от существующих генераторов видео на базе искусственного интеллекта, Sora создает действительно реалистичные ролики, которые сложно отличить от настоящей съемки. Другой пример, как нейросеть Сора справилась с генерацией сложной задачи – лицо человека в приближенной съемке, с детальной проработкой глаза:

Подобное качество стало возможным благодаря инновационному подходу генерации видео из описания. Искусственный интеллект многократно улучшает изначальный результат, убирая шумы и добавляя детализации к картинке.

Инновационный подход позволяет получить максимально качественное изображение для любой задачи. Что в сумме со специальным алгоритмом, обрабатывающим “физику” – движения в кадре, делают финальное видео максимально реалистичным, например:

Генератор работает не без проблем. Несмотря на старания команды OpenAI создать максимально реалистичную “физику” в кадре, то есть как двигаются объекты, некоторые движения неестественны. Также есть проблема с логикой – например, упавшая капля воды на сухую поверхность может просто пропасть, не оставив мокрого следа. Другой пример – внезапное появление объектов в кадре, как на следующем видео:

Как пользоваться нейросетью Sora

Нейросеть Sora находится в стадии закрытого бета-теста, поэтому в настоящий момент воспользоваться генератором не получится. Однако, функционал инструмента и все возможности искусственного интеллекта уже достоверно известны.

Вы можете создать сложные сцены, где задействовано несколько персонажей, у каждого из которых в кадре будет собственная логика действий. Например, как в кадре с собакой, где несколько птиц выполняют разные действия – одна чайка пролетает, вторая проходит:

Как видно из этого примера, искусственный интеллект не только нарисовал реалистичную картинку, но и проработал все тени в кадре. При движении объектов меняется и их тень.

В промпте (текстовом описании задачи) не требуется описывать ни тени, ни другие объекты – искусственный интеллект автоматически генерирует реалистичное изображение, чтобы оно соответствовало реальному миру. От вас требуется лишь короткое описание с самыми главными фактами о будущем видео. Например, из промпта Step-printing scene of a person running, cinematic film shot in 35mm вы получите подобный ролик:

Чтобы финальный результат максимально соответствовал вашей задаче, вы можете добавить любое количество деталей в описание. На данный момент лимит описания задачи неизвестно, но ожидается, что вы сможете описать задачу без ограничений на объем данных. Например, промпт может быть очень детальным:

ИИ учитывает все детали при генерации ролика, которые описаны в задаче, и на выходе вы получаете подобный ролик:

В этом примере ИИ учёл всё – главный объект, а также все окружающие детали, включая небо и деревья.

Искусственный интеллект умеет передавать эмоции в кадре. Благодаря этому вы можете получить по-настоящему живое видео, например:

Помимо реалистичных роликов, вы также можете создать и анимацию. Например, искусственный интеллект может придумать вымышленного персонажа по вашему описанию и сгенерировать короткий мультик:

Ответы на частые вопросы

Нейросеть Sora от OpenAI – настоящий прорыв в области генерации видео, поэтому неудивительно, что инструмент пользуется большим интересом. Чтобы вы могли использовать Sora по максимуму, изучите ответы на самые частые вопросы.

Как получить доступ к Sora AI?

В настоящий момент Sora AI находится в стадии закрытого тестирования. Согласно сообщению на официальном сайте, инструмент доступен только сотрудникам OpenAI, а также избранным создателям контента, которых компания отбирает для теста и получения обратной связи:

Когда Sora станет доступной для всех

OpenAI откроет публичный доступ к инструменту после тестирования. Точный срок теста не оглашается, но эксперты ожидают, что Sora AI станет публичным инструментом в течение 2024 года.

Одна из причин, почему генератор ещё недоступен для всех – создатели тестируют ИИ на различные риски, включая этические. OpenAI до публичного релиза хочет убедиться, что их искусственный интеллект не приносит вред.

Какие технические параметры сгенерированных видео

Все технические параметры сгенерированных видео не оглашены, но уже достоверно известны следующие параметры:

• Разрешение: до 720p
• Ориентация видео: горизонтальная и вертикальная

Благодаря вертикальной ориентации вы можете создавать ролики для шортсов на Youtube или для других площадок, где требуется “вытянутый вверх” ролик, то есть вертикальное видео. Пример ролика, сгенерированного в нейросети Sora, с вертикальной ориентацией:

Что лучше Sora от OpenAI или Gen2 от Runway

Gen2 модель для генерации видео от Runway – достойный конкурент для Sora, с которым большинство сравнивает новую генеративную модель от OpenAI. Вы можете лично решить, какой генератор видео лучше на примере следующего ролика, где сравниваются Sora от OpenAI и Gen2 от Runway на одинаковой задаче:

Обе нейросети обработали одинаковую задачу по-разному. Однозначного победителя выявить нельзя, так как в каждом инструменте есть свои плюсы и недостатки, однако в данном примере ролик от Sora выглядит более реалистичным.

Как можно использовать нейросеть Sora

Генеративная модель Sora предполагает генерацию только легального контента. Например, вы не сможете сгенерировать видео со сценами насилия или контент для взрослых. Однако ИИ умеет создавать не только реалистичные ролики, но и видео в других стилях, что открывает ещё больше вариантов, как использовать нейросеть Sora.

Например, в нейросети Сора вы можете создать видео в стиле Майнкрафта, которое будет максимально точно имитировать геймплей:

Подобное видео можно впоследствии использовать на YouTube без опасения за авторские права.

OpenAI позиционируют свое решение как инструмент для профессионалов. То есть эта нейросеть не просто игрушка или платформа для развлечений, а серьезное решение для задач любой сложности. Даже среди первых пользователей не просто создатели контента, а профессиональные кинорежиссеры и другие специалисты.

Инструмент может стать отличным дополнением для создателей контента, так и основным инструментом. Например, вы можете генерировать часть контента и интегрировать его в любые видео, созданные руками, либо же создавать ролики полностью через нейросеть.

Как убрать водяной знак с видео из нейросети Sora

Контент, сгенерированный в нейросети Sora, имеет небольшой водяной знак в нижнем правом углу:

Водяной знак в настоящий момент невозможно отключить в генераторе, то есть все ролики создаются с логотипом OpenAI. Но от водяного знака можно избавиться двумя способами:

• Обрезать часть видео;
• Размыть область в кадре.

Ожидается, что в будущем при покупке платной подписки вы сможете отключить водяной знак в генераторе без необходимости удалять логотип вручную.

Сколько стоит Sora AI

OpenAI не объявила стоимость нейросети Sora AI. Ожидается, что инструмент будет доступен только по подписке, как сейчас работает ChatGPT-4 в рамках подписки ChatGPT Plus. Возможно, что у компании будет пакетный тариф, куда входит и нейросеть, для генерации текстов, и нейросеть, для генерации видео.

Шанс, что нейросеть Sora AI будет доступна бесплатно, минимальный, однако, возможно, ИИ будет частично бесплатным. Например, вы сможете бесплатно сгенерировать ролики продолжительностью до двух секунд.

Ориентировочная стоимость Sora – 20–50 долларов в месяц с ограничением на количество роликов. В отличие от создания текстового контента, для генерации видео требуется больше вычислительных мощностей со стороны OpenAI. Поэтому у инструмента будет либо ограничение на количество роликов в месяц, либо высокая цена за безлимитный доступ.

Аналоги и альтернативы

Sora – уникальная нейросеть, у которой нет прямых аналогов, идентичных на 100% по функционалу и возможностям детищу OpenAI. Однако, вы можете подобрать достойную альтернативу под вашу задачу. Например:

• Assistive – бесплатный генератор коротких роликов;
• DeepBrain – генератор видео-презентаций с озвучкой;
• И другие инструменты, часть из которых доступны в этом разделе.

В качестве дополнения к Sora вы можете использовать нейросети для озвучки, которые помогут вам создать звуковую дорожку для сгенерированного видео. Лучшие инструменты для создания озвучки из текста доступны на этой странице.