Обзор нейросети Stable Video Diffusion

Stability AI представили нейросеть Stable Video Diffusion в 2023 году, но лишь в феврале 2024 года нейросеть стала доступна в удобном онлайн формате. На этой странице вы найдете подробный обзор нейросети Stable Video Diffusion, инструкцию по использованию, а также ответы на частые вопросы, например, вы узнаете, как использовать Stable Video бесплатно.

Что такое Stable Video Diffusion

Stable Video Diffusion или просто Stable Video – это нейросеть для создания коротких видео. Разработчик – компания Stability AI, которая также выпустила ранее Stable Diffusion для картинок и некоторые другие ИИ инструменты.

Основные параметры нейросети:

• Срок генерации ролика: до 2 минут.
• Продолжительность ролика: 2-4 секунды. ИИ поддерживает ролики до 5 секунд, но в настоящий момент пятисекундные ролики заблокированы.
• Количество кадров: до 30 кадров в секунду.

Нейросеть генерирует ролики по текстовому описанию в два этапа – сначала создает 4 статичные картинки, из которых вам необходимо выбрать одну, и далее ИИ создает видеоролик из выбранного изображения по вашим параметрам.

Например, по запросу стильной девушки, гуляющей в центре Токио, искусственный интеллект Stable Video создал 4 изображения:

Далее на базе последней картинки искусственный интеллект создал следующее видео:

Для создания видео не обязателен столь подробный промпт. Вы можете описать задачу буквально двумя словами. Например, на запрос “Orange grove” искусственный интеллект сгенерировал следующее видео:

Помимо текстового описания, создать ролик можно и на базе уже существующего изображения. В этом случае искусственный интеллект фактически анимирует, то есть оживит картинку и на выходе вы получите короткий анимированный ролик.

Stable Video – платный инструмент, если вы используете онлайн версию. Локальную версию можно использовать бесплатно, но требуется высокопроизводительный компьютер, так как ИИ требователен к железу.

Как пользоваться Stable Video

Существует две версии Stable Video:

• Локальная – то есть версия, которую необходимо устанавливать к себе на компьютер;
• Онлайн – версия, которая работает через браузер, не требует установки.

Обе версии имеют схожий функционал – создают видео из текстового описания или по существующей картинке. Отличие лишь в удобстве использования, а также в цене. Локальная версия бесплатная, но требуется установка (инструкция доступна на официальной странице на Гитхабе), а онлайн версия удобная, но требуется оплата.

Как создать видео в Stable Video

Первым делом вам нужно либо установить ИИ на свой компьютер, либо зарегистрироваться в онлайн версии. Для регистрации достаточно Google аккаунта, также вы можете использовать свою обычную почту. VPN для регистрации из России не требуется, онлайн версия Stable Video работает без ограничений по стране.

После регистрации в системе вы получите доступ к личному кабинету, где в разделе Generate сможете выбрать формат генерации ролика – по картинке (Image) или по текстовому описанию (Text):

Для создания видео из изображения достаточно выбрать картинку на вашем компьютере. Для примера используем котика из статьи про ComfyUI. Вы можете использовать любую картинку, но лучше выбрать изображение со следующим разрешением:

• 1024×576 пикселей;
• 576×1024 пикселей;
• 768×768 пикселей;

При использовании картинок в другом разрешении, Stable Video обрежет кадр под нужный размер. ИИ не всегда обрезает картинки аккуратно, поэтому лучше загружать картинку, изначально соответствующую требованиям. Далее необходимо указать параметры генерации:

Например, вы можете выбрать движение камеры – будет ли камера двигаться или двигаться будут объект в кадре. Также вы можете использовать другие эффекты – вращение и т.д. Когда все параметры выбраны, необходимо запустить генерацию – для этого кликните на кнопку “Generate”:

За каждую генерацию ролика по картинке с вас спишут по 10 монет с баланса. Повторные генерации одной и той же картинки также расходуют баланс.

В результате вы получите подобное видео:

Вы можете скачать готовый ролик к себе на компьютер или поделиться ссылкой онлайн. Например, ссылка на видео с котиком – https://www.stablevideo.com/generate/7f951aa0-d02e-4534-8d82-6776274f2c76.

Для генерации видео по текстовому описанию необходимо переключиться на режим “Text” и на английском описать вашу задачу. Чем детальней вы опишете задачу, тем точнее будет результат, но достаточно и нескольких слов. Также необходимо выбрать ориентацию будущего ролика – вертикальное, горизонтальное или квадратное видео:

На базе текстового описания будет создано 4 картинки, из которых вам предстоит выбрать одну для следующего шага – для анимации.  Например, по запросу “Winter Kremlin” нейросеть создала следующие картинки:

Для создания видео необходимо выбрать любую картинку из четырех вариантов, которая лучше всего подходит для вашей задачи. Если ни одна из картинок вам не подходит, вы можете сгенерировать изображения заново. Каждая генерация расходует 11 монет с баланса.

Выбрав картинку, вы сможете настроить параметры движения камеры. После того как все параметры заданы, необходимо нажать на кнопку “Proceed” и дождаться генерации:

Генерация видео по изображению требует 1-2 минуты, и на выходе вы получите подобный ролик:

В случае, если итоговый ролик вам не подходит, вы можете сгенерировать новый. Stable Video не дает преимуществ за генерацию ролика по одинаковому промпту или при перегенерации некачественного видео – каждый раз с вас будут списывать 11 монет с баланса.

Баланс будет расходоваться даже в том случае, если первый ролик получился сильно некачественным, но вы можете отправить жалобу для улучшения качества будущих роликов. Для этого в верхнем правом углу ролика выберите “флажок” и укажите причину жалобы:

Чтобы получить лучший результат, описывайте задачу максимально подробно. Например, предыдущую задачу можно доработать до – Many people are walking next to Kremlin in Moscow, in winter, a lot of snow, и получить следующий набор картинок:

Далее заново сгенерировать видео. На следующем видео заметен главный недостаток Stable Video – нейросеть ещё не идеально справляется с движениями людей, о чем часто пишут в своих отзывах и другие пользователи инструмента:

Ответы на частые вопросы

Stable Video – несложная в использовании нейросеть, с которой вы точно справитесь, если ранее уже использовали Stable Diffusion для генерации картинок. Чтобы упростить задачу и для тех, кто пользуется ИИ генераторами впервые, мы собрали ответы на частые вопросы.

Как пользоваться Stable Video Diffusion бесплатно

Как и в случае со Stable Diffusion для картинок, вы можете использовать Stable Video Diffusion бесплатно, если установите нейросеть к себе на компьютер.

Локальная версия полностью бесплатная для создания видео в любом объеме. Скорость генерации роликов зависит только от возможностей вашего компьютера.

Онлайн версия доступна бесплатно в рамках теста для новых пользователей, далее потребуется докупить монеты на виртуальный баланс. Сгенерировать бесплатно в онлайн версии можно около 15 роликов.

Сколько стоит Stable Video

Если вы решите использовать онлайн версию нейросети, то после исчерпания приветственных 150 монет, вам придется купить монеты. Существует две возможности:

• 500 монет за 10 долларов;
• 3000 монет за 50 долларов;

Первого пакета хватит примерно на 50 видео, второго – на 300. Чтобы немного снизить расходы, вы можете генерировать видео по картинке, а не по описанию, так как это стоит на 10% дешевле. Картинку для видео вы можете генерировать заранее в любой бесплатной нейросети, создающей изображения по описанию.

Какие видео можно создать в Stable Video

Stable Video – это нейросеть для создания любого контента, кроме контента для взрослых и сцен насилия. Например, вы не сможете создать в генераторе ролик 18+ или видео с применением оружия.

Ролики с лицами людей не запрещены, но сами разработчики предупреждают, что инструмент не подходит для генерации роликов с лицами людей крупным планом. Это связано с тем, что ИИ не умеет качественно генерировать крупные планы лиц, а также не умеет их качественно оживлять.

Если в вашем нейтральном запросе нейросеть усматривает запрещенные темы и отказывается генерировать ролик, перепишите промпт другими словами. В отзывах о Stable Video отмечают, что ИИ иногда реагирует неправильно на обычные слова в описании.

Есть ли Stable Video на русском языке

Stable Video работает в данный момент только на английском языке. Это касается и интерфейса инструмента, и текстовых запросов (промптов). Вы не можете дать задачу нейросети на русском языке.

Используйте бесплатные переводчики, например, Яндекс Переводчик или Google Translate, для создания промпта для видео, если вы не знаете английский язык на достаточном уровне.

Можно ли скачать нейросеть Stable Video на компьютер

Вы можете скачать и установить нейросеть Stable Video на свой компьютер. Для этого используйте исходные файлы и инструкцию из официального репозитория на Гитхабе.

Альтернативы и аналоги нейросети Stable Video

Stable Video – не единственная нейросеть для создания видео по описанию или генерации роликов из картинок. Альтернативу или аналог можно подобрать исходя из вашей задачи, например:

• Pixverse – бесплатная нейросеть для создания роликов до 4 секунд;
• Media2Face – генератор видео со спикером по готовому тексту;
• И другие инструменты из раздела “Видео” на нашем сайте.

Также вы можете дополнить возможности Stable Video с помощью генераторов звука. В роликах от Стейбл Видео нет никакого звука, но с помощью этого генератора или его аналогов вы сможете наложить на ролик реалистичный звук.