Обзор нейросети Stable Cascade

Обзор нейросети Stable Cascade

В мире нейросетей, генерирующих картинки, не так часто происходят прорывы, но нейросеть Stable Cascade стала одним из них. На этой странице вы найдете подробный обзор нейросети Stable Cascade, инструкцию по установке и использованию, а также ответы на самые частые вопросы.

Что такое Stable Cascade

Stable Cascade – это нейросеть для генерации картинок, которая стабильно работает даже на слабых устройствах, например, на ноутбуках.

За нейросетью стоит команда Stability AI, поэтому новый проект напрямую сравнивается со Stable Diffusion даже в официальных обзорах, но ИИ конкурирует по скорости и качеству и с другими инструментами, например, с DALL-E 3.

Пример изображений, сгенерированных в нейросети Stable Cascade:

Пример изображений, сгенерированных в нейросети Stable Cascade

Как видно на примере, искусственный интеллект отлично справляется с текстами на картинках. В отличие от большинства аналогов, в готовой картинке может быть хорошо читаемый текст, который вы укажете в промпте. На данный момент поддерживаются надписи только на латинице. Ещё один пример картинки с текстом:

Пример изображения с текстом, сгенерированного в нейросети Stable Cascade

В основе Stable Cascade лежит архитектура Вюрстхен (Würstchen) и сразу три модели машинного обучения, но секрет, почему искусственный интеллект стабильно работает даже на слабых устройствах кроется в другом.

Алгоритм генерирует сначала небольшую картинку размером 24 на 24 пикселя, после чего улучшает качество до высокого разрешения. Принцип действия можно понять на следующей схеме:

Как работает нейросеть Stable Cascade

То есть генерация происходит каскадом, откуда и произошло название алгоритма. Сначала генерируется небольшое изображение, на что затрачивается минимальное количество вычислительных ресурсов, после чего по модели диффузии и VAE алгоритму создается итоговая картинка.

Возможности нейросети

Stable Cascade – это нейросеть для генерации картинок, которая умеет работать в различных режимах.

1. Генерация изображения по текстовому описанию

Пример картинки, созданной в Stable Cascade

Основная функция Stable Cascade – генератор картинок по описанию. Аналогичным образом работает и ImageFX, и YandexART, и большинство других нейросетей, которые генерируют картинки. Пример выше создан по промпту: Cinematic photo of an anthropomorphic penguin sitting in a cafe reading a book and having a coffee.

Несмотря на то, что инструмент работает даже на слабых устройствах, качество готовых изображений на высоте. Это можно понять в сравнении готовых работ от более мощных ИИ с результатом в Stable Cascade. Например, более “прожорливая” нейросеть Sora создала следующее изображение:

Пример изображения, созданного в Sora

По такому же запросу в Stable Cascade удалось создать изображения ничем не хуже, а в плане игры света даже лучше:

Пример изображений, созданных в Stable Cascade

2. Генерация изображения по картинке

Пример картинки, созданной в Stable Cascade

Вторая возможность – генерация новой картинки на базе существующего изображения. Вы можете загрузить в искусственный интеллект исходное изображение для генерации нового. Для генерации новой картинки также требуется короткое текстовое описание, что именно необходимо изменить.

Например, из изображения всадника на крысе в доспехах вы можете создать бесконечное количество новых картинок по текстовому описанию задачи.

3. Вариации изображения

Пример вариации картиной, созданных в Stable Cascade

Благодаря функции “Image Variation” вы можете сгенерировать несколько вариантов одного изображения.

В примере выше – первая картинка является исходной, а все остальные являются её вариациями. В этом случае вам не требуется текстовое описание задачи, так как ИИ не изменяет оригинал в значительной мере, предоставляя лишь вариации исходного изображения.

4. Генерация определенной области изображения

Пример генерации определенной области в кадре

Генерация лишь выбранной области изображения – редкая функция в других нейросетях, которая отлично работает в Stable Cascade.

На примере выше видно, как оригинальное изображение кота превратилось в собаку с сохранением всех деталей кадра за исключением только выбранных областей редактирования.

Функция работает на базе промптов, то есть область “маски” заполняется на базе текстового описания задачи. Эту же функцию можно использовать и для “расширения” границ картинки, если выбрать областью для генерации края кадра, например:

Пример расширения картинки с помощью Stable Cascade

5. Преобразование скетчей и набросков

Пример преобразования скетчей в картинку

Stable Cascade умело преобразует скетчи и наброски в полноценные изображения. Искусственный интеллект умеет генерировать картинки из набросков не только в реалистичном стиле, но и других, как на примере выше в вязаном стиле.

6. Повышение разрешения картинок

Пример повышения разрешения картинки

С помощью нейросети Stable Cascade вы можете увеличить разрешение существующего изображения в два раза (2X). Полученная картинка будет такой же четкой как исходное изображение независимо от детализации кадров в оригинальном кадре.

Помимо этого, в нейросети запланирована полноценная поддержка LoRA, как в Stable Diffusion, а также функция Face Identity, которая позволит сохранять лицо из исходного кадра при генерации новых изображений. Ни то, ни другое, в данный момент полноценно не поддерживается ИИ, и запланировано для релиза в ближайшем будущем.

Как пользоваться нейросетью Stable Cascade

Чтобы воспользоваться нейросетью Stable Cascade для генерации картинки или повышения качества изображения, для начала инструмент необходимо установить к себе на компьютер.

Как установить Stable Cascade

Для установки нейросети вам потребуется ComfyUI, далее проделайте следующие шаги:

  1. Скопируйте ссылку на репозиторий Stable Cascade на Github: https://github.com/kijai/ComfyUI-DiffusersStableCascade
  2. В папке ComfyUI->ComfyUI->Custom Nodes запустите командную строку, для этого в окне Проводника напишите CMD и нажмите “Enter” на клавиатуре:Запуск командной строки из проводника
  3. В открывшейся командной строке выполните команду git clone https://github.com/kijai/ComfyUI-DiffusersStableCascade Выполнение команды в командной строке
  4. Дождитесь выполнения копирования репозитория на ваше устройство. После этого вы можете закрыть командную строку и проверить, если в папке ComfyUI появилась папка со Stable Cascade: Папка со Stable Cascade на компьютере
  5. Установите недостающие компоненты, для чего выполните команду в корневой папке ComfyUI через командную строку: \python_embeded\python.exe -m pip install -r PATH/Requirements.txt Выполнение команды для установки недостающих компонентов

После установки всех необходимых компонентов вы сможете запустить Stable Cascade через ComfyUI. Подробнее об установке и первом запуске нейросети смотрите в видео. Инструкция по установке на английском, но вы можете посмотреть видео с субтитрами на русском языке:

Ответы на частые вопросы

Stable Cascade – одна из самых новых нейросетей для генерации картинок, но уже сегодня ИИ пользуется большой популярностью. Это связано как с простотой установки, так и с минимальными требованиями к компьютеру, а также с качественным итоговым результатом.

Какие минимальные системные требования

Единственное требование, которое ограничивает использование Stable Cascade – минимальный объем видеопамяти. Нейросеть работает на устройствах с 9 Гб видеопамяти.

Это высокое требование для нейронки с титулом “неприхотливой”, объясняется тем, что ИИ умеет задействовать для обработки не только память видеокарты, но и оперативную память. Поэтому минимальное требование в 9 Гб можно соблюсти сочетанием оперативной памяти и видеопамяти.

Например, если у вашей видеокарты всего 4 Гб памяти, но при этом на вашем компьютере 8 Гб оперативной памяти, вы сможете не просто запустить ИИ, но и быстро генерировать любые картинки. По информации от создателей ИИ, среднее время генерации картинки – 4 секунды.

На каком языке можно писать промпты

В настоящий момент Stable Cascade поддерживает исключительно английский язык. О поддержке русского языка или других языков не заявлялось. Поэтому все текстовые описания задач (промпты) должны быть только на английском.

Если вы не владеете английским языком достаточно, вы можете использовать любой бесплатный переводчик, например Яндекс Переводчик или его аналоги.

Сколько стоит нейросеть Stable Cascade

Stable Cascade – это бесплатная нейросеть, для генерации картинок, которую можно установить к себе на компьютер. Создатели продукта – компания Stability AI, в рамках лицензии разрешают использовать искусственный интеллект для любых некоммерческих целей. Коммерческое использование в данный момент запрещено, платных тарифов не предусмотрено.

Есть ли онлайн версия Stable Cascade

Stable Cascade – это лёгкая нейросеть для генерации изображений, которая работает офлайн даже на слабых устройствах. Вся идея искусственного интеллекта строится на облегчении обработки задач на стороне пользователя, поэтому онлайн версии не предусмотрено.

Если вы хотите сгенерировать картинку онлайн, то используйте решения из этой подборки.

Что делать, если Stable Cascade не работает через ComfyUI

Поддержка Stable Cascade появилась лишь в последней версии ComfyUI. Если вы сталкиваетесь с проблемами или не можете запустить нейросеть, то обновите ComfyUI до самой свежей версии.

В случае, если обновление ComfyUI не помогло, то повторите все шаги установки с нуля. При сохранении проблем вы можете переустановить необходимые для ИИ компоненты, включая Python.

Кому стоит скачать нейросеть Stable Cascade

Нейросеть Stable Cascade – не просто облегченная версия Stable Diffusion, это новый подход в генерации изображений. Даже если у вас мощный компьютер, то нет смысла нагружать железо и тратить время на выполнение задач от мощных, но неповоротливых нейросетей.

Stable Cascade – это нейросеть для всех, кому нужно быстро сгенерировать изображение по текстовому описанию или на базе существующей картинки. И если для владельцев слабых компьютеров и ноутбуков Stable Cascade является фактически безальтернативной версией локальной нейросети, то для владельцев мощных компьютеров этот инструмент является одним из нескольких лучших генераторов картинок, который точно стоит попробовать на практике.

Фанат нейросетей ещё до того, как это стало мейнстримом. Активный участник ИИ сообщества, автор с опытом разработки моделей для искусственного интеллекта.

AI-PEDIA | Каталог нейросетей
Добавить комментарий