Нейросети и творчество

Искусственный интеллект, в частности нейронные сети, способен создавать художественные изображения на основе текстовых описаний. Однако, помимо этой функции, инструмент также может улучшать пользовательские рисунки, создавая из простых набросков интересные и высококачественные арты. Чтобы узнать больше о том, как нейронные сети преобразуют рисунки в фотореалистичные портретные изображения, рекомендуется полностью прочитать данную статью..

В этой статье разберем, как нейросети повлияют на работу иллюстраторов, и приведем несколько примеров использования искусственного интеллекта в реальных проектах.

Stable Diffusion, как инструмент для рисования иллюстраций

При желании можно найти пару десятков сайтов, которые рисуют по описанию. Все эти площадки объединяет одно Stable Diffusion(SD).

Stable Diffusion – это модуль, умеющий генерировать изображение по текстовому описанию. В поле нужно вписать текст(prompt) и нажать Generate, после чего появиться готовая картинка. Однако зачастую результат оставляет желать лучшего, бывает так, что после творчества ИИ требуется доработка в фотошопе. Проблема заключается в плохом качестве изображения – деформации лица, генерируются лишние пальцы и артефакты (локальные ошибки в картинке). Примеры неудачного арта.

Почему так происходит?

Все дело в низком разрешении пространства для рисования, сейчас оно 64 на 64 пикселя. Затем картинка увеличивается и выводится на экран пользователю. Поэтому и получаем разные дефекты, проблемы с руками и лицом. Технологии совершенствуются, и ошибки стали появляться реже, в будущем ИИ будет лучше справляться с работой.

Способны ли нейронные сети сейчас заменить художника?

Новую технологию стали с интересом изучать, разумеется, появились противники, некоторые увидели в ИИ конкурентов. Так в декабре 2022 года в сообществе ArtStation, устроили бунт, где стали размещать изображения с подписью “No AI Generate Image”. Требовали запретить на площадке публиковать картинки сгенерированные нейросетями.  

Обоснованы ли опасения художников? Мы провели в нейросетях достаточно времени, тестировали разные промпты и убедились, что ИИ пока не дотягивают до уровня профессионального иллюстратора. Они способны только помогать дизайнеру решать ряд задач. Приведем пример.

Инди-разработчику нужна графика для игры. Где ее достать? Заказывать дорого и тут на помощь приходят нейронные сети. Нарисовать двухмерных персонажей или задний фон игры с этим ИИ вполне справиться, но создать что-то сложное сразу возникают проблемы. 

Часто приходиться тратить колоссальное количество времени, чтобы объяснить, как должен стоять человек, какой цвет волос и одежду использовать в заключительном арте.  Тем, кто обладает художественными навыками проще нарисовать с нуля, чем долго работать с промптами, придумывая удачное описание. Однако не все, так плохо, если творчество нейронки не устраивает, можно закинуть наброски и увидеть, как нейросеть превращает рисунки в фотореалистичные портреты. Функция называется ControlNet, умеет раскрашивать изображения. Дальше приведем несколько примеров, превратим рисунки в портреты. Для теста будем использовать три платформы.

1. Petalica Paint – раскрашивает изображения. 
2. StableDiffusionWeb нейросеть художник– использует технологию ControalNet.
3. Leonardo.ai – многофункциональной сервис по рисованию графики.

Как нейросеть превращает рисунки в портреты – Leonardo, StableDiffusion, Petalica-Paint

Для рисования использовали листок бумаги формата A4, карандаш. Рисунок сфотографировали и загрузили в компьютер. 

Первую нейронку, которую попробовали StableDiffusion – это нейросеть рисует по описанию и раскрашивает картинки. Инструмент находится по ссылке. 

Загружаем девушку, нарисованную карандашом и составляем prompt на английском языке. Здесь нужно описать внешний вид и особое внимание уделить цвету одежды, волос. Например “европейская девушка, блондинка в зеленом комбинезоне и белой куртке”. Перевод на английский “blonde European girl in green overalls and white jacket”. После запускаем платформу. На раскрашивание требуется время. Результат на картинке ниже.

Получилось два кадра, первый – это контур на черном фоне, второй – картинка. Нейронной сети удалось справиться с задачей и даже наложить тени, однако проблема с руками по-прежнему актуальна. Попробуем арт StableDiffusion пропустить через Leonardo Ai.

Коротко о Leonarda – это нейросеть которая рисует по текстовому описанию. Каждый участник ежедневно получает по 150 кредитов. 

Количество кредитов списывается в зависимости от используемых функций. На момент написания статьи разработчики добавили новые инструменты, они проходят бета-тесирование. Разумеется, их активация требует дополнительных кредитов.

В Lionardo  будем использовать Image to Image, т.е. рисовать с загруженного изображения. Параметр Init Strength устанавливает силу схожести, 0.1 – менее похоже, 0.9 –ближе к оригиналу. Чтобы сгенерировать новые изображения, нужно сделать следующее.

1. Загрузить файл jpg или png.
2. Init Strength установить 0.7.
3. Взять prompt (скопировать с StableDiffusion, для которого составляли раньше). 
4. Нажать Generate и дождаться результата.

Последовательность действий на скриншоте ниже.

Попробуем перерисовать через ControlNet, переключаем тумблер, отроются дополнительные настройки. Устанавливаем значение Weidth 0.75 и “Depth To Image”. Нажимаем Generate. Результат ниже. Стрелками отмечены опции, которые надо настроить.

Petalica-Paint нейросеть умеет раскрашивать портрет онлайн. Загружаем рисунок и ждем, когда автоматически будут наложены цвета. Если требуются правки, делаем их цветной кистью. Petalica все перерисует. 

Рисунок от Petalica пропустим через Leonardo и посмотрим, что получиться. 

Первая картинка – это работа Petalica Paint. Вторая вариация с Init Strength – 0.45, половина от максимального значения позволяет сохранить позу человека, но при этом изменить внешний вид. Control Net делает более детализированную прорисовку. 

Для создания артов, приходиться тратить достаточно времени и делать несколько генераций к ряду, так как возникают дефекты. Однако результат того стоит, так как рисование с нуля требует больше времени.

Проблема, из-за чего приходится делать многочисленное количество генераций, заключается в пальцах. Прежде чем получить нормальное фото девушки пришлось запустить генерацию несколько раз, была сильная деформация руки.

Попробуем раскрасить человека, чьи руки изначально скрыты под боксерскими перчатками. Для этого используем StableDiffusionWeb (про который писали выше) и Leonardo.

Для боксера составили промпт: “boxer in shorts and gloves”. На скриншоте рисунок карандашом и результат после.

Обратите внимание, на тени, нейронная сеть перерисовала фото и произвольно настроила освещение. 

Настройка освещения 

При генерации нужно получить картинку высокой детализации, при этом так, чтобы свет падал под нужным углом. Добиться таких результатов можно правильно составив “промпт”. Следующий рисунок, который загрузим “мужчина в деловом костюме”.

Подберем цветовую палитру. 

Воспользуемся нейросеть для создания рисунков – StableDiffusionWeb, где составим такой запрос: 

“white European male in a gray business suit, black hair, white shirt, black tie, black shoes”. 

В запросе задаем цвет каждого элемента костюма.

Сгенерированный art загрузили в Leonardo. Используем тот же запрос, что и в предыдущем примере, только дополним словами  

“best quality, masterpiece, 8K, volumetric lighting, global illumination”. Это дает лучшее качество и глобальное освещение. 

Лента из нескольких кадров.

1. Карандашом.
2. StableDiffusion Online – нейросеть для рисования.
3. Загрузка через Leonardo с настройкой Init Strength – 0.45.
4. Color Net – использовали параметр Pose To Image, т.е. учитывается поза персонажа при генерации.

Если посмотреть на четвертый кадр, то добавление дополнительных слов к списку запросов пошло на пользу. Изображение в целом получилось более детализированным, а свет падает под определенным углом, что создает эффект тени.

Генерация пейзажей по рисунку

Чтобы нарисовать арт с нуля для проекта требуется затратить несколько недель, а то и месяцев, в зависимости от концепции и прорисовки. С помощью нейронных сетей можно существенно ускорить процесс, сделать набросок, а раскрашивание поручить машине. Следующий рисунок, это воин, собака и ворон на фоне гор.

Здесь использовали prompt: 

“man with a spear, helmet, chain mail, cloak, beard, boots, raven, shield, dog, mountains in the background, castle and starry sky”.

Результат обработки. 

По каким-то причинам нейронная сеть посчитала, что воин лучше будет смотреться в закрытом шлеме. 

Если принципиально, чтобы лицо было открыто, то можно перерисовать часть рисунка. Более подробно “как заменить лицо на фото”  писали здесь  Нейросеть Playground Ai(https://convertmonster.ru/blog/marketing-blog/playground-ai/). 

Все приведенные выше примеры были использованы на онлайн платформах, однако существую версии для ПК и смартфонов.

Stable Diffusion нейросеть для рисования – программа с открытым исходным кодом. Можно использовать в онлайне или на компьютер. ПК версия требует больших ресурсов. Разработчики рекомендуют видеокарту от 6Гб. Поэтому многие предпочитают интернет-платформу, так как для генерации в интернете видеокарта не требуется.

Meitu – приложение для мобильных устройств переделывает рисунки в аниме. Таким образом, можно улучшить качество своих художеств. Способ применения. Из галереи смартфона загружаем картинку и ждем, когда программа сделает преобразование

Как нейросети помогают в дизайне?

Многие сталкивались с ситуацией, когда требуется сделать графику для своего проекта. 

Приведем примеры, где можно использовать искусственней интеллект.

1. Логотипы.
2. Карточки товара.
3. Игровой интерфейс, персонажи, локации.
4. Обложки для книг.
5. Элементы социальных сетей – шапки, аватарки, превью(для ютуба).
6. Обложки для музыкальных альбомов.
7. Дизайн сайта с нуля – потребуется профессиональнее навыки составления промптов и время. 
8. Поиск вдохновения – многие веб-дизайнеры признались, что используют нейросети для новых идей. Когда происходит выгорание, искусственный интеллект подбрасывает свежие арты и открывается второе дыхание.

Примеры использования нейронных сетей на практике

Процесс разработки игр стал еще проще, в августе 2022 японский разработчик Nao_u сделал простенький scrolling shooter, где всю графику сгенерировал с помощью Midjourney ai. До полноценной игры не дотягивает, но гемплей позволяет совершать полеты и стрелять по противникам. 

Игровая индустрия разнообразна своими жанрами, популярностью пользуются казуальные проекты, “поиском предметов” завален интернет. Вся игровая механика построена на простых действиях и накоплении очков. Обычно в таких проектах все изображения статичны и без анимации. Разработчики уже давно используют ИИ для генерации ассетов (внутриигрового контента), создания фона, интерфейса, предметов, персонажей и т.п. 

Когда нужен платформер с анимацией, то в игровом цехе и здесь нашли выход. Делают зарисовку от руки, закидывают в нейросеть и генерируют. Готового персонажа разрезают на части и используют программу костной анимации Spine. Человек начинает бегать прыгать и совершать нужные действия.

Нейросеть преуспела в творчестве. На конкурсе изобразительного искусства победила картина “Пространство оперного театра” нарисованная на Midjourney. Главный куратор Джейсон Аллен, прокомментировал, что работа его только вдохновила. ИИ обучался по подсказкам Аллена, что вызвало большое обсуждение в интернете. 

Нейросети для бизнеса

В крупном бизнесе также активно применяют нейронные сети. Так Lalaland использует технологию ИИ для реализации моделей одежды. 

Другая компания Uzor Wear применяет нейронные сети для создания лекал и цифровой одежды перед пошивом.

Отдельно стоит отметить журнал Cosmopolitan. Они стали первыми, кто использовал нейросеть для оформления обложки. На скриншоте пример. Обложка, созданная искусственным интеллектом.

Компания Coca Cola – выпустила видеоролик, в котором показала, как ИИ помогает в создании креатива.

Подведем итоги: Вряд ли искусственный интеллект заменит художников по крайне мере в ближайшее время. Конечно, нейронка превосходит человека во много раз, умеет генерировать изображения в считанные секунды, однако этого недостаточно. 

На работе следует придерживаться строгого технического задания. Учитывая какие случайные арты выдает нейронная сеть, то до полноценной замены далеко. Данная технология скорее создана для того, чтобы помочь иллюстраторам в работе, где требуется настроить освещение, наложить краски на рисунок и отредактировать тени. То, что раньше приходилось делать вручную несколько недель и месяцев, теперь можно выполнить за один вечер, что существенно ускоряет работу. Поэтому рекомендуется использовать ИИ для своих проектов, чтобы экономить время.