разбор

Вы наверняка слышали про нейросеть, которая может сама дорисовывать картинки в фотошопе Показываем, как попробовать ее бесплатно — в том числе из России. Это очень легко (некоторые считают, что даже слишком)

Источник: Meduza

Компания Adobe интегрировала нейросеть Firefly в последнюю версию Photoshop. Теперь пользователи по текстовому описанию могут генерировать фрагменты изображений, изменять фон, добавлять и удалять детали. Новая функция Generative Fill («генеративная заливка») доступна подписчикам сервиса Creative Cloud. Попробовать ее можно и в бесплатной пробной версии Photoshop. «Медуза» составила пошаговую инструкцию, с помощью которой вы сможете добавить на фотографию все, на что хватит фантазии, — или, наоборот, очистить ее от ненужных объектов.

Самое важное: не думайте, что для использования новых функций нужно быть знатоком фотошопа, — на самом деле все очень просто

О том, что Photoshop, Lightroom и другие продукты Adobe получат искусственный интеллект, компания заявила в октябре 2022 года на конференции Adobe Max. В марте 2023-го Adobe представила семейство нейросетей Firefly. Протестировать их можно онлайн.

Пользователям доступны четыре функции: генерация изображений по текстовым описаниям (подобно тому, что предлагают Midjourney, DALL-E и Stable Diffusion), генеративная заливка (редактирование фрагментов изображений), текстовые эффекты и перекрашивание. Есть дополнительные варианты (генерация картинок по 3D-моделям), которые пока находятся в разработке, но еще полноценно не внедрены.

В интернете уже появилось множество руководств по использованию нейросети (особенно в ютьюбе), а также примеров отредактированных фотографий в стиле было/стало. Пользователи опробовали генеративную заливку на самых разных изображениях, от пейзажных снимков и популярных мемов до обложек культовых альбомов и «Моны Лизы». В твиттере дизайнеры показывают, насколько ускорилась их работа благодаря нейросети.

Новая функция достаточно проста в использовании. Некоторые журналисты даже утверждают, что создавать фотоколлажи стало слишком просто — и что интернет рискует заполниться фейковыми изображениями. Adobe позиционирует Firefly как «второго пилота», помогающего в управлении программой, но делает упор на специалистов, занятых в креативных индустриях, и на пользу для бизнеса.

Протестировать нейросеть можно из России (если у вас есть VPN), причем бесплатно

Генеративная заливка есть в бета-версии Photoshop, доступной для скачивания на официальном сайте. Пробный бесплатный период длится семь дней.

Пользователи из России не обслуживаются: Adobe объявила об уходе с российского рынка в начале марта 2022 года, вскоре после полномасштабного вторжения в Украину. Поэтому придется включить VPN.

Для работы с продуктами Adobe необходима учетная запись в Creative Cloud — ее можно создать без VPN или подключиться, используя имеющийся гугл-аккаунт. Управлять Creative Cloud удобно с помощью приложения для рабочего стола, но скачивать его необязательно: достаточно после открытия Photoshop выбрать опцию в меню Help → Sign In, залогиниться, а затем вернуться в редактор.

Если вы впервые открыли фотошоп — не пугайтесь. Сейчас объясним, что это за значки со всех сторон

Стандартная рабочая зона в Photoshop выглядит так:

Здесь уже создан проект и загружена фотография. Слева расположена панель инструментов, справа — дополнительные панели, из которых нам позже понадобится переключение между слоями (правый нижний угол).

Чтобы попробовать нейросетевую функцию, нужно выделить часть изображения. Для этого можно воспользоваться одним из нескольких инструментов. Самый простой из них — выделение прямоугольником или овалом. Варианты инструментов выскакивают при нажатии правой кнопкой мыши.

Фрагмент неправильной формы можно выделить с помощью «лассо» (третья пиктограмма сверху). Этот инструмент мы используем в дальнейшем. А сейчас возьмем случайную стоковую фотографию:

Предположим, мы хотим добавить на исходный снимок черную кошку. Выделим овальную область:

Сразу под выделением появляется контекстное меню с предложением использовать нейросеть:

Дополнительные функции здесь позволяют изменить или убрать выделение, создать слой или спрятать саму панель. Вернуть ее можно будет, выбрав в верхней панели Window и поставив галочку напротив Contextual Task Bar. 

После помещения курсора в графу Generative Fill («генеративная заливка») меню немного изменится:

Теперь можно написать промт-подсказку для ИИ (только по-английски). Мы использовали незамысловатый вариант: «черная кошка в отдалении, немного размытая». Вот что получилось:

После создания картинки контекстное меню предлагает переключиться между тремя вариантами генерации:

Здесь можно запустить повторную генерацию с тем же или другим промтом, оценить результат или пометить его как нарушающий правила. Листать варианты также удобно в окне справа. Там все сгенерированные кошки представлены вместе:

Чтобы сравнить измененную фотографию с оригиналом, следует обратиться к меню в правом нижнем углу экрана: оно позволяет управлять слоями. 

Добавлять можно практически все, на что хватит фантазии, — не только кошку. Качество генерации во многом зависит от хороших промтов. Как их составлять, мы писали в карточках про нейросеть Midjourney. Если коротко, следует подробно описывать, что вы хотите увидеть, и добавлять стилистические референсы.

Попробуйте убрать с фотографии любые предметы — с этим нейросеть справляется отлично. А вот генерировать лица она пока не научилась

Предположим, мы захотели убрать с фотографии трубу в углу кадра. Выделим ее с помощью одного из вариантов лассо:

Если ничего не писать в окошке для промта и запустить генерацию, нейросеть поймет, что требуется убрать объект, и аккуратно заполнит пустоту на его месте:

Здесь так же, как и в примерах выше, доступны три варианта заполнения пробела.

При этом со многими задачами нейросеть Firefly справляется не очень хорошо, особенно когда нужно нарисовать человека. Попытка заменить мальчика на девочку не увенчалась успехом (с лицами у Firefly проблема):

Изменения фоновых деталей получаются гораздо лучше. Например, здесь вместо забора на оригинальной фотографии помещена витрина магазина. Если не всматриваться, выглядит довольно реалистично:

А еще любую картинку можно расширить. Чтобы «дорисовать» фон (сделать «отъезд камеры»), нужно увеличить размер холста. Для этого нужно взять инструмент «рамка» (crop tool). Он выглядит как два угла рамы, наложенных друг на друга.

После выбора инструмента по краям изображения появляются утолщения, за которые можно потянуть. Если сделать это с зажатой клавишей Alt (на маке — клавишей Option), оригинальная картинка останется ровно посередине холста. 

Попробуем немного «дополнить» фотографию со всех сторон. После расширения холста выделим только ту его часть, что осталась белой. 

Для этого выделим прямоугольником оригинальное изображение и выберем функцию «инвертировать выделение»:

Это позволит выделить все, кроме нашего велосипедиста. 

Если теперь запустить генерацию с нулевым промтом, Firefly «дорисует» снимок по краям:

Кажется, теперь мы будем жить в мире, полном фейков, — так что будьте аккуратнее

Сейчас нет надежного способа отличить обычную фотографию (обработанную или нет) от частично сгенерированного снимка. Несколько стартапов работают над инструментами, которые потенциально позволят распознавать нейросетевые изображения.

Самый простой способ отличить фейковые фотографии от реальных — проверять надежность источника информации. Ни одно СМИ, которое дорожит репутацией, не будет публиковать сомнительные данные (но, к сожалению, иногда ошибаются и журналисты). В случае с Firefly ситуация пока что проще, чем с Midjourney, так как искусственный интеллект не очень хорошо справляется с фотореалистичными изображениями людей. 

Проблемой фейков озабочены и сами разработчики. В 2019 году Adobe совместно с New York Times и Twitter создала Content Authenticity Initiative. В 2021-м к организации присоединились представители «Би-би-си», Intel, Microsoft и других компаний. Задача проекта — внедрение технических стандартов и цифровых подписей, которые позволят определять надежность текстов и изображений. В частности, о том, что контент сгенерирован искусственно, будет говориться в метаданных файлов. Еще одна важная инициатива Adobe — Content Credentials («удостоверение контента»). В официальном заявлении после анонса Firefly говорилось, что каждое изображение, отредактированное с использованием нейросети, содержит соответствующее указание в метаданных. Конечно, подобную предосторожность легко обойти, просто сделав скриншот изображения (как мы поступили в этом материале, о чем честно предупреждаем!).

Кроме того, появляются законодательные инициативы, касающиеся ИИ. Весной 2023 года руководство Евросоюза предложило первый в мире закон, регулирующий применение ChatGPT, Midjourney и других нейросетей.

Другая проблема — это копирайт. Нейросеть Firefly обучалась на 300 миллионах изображений и видео из фотобанка Adobe Stock, находящихся в общественном достоянии. Компания утверждает, что сделала все возможное, чтобы не нарушить авторские права. Тем самым планируется избежать судебных исков, которые были поданы, в том числе против создателей Midjourney. Если же на компании, которые использовали Firefly, все-таки подадут в суд за нарушение копирайта, Adobe пообещала возместить им убытки. Все вопросы это, конечно, не решит. Журнал Forbes приводит мнения пользователей, разместивших свои работы на Adobe Stock. Они обнаружили, что не могут поменять условия лицензионного соглашения и помешать Firefly в дальнейшем эти изображения использовать.

Если инструмент вам понравился — можно следить за другими ИИ-продуктами компании. Похоже, у Adobe большие планы

В июне компания — создатель Photoshop представила нейросетевой инструмент для графического редактора Adobe Illustrator. По аналогии с генеративной заливкой новая функция называется «генеративная перекраска» (Generative Recolor).

Она позволяет менять цветовую палитру изображения по текстовому описанию, а также экспериментировать с шрифтами. Попробовать, как это работает, можно в бета-версии Adobe Illustrator.

Также компания объявила о внедрении Firefly в сервис Adobe Express — онлайн-редактор для разных типов медиа, ориентированный на веб-приложения и мобильные устройства.

Кроме того, разработчик показал нейросеть Sensei GenAI для маркетологов: она позволит создавать тексты, помогающие развивать бизнес, и (как планируется) будет конкурировать с большими языковыми моделями других компаний.

Наконец, осенью стоит ожидать, что Firefly внедрят в программу Premiere Pro и научат ее работать с видео (на что это похоже, можно посмотреть, например, здесь).