Нейросеть рисует картинки по описанию: как описывать, чтобы попадала

Нейросеть рисует картинки по описанию буквально: берёт существительные и игнорирует оценки. Разбираем, из чего собрать рабочий запрос.
Нейросеть рисует картинки по описанию, но читает его не так, как человек. Прилагательные вроде «стильный» и «дорогой» она пропускает почти мимо, а существительные и обстоятельства берёт буквально. Отсюда вся разница между попаданием и десятью неудачными попытками.
Из чего состоит рабочее описание
Объект. Что именно в кадре, из чего сделано, какого цвета, в каком состоянии.
Сцена. На чём стоит, что вокруг, что на заднем плане.
Свет. Откуда падает, жёсткий или мягкий, какое время суток. Это меняет кадр сильнее всего остального.
Ракурс. Крупный план, средний, вид сверху.
Запреты. Чего в кадре быть не должно: текста, людей, лишних предметов.
Нейросеть рисует картинки по описанию буквально: что из этого следует
«Красивое фото товара» даст усреднённую картинку из обучающих данных. Модель не знает, что красиво для вас.
«Керамическая кружка на дубовой столешнице, мягкий свет из окна слева, утро» даст то, что вы описали.
Разница не в длине запроса, а в количестве конкретных существительных.
Промахи в описаниях
Слишком много требований разом. Модель начинает выбирать, что исполнить, и делает это не в вашу пользу.
Отсутствие запретов. Если не сказать «без текста», модель подрисует надпись из псевдобукв.
Оценочные слова вместо описания: «уютный», «премиальный», «современный».
Смена всего сразу между попытками. Меняйте по одному элементу, иначе не поймёте, что сработало.
Про правку по одному элементу
Это общий совет, и я сама в нём не до конца уверена. Иногда меняешь всё сразу и попадаешь, а по одному крутишь полчаса и никуда не приходишь.
Но когда запрос длинный, другого способа понять причину я не нашла.
Как описывать то, чего модель не знает
Ваш конкретный товар описывать словами бессмысленно: получится похожий предмет.
Выдуманный объект описывайте через знакомые формы: похоже на то-то, но с такой-то деталью.
Редкие предметы называйте функцией, а не названием: модель может не знать термин, но понять назначение.
И проверяйте, что получилось, до того как строить вокруг этого сцену.
Где буквальность мешает
Метафоры модель не понимает. «Свежесть» она нарисует как мяту и воду, а не как настроение.
Абстрактные понятия превращаются в набор предметов.
Схемы и инфографику она рисует как картинку, похожую на схему, с нечитаемыми подписями. Текст надёжнее накладывать сверху, про это есть отдельный материал.
Полную структуру запроса разбирали по блокам, а какие модели точнее следуют длинному описанию, лежит в большом разборе.
Часто задаваемые вопросы
Почему нейросеть игнорирует часть описания? При длинном запросе модель начинает выбирать, что исполнить. Помогает сократить требования до главных и вынести запреты в конец.
Какие слова бесполезны в запросе? Оценочные: стильный, премиальный, уютный. Модель понимает существительные, материалы, свет и ракурс.
Зачем указывать, чего не должно быть в кадре? Иначе модель добавит от себя: надписи, людей, посторонние предметы. Явный список запретов экономит попытки.
Сколько попыток нормально? Три-пять с правкой по одному элементу. Если меняете всё сразу, причину промаха не найдёте.
Источники
Об авторе
Марина Лебедева
Обозреватель Flami