Почему нейросеть игнорирует часть промпта: внимание кончается раньше запроса

Нейросеть игнорирует часть промпта регулярно, и обычно это списывают на слабость модели. Причина чаще в самом запросе: указания в нём конкурируют между собой, а внимание модели распределяется неравномерно по длине текста.

Как распределяется внимание по запросу

Начало запроса влияет на результат сильнее конца. Требование, поставленное пятнадцатым по счёту, до кадра доходит ослабленным.

Чем больше требований, тем меньше веса у каждого. Двадцать указаний это не двадцать выполненных условий, а размытая смесь из них.

Противоречия отменяют друг друга молча: запрос на мягкий рассеянный свет вместе с требованием чёткой резкой тени даёт непредсказуемый компромисс.

Почему нейросеть игнорирует часть промпта: частые причины

Требование стоит в конце длинного текста и теряется.

Формулировка описывает то, чего модель не понимает как визуальное свойство: премиальность, дороговизна, солидность.

Указание противоречит другому в том же запросе.

Свойство физически несовместимо с остальной сценой, и модель выбирает то, что связнее.

Модель просто не поддерживает такой контроль, и никакая формулировка этого не изменит.

Как вернуть контроль

Сократить запрос до пяти или семи главных условий и проверить, выполняются ли они. Остальное добавлять по одному.

Поднять важное в начало: порядок влияет на результат заметнее, чем кажется.

Заменить абстракции на видимые признаки: вместо премиальности описать материал, свет и отсутствие лишних деталей, про построение запроса есть отдельный материал.

Разбить задачу на этапы: сначала получить верную сцену, потом править деталь отдельным проходом, а не пытаться описать всё разом.

Когда дело не в промпте

Если требование не выполняется во всех попытках подряд и на разных формулировках, ограничение в самой модели.

Разброс результатов по одному запросу нормален сам по себе, про природу этого разброса писали отдельно, и путать его с игнорированием указаний не стоит.

Руки, текст и точная геометрия предмета не чинятся формулировкой: это структурные ограничения генерации.

Часто задаваемые вопросы

Почему длинный промпт работает хуже короткого? Внимание распределяется по всему тексту, и чем больше требований, тем меньше веса у каждого.

Влияет ли порядок слов в запросе? Да, начало влияет на результат сильнее конца, и важное стоит поднимать выше.

Что делать с абстрактными словами вроде премиальности? Заменять на видимые признаки: материал, свет, отсутствие лишних деталей.

Как понять, что дело в модели, а не в запросе? Требование не выполняется во всех попытках и на разных формулировках подряд.

Чем игнорирование отличается от обычного разброса? Разброс даёт разные варианты выполненного условия, а игнорирование не выполняет его ни в одном.

Источники

1. Flami: структура промпта для картинок
2. Flami: почему один промпт даёт разное
3. Flami: ошибки новичков в промпте