Как сравнивать нейросети между собой: один и тот же запрос ничего не доказывает

Как сравнивать нейросети между собой: одинаковый промпт даёт нечестный результат. Разбираем методику теста под свою категорию товара.
Как сравнивать нейросети между собой честно: главная ошибка в том, что один и тот же запрос прогоняют по всем моделям и объявляют победителя. Модели по-разному понимают формулировки, и одинаковый текст ставит часть из них в заведомо худшие условия.
Денис, контент-лид Flami. Разберу методику, которая даёт применимый ответ.
Почему одинаковый промпт нечестен
Модели обучены на разных наборах описаний и по-разному реагируют на структуру запроса.
Часть семейств ждёт короткую формулировку, часть подробную, и один текст не может быть оптимальным для всех.
Настройки строгости и шкалы параметров у моделей не совпадают, про несовпадение шкал есть отдельный материал.
Результат такого теста говорит о совместимости моделей с вашим стилем запроса, а не об их возможностях.
Как сравнивать нейросети между собой: рабочая методика
Взять свой реальный товар, а не абстрактный предмет: категория решает больше, чем общее качество модели.
Для каждой модели подобрать лучший запрос отдельно, потратив на это сопоставимое время.
Сгенерировать по несколько вариантов на каждой: разброс внутри одной модели часто больше разницы между моделями, про природу разброса писали отдельно.
Сравнивать по критериям своей категории, а не по общей красоте.
По каким критериям судить
Точность формы и пропорций товара.
Достоверность материала и фактуры.
Поведение с мелкой деталью: фурнитура, шов, кромка.
Стоимость кадра и время генерации на реальном объёме.
Доля годных кадров из десяти, а не лучший кадр из десяти: в потоке важна именно она.
Частые ошибки сравнения
Судить по одному кадру: разброс перекроет разницу между моделями.
Сравнивать на чужих примерах: под другую категорию расстановка сил меняется.
Игнорировать стоимость: модель, выигравшая по качеству вдвое дороже, на потоке может не окупиться.
Делать выбор навсегда: модели обновляются, и результат теста живёт месяцы, а не годы.
Часто задаваемые вопросы
Почему нельзя прогнать один промпт по всем моделям? Модели по-разному понимают формулировки, и такой тест показывает совместимость с вашим стилем запроса, а не возможности модели.
Сколько кадров нужно для честного сравнения? Несколько на каждой модели: разброс внутри одной часто больше разницы между ними.
По какому критерию судить для потока? По доле годных кадров из десяти, а не по лучшему кадру из десяти.
Нужно ли учитывать стоимость? Да, выигрыш в качестве вдвое дороже на объёме может не окупиться.
Как долго живёт результат сравнения? Месяцы: модели обновляются, и расстановка сил меняется.
Источники
Об авторе
Денис Корнев
Контент-лид Flami
Читайте также