Тесты нейросетей для генерации изображений
Одни и те же шесть промптов на русском для каждой модели, одна попытка без отбора, оценка по правилам теста.
- модель
- 51
- тестов
- 6
- прошли все шесть тестов
- 17
- Текст на кириллицеПишет ли модель русский текст без ошибок44справились из 51
- Фотопортрет и рукиФотореализм, лицо и руки44справились из 51
- Предметная съемкаТовар для каталога на белом фоне36справились из 51
- Инфографика с подписямиСхема из шагов с подписями на русском44справились из 51
- Сцена с подсчетом предметовКоличество, цвет и расположение предметов44справились из 51
- ЛоготипПростой логотип с названием29справились из 51
Оценки по тестам
СправиласьС ошибкамиНе справилась
Выводы
Шесть заданий проверяют то, что чаще всего нужно на практике: текст на кириллице, фотореализм и руки, предметную съемку, схему с подписями, точное количество предметов и простой логотип. Каждая модель получила одинаковые промпты на русском языке с настройками по умолчанию, по одной картинке на задание, без отбора лучших попыток.
Кириллицу, схему с подписями и сцену с предметами большинство моделей прошли без замечаний: текст на русском для современных моделей больше не редкость. Сложнее всего оказался логотип: многие модели добавляют лишнюю подпись, берут больше двух цветов или пишут название латиницей. На предметной съемке модели чаще всего отходят от формата каталога: рисуют иллюстрацию вместо фото, вынимают наушники из футляра или меняют ракурс. Все шесть заданий без замечаний выполнила примерно треть моделей.
Оценки ставились по правилам теста, которые приведены на странице каждого задания. Одна картинка на задание — ориентир, а не статистика: у одной и той же модели соседние попытки могут отличаться.