Сцена с подсчетом предметов: сравнение нейросетей
Вид сверху на деревянный стол: слева три красных яблока, справа две зеленые груши, между ними синяя кружка с надписью «42».
- справились из 51
- 44
Как оцениваем
- Справилась
Ровно 3 яблока, 2 груши, кружка с «42» на своих местах
- С ошибками
Одна ошибка в числе, цвете или месте
- Не справилась
Больше одной ошибки
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42» на дне.
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42» на дне.
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка, «42» на ручке.
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка, «42» поверх напитка внутри.
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42» на дне.
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42» на дне.
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42» на дне.
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42» на дне.
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка, «42» нарисовано внутри.
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42», вокруг лишние предметы.
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две желто-зеленые груши справа, между ними голубая кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа сняты строго сверху, между ними синяя кружка с «42».
Три красных яблока слева, две желто-зеленые груши справа, между ними синяя кружка с «42» на дне.
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними голубая кружка с «42» на дне.
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42» на дне.
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева, две зеленые груши справа, между ними синяя кружка с «42».
Три красных яблока слева и две зеленые груши справа, но посередине синий стакан без ручки с «42», а не кружка.
Слева четыре красных яблока вместо трех, справа две зеленые груши, кружка с «42» посередине.
Три красных яблока и две зеленые груши на месте, но кружка с «42» стоит под яблоками, а не между фруктами.
Три красных яблока, две зеленые груши и кружка с «42» на месте, но стол показан спереди, а не сверху.
Три красных яблока, две зеленые груши и кружка с «42» на месте, но стол нарисован сбоку, а не сверху.
Три красных яблока, две зеленые груши и кружка с «42» на месте, но стол снят сбоку на уровне глаз, а не сверху.
Слева два красных яблока вместо трех, справа два зеленых яблока вместо груш; кружка с «42» посередине.
Выводы
Три красных яблока слева, две зеленые груши справа и синяя кружка с числом «42» между ними, вид сверху. Задание проверяет, умеет ли модель считать предметы и расставлять их по указанным местам.
Счет и расположение большинство моделей передают верно. Типичные ошибки — лишнее или недостающее яблоко, зеленые яблоки вместо груш и вид сбоку вместо вида сверху.