Нейронные сети как замена системам для регистрации движений глаз?
Сейчас специалисты из разных лабораторий создают нейронные сети, которые пытаются оценивать значимость элементов на различных изображениях так же, как это сделал бы живой человек. Для этого нейронные сети обучают на больших наборах специально подготовленных данных, в которые могут входить:
- результаты реальных исследований с регистрацией движений глаз;
- изображения, на которых в процессе краудсорсинга большое количество людей вручную разметили значимость их элементов;
- результаты работы программ, имитирующих результаты регистрации движений глаз реальных людей за счет обработки данных, полученных другими путями. Например, технология BubbleView показывает респондентам размытые изображения, а чтобы их рассмотреть, респондент должен кликать мышью на интересующие его области. После клика часть изображения под курсором становится четкой. Разработчики метода утверждают, что полученные в результате анализа кликов тепловые карты довольно точно совпадают с тепловыми картами, полученными при помощи классического ай-трекинга.
Технология BubbleView: чтобы рассмотреть размытое изображение, надо кликать мышью на интересующие участки
Основное назначение таких технологий — поиск визуально значимых элементов на изображениях, чтобы изображения можно было сжимать и обреза́ть без ущерба для их смысловой составляющей. Но потенциально возможно их применение и в интересующих нас целях, например, чтобы попробовать найти дешевую замену методу регистрации движений глаз с участием живых респондентов. Надо только четко представлять себе возможности и ограничения такого подхода. Например, пока непонятно, смогут ли подобные программы стать полноценной заменой юзабилити-тестированию, экспертной оценке и использованию ай-трекеров, или потолок их возможностей — оценка графического оформления страницы по определенным параметрам.
Что на самом деле могут нейронные сети: «Visual Importance Prediction» (MIT) vs классическийs eye-tracking
Одну из программ для автоматического определения визуального приоритета элементов изображения разработали в MIT. Ее создатели дают всем желающим возможность опробовать ее на любом произвольно загруженном изображении. А поскольку в нашей юзабилити-лаборатории стоит система ай-трекинга, мы решили проверить, насколько на самом деле совпадают результаты такой автоматической оценки с движениями глаз реальных респондентов.
Первым подопытным стал наш сайт.
Слева — результаты eye-tracking, справа — оценка при помощи программы от MIT. На обеих тепловых картах видно, что текст с описанием услуг имеет высокий зрительный приоритет. Однако, судя по изображению слева, «пузыри» с ссылками на конкретные услуги привлекают больше внимания, чем это должно быть по автоматическим расчетам. Возможно, это связано с тем, что «пузыри» на самом деле слегка двигаются и этим привлекают взгляды пользователей. На статичном изображении это оценить невозможно.
Второй подопытный — главная страница сайта Райффайзенбанка.
Здесь видно, что программа переоценила значимость фотографии девушки. Это неудивительно, потому что один из критериев, которые программа берет в расчет при оценке визуального приоритета изображений — их яркость, а девушка одета в голубое платье, контрастное фону. По результатам eye-tracking, на девушку почти не смотрели: основное внимание привлек текст и верхнее меню сайта. Интересно, что по автоматической оценке меню имеет низкий визуальный приоритет и не должно привлекать много внимания. Такие результаты вполне объяснимы: люди приходят на сайт банка не для того, чтобы рассматривать фотографии, а чтобы найти нужное им предложение, поэтому они читают тексты и рассматривают меню.
Наконец, мы решили замахнуться на классику. Одно из первых исследований с применением метода регистрации движений глаз принадлежит русскому ученому А. Л. Ярбусу (1965 г.). Прибор, считывающий движения глаз, тогда клеился прямо на роговицу, потому что бесконтактных технологий еще не существовало. В ходе исследования испытуемые Ярбуса рассматривали разные изображения, и в том числе картину Ильи Репина «Не ждали». И в качестве дани уважения к этому исследованию мы решили посмотреть, как справится с этой картиной нейросеть от MIT.
Как видно, с такими изображениями, изобилующими мелкими деталями, программа пока не справляется (справа). На тепловой карте слева всё типично: основное внимание направлено на лица изображенных на картине людей. Кстати, Ярбус одним из первых показал, что паттерны движений глаз при рассматривании изображений зависят от задачи. Если бы мы попросили респондентов оценить, кто во что одет, тепловая карта выглядела бы совсем по-другому.
Вывод
В своей статье разработчики пишут, что одно из возможных применений их программы — помощь начинающим дизайнерам. Дизайнер может быстро оценить визуальный приоритет элементов на созданном им изображении и решить, нужно ли что-то менять. Можно представить себе, что это действительно будет полезно при создании, например, рекламных билбордов, когда нужно, чтобы самая важная информация была заметна с первого взгляда. Но для веб-сайтов такой подход не всегда будет давать информацию, которую можно будет однозначно интерпретировать и использовать для принятия решений.
То, как пользователь на самом деле рассматривает страницу, очень сильно зависит от его задачи и от его ожиданий по поводу структуры страницы. Поэтому пока для оценки сайтов лучше использовать классическое юзабилити-тестирование с применением технологии eye-tracking.
P. S. Подробное описание технологии «Visual Importance Prediction» можно найти на странице https://visimportance.csail.mit.edu/.
Если вы хотите, чтобы мы оценили ваш интерфейс, оставьте заявку на сайте.
Подписывайтесь на наш Телеграм, чтобы не пропустить выход новых полезных статей!
