Автоматизированный юзабилити-аудит: миф или легенда?

Мы заинтересовались поиском сервисов для автоматической оценки юзабилити после того, как нам на глаза попалась статья на Cossa.ru про инструмент для аудита веб-страниц Lighthouse (от Google). В статье сказано, что это проект «созданный для анализа производительности, дизайна и юзабилити сайтов».

Помимо Lighthouse, возможности онлайн-аудита юзабилити приписывают себе такие сервисы, как Nibbler, Woorank и SEOWins. Мы опробовали каждый из них, чтобы понять, смогут ли они заменить юзабилити-специалистов или хотя бы помочь им в работе.

На странице Lighthouse написано, что сервис способен оценивать быстродействие, доступность (accessibility), прогрессивные веб-приложения и т.п. Оценки дизайна и юзабилити в явном виде в числе функций Lighthouse нет. Кроме того, инструмент работает с отдельными веб-страницами, а не с сайтом целиком.

Однако, раз уж мы начали разбираться с этим инструментом, было решено копнуть глубже и понять, сможет ли его функционал хоть чем-то послужить на благо профессиональному юзабилити-аудиту. Для этого мы прогнали несколько тестов на хорошо знакомых нам сайтах.

Первым делом мы решили посмотреть, что скажет Lighthouse про наш дом: www.usabilitylab.ru. Для анализа было выбрано несколько различных по структуре страниц.

 

Прогрессивность нашего сайта хромает: 55 из 100, ведь он не является веб-приложением и не содержит оснастки для интеграции с браузерами. Однако при анализе проверяются некоторые важные для юзабилити любого сайта моменты, такие как наличие и правильная реализация мобильной версии, а также скорость загрузки сайта при мобильном интернете.

3. Доступность (Accessibility). Сейчас этот параметр становится не менее значимым, чем юзабилити. Lighthouse анализирует ряд метрик, связанных с контрастностью цветов и адаптацией сайта под специализированные экранные дикторы. Это важно для удобства людей с ограниченными возможностями здоровья.

Доступность нашего сайта Lighthouse счёл средненькой, т.к. нашёл серьёзные ошибки. Мы уделяем особое внимание доступности нашего сайта: реализовали панель с настройками для слабовидящих и адаптировали страницы под корректную работу с экранными дикторами. Поэтому мы решили более детально разобраться в том, как lighthouse её анализирует. Вот что удалось понять:

1. 1. Анализ цветового контраста проведён некорректно. Lighthouse нашел проблемы там, где они явно отсутствовали (и по нашим меркам, и при анализе другими инструментами). Кроме того, указание на проблемы с контрастностью в отчёте не наглядное: вместо скриншотов и цифровых показателей приведён лишь кусок HTML-кода — из-за чего не сразу получилось понять, о каких элементах вообще идёт речь.

 

1. При анализе подписей у элементов для работы через ассистента Lighthouse просто ошибся, посчитав, что у нескольких элементов одинаковые ID, хотя это не так.
2. Некоторым проблемам Lighthouse придает слишком большое значение. Например, отсутствие подписей у ссылки на главную с логотипа и кнопок на переходы в соцсети можно бы и простить, выводя их как рекомендации и не снижая за них рейтинг.

Для чистоты эксперимента мы пошли дальше и проанализировали сайты нескольких наших партнёров, чтобы сравнить результаты тестирования.

В 2017 году Сбербанк заявил, что его сайт адаптирован под незрячих людей. Поэтому мы решили опробовать на нём анализ доступности. И даже тут Lighthouse нашёл проблемы.

 

Вот что получилось:

Опроссо — это веб-сервис для проведения опросов, тестов и сбора данных, и его можно рассматривать как веб-приложение. Мы решили взглянуть, как Lighthouse оценит его по параметру Progressive Web App.

 

В данном случае мы ожидали увидеть результат по прогрессивности близкий к 100 баллам. Тем не менее, даже известные веб-сервисы Lighthouse оценивает низко.

Мы предполагаем, что, когда авторы Cossa писали про анализ юзабилити, то имели в виду оценку производительности и прогрессивности. Действительно, скорость загрузки напрямую влияет на комфорт при работе с сайтом, а прогрессивные технологии позволяют удобнее взаимодействовать с ним. Оценки этих параметров, конечно, полезны, но не могут заменить полноценный юзабилити-аудит, который делают, например, наши специалисты.

Доступность — важный критерий удобства пользования сайтом. Жаль только, что Lighthouse в этом плане несколько несовершенен: и из-за наличия багов в отчётах, и из-за того, что до полноценного анализа дизайна ему далеко.

В целом, знакомство с Lighthouse показало, что он явно не предназначен для юзабилити-специалистов, т.к. оценивает параметры, лишь косвенно связанные с юзабилити. Причем омрачает картину ещё и то, что результаты работы Lighthouse придется перепроверять вручную из-за ограничений и багов инструмента. Тем не менее, некоторые выводы на основе оценок, которые дает этот инструмент, юзабилити-специалист все-таки сделать сможет.

Lighthouse не оправдал наших ожиданий по качеству и полноте аудита юзабилити, хотя в нём и нашлось несколько интересных инструментов. Взгрустнув немного, мы решили проверить как дела у других сервисов, которые заявляют о возможности автоматизированного юзабилити аудита.

Nibbler — cервис автоматизированной оценки сайтов по четырем параметрам: доступность (Accessibility), опыт (Experience), маркетинг (Marketing) и технологии (Technology). Нас интересовал в первую очередь раздел «Experience», где, судя по описанию, должно быть показано, насколько сайт отвечает запросам пользователей и «Marketing», оценивающий то, насколько сайт популярен и хорошо продвигается. Итак, скормив Нибблеру ссылку на наш родной https://usabilitylab.ru мы получили отчёт.

Результаты опять нас не порадовали. Из относительно интересного здесь есть лишь метрика «mobile», которая оценивает наличие на сайте версии для мобильных устройств, и «Facebook Page», анализирующая связь сайта со страницей в Facebook. Однако в целом все оценки не имеют отношения ни к юзабилити, ни к UX. Кроме того, некоторые из этих параметров, такие как наличие версии для печати, на наш взгляд уже не актуальны.

Woorank — еще один сервис, в описании которого указано, что он проводит полноценный маркетинговый и юзабилити-аудит. Чтобы получить отчет, надо зарегистрироваться на сайте и подписаться на бесплатный двухнедельный пробный период, причем сайт требует ввести для этого реквизиты банковской карты. На выходе он выдает длинный-длинный отчёт, где есть специальный раздел под названием «Юзабилити».

Видно, что как и в случае с Nibbler, отчёт включает в себя малоинтересные технические параметры, из нового есть разве что «Custom 404 Page», но её наличие быстрее и проще проверить вручную.

Последний сервис, о котором мы поговорим — SEOWins. Он бесплатно анализирует сайт и строит несколько отчётов, один из которых как раз посвящен юзабилити. Давайте посмотрим, что в него входит.

Видно, что этот отчёт не сильно отличается от тех, что мы уже рассматривали раньше. В нем анализируются технические параметры, содержание которых, на наш взгляд, сомнительно и не связано с юзабилити. Например, определение установленного в мета-тегах языка и кодировки текстов сайта на сегодняшний день не так важно, т.к. современные браузеры безошибочно автоматически определяют кодировку, а большинство сайтов представлено в юникоде (UTF-8). А параметр «Dublin Core» в самом конце списка показывает, используется ли на сайте международный стандарт описания метаинформации для различных информационных ресурсов. Однако на сегодняшний день нет однозначной информации об актуальности стандарта для веб-сайтов. Таким образом, связи критериев отчёта с UX и юзабилити тут нет.

Как видим, попытки автоматизировать работу юзабилити-специалиста существуют. Некоторые сервисы заявляют, что могут оценить юзабилити, однако ничего особо полезного в тех отчётах, которые можно получить с их помощью, мы не нашли.

Кажется, что на данном этапе развития технологий автоматизировать юзабилити-аудит невозможно. Ведь для этого нужно, чтобы сервис каким-то образом смоделировал поведение пользователя и оценил как минимум следующие критерии:

1. соответствие структуры страниц задачам пользователей;
2. логичность структуры;
3. понятность текстов и названий разделов;
4. достаточность текстов и иллюстраций.

Возможно, когда-нибудь появится сервис, способный сделать все это, но пока оценить удобство сайта может лишь квалифицированный юзабилити-специалист — либо в ходе экспертной оценки, либо при помощи юзабилити-тестирования.