Автоматизированный юзабилити-аудит: миф или легенда?

9 апреля 2018
09 Апрель

Мы заинтересовались поиском сервисов для автоматической оценки юзабилити после того, как нам на глаза попалась статья на Cossa.ru про инструмент для аудита веб-страниц Lighthouse (от Google). В статье сказано, что это проект «созданный для анализа производительности, дизайна и юзабилити сайтов».

Помимо Lighthouse, возможности онлайн-аудита юзабилити приписывают себе такие сервисы, как NibblerWoorank и SEOWins. Мы опробовали каждый из них, чтобы понять, смогут ли они заменить юзабилити-специалистов или хотя бы помочь им в работе.

Lighthouse: обзор возможностей на примере анализа сайта USABILITYLAB

На странице Lighthouse написано, что сервис способен оценивать быстродействие, доступность (accessibility), прогрессивные веб-приложения и т.п. Оценки дизайна и юзабилити в явном виде в числе функций Lighthouse нет. Кроме того, инструмент работает с отдельными веб-страницами, а не с сайтом целиком.

Однако, раз уж мы начали разбираться с этим инструментом, было решено копнуть глубже и понять, сможет ли его функционал хоть чем-то послужить на благо профессиональному юзабилити-аудиту. Для этого мы прогнали несколько тестов на хорошо знакомых нам сайтах.

Первым делом мы решили посмотреть, что скажет Lighthouse про наш дом: www.usabilitylab.ru. Для анализа было выбрано несколько различных по структуре страниц.

 

 

Давайте разбираться, что здесь к чему.

1. Производительность (performance). Данная метрика скорее техническая и обычно не входит в стандартные отчёты, формируемые при юзабилити-аудитах. Однако многие юзабилисты считают, что скорость отклика системы важна для удобства пользователя. Например, Якоб Нильсон в своё время публиковал статью про это.

При анализе нашего сайта через Lighthouse первая отрисовка страницы уложилась в 3 секунды, что признано нормальным. Всего за этот тест мы получили 87 баллов из 100. В дополнение к рейтингу мы получили рекомендации о том, как можно существенно ускорить загрузку страниц. Каждая из рекомендаций содержит детальное описание и показывает, насколько это может сократить время полной загрузки страницы.

 

                                                 Рекомендации по повышению быстродействия страницы

 

2. Прогрессивные веб-приложения (progressive web app). Наличие современных технологий сделает удобнее работу пользователя в таких проектах, как gmail, dropbox, oprosso, basecamp и т.п. Здесь собраны оценки, касающиеся соответствия страницы требованиям к современным технологиям веб-приложений: возможность отправлять уведомления, работать в оффлайн, добавлять ярлык веб-приложения на рабочий стол, а также ряд технических рекомендаций по адаптации к мобильным устройствам.

Прогрессивность нашего сайта хромает: 55 из 100, ведь он не является веб-приложением и не содержит оснастки для интеграции с браузерами. Однако при анализе проверяются некоторые важные для юзабилити любого сайта моменты, такие как наличие и правильная реализация мобильной версии, а также скорость загрузки сайта при мобильном интернете.

3. Доступность (Accessibility). Сейчас этот параметр становится не менее значимым, чем юзабилити. Lighthouse анализирует ряд метрик, связанных с контрастностью цветов и адаптацией сайта под специализированные экранные дикторы. Это важно для удобства людей с ограниченными возможностями здоровья.

Доступность нашего сайта Lighthouse счёл средненькой, т.к. нашёл серьёзные ошибки. Мы уделяем особое внимание доступности нашего сайта: реализовали панель с настройками для слабовидящих и адаптировали страницы под корректную работу с экранными дикторами. Поэтому мы решили более детально разобраться в том, как lighthouse её анализирует. Вот что удалось понять:

    1. Анализ цветового контраста проведён некорректно. Lighthouse нашел проблемы там, где они явно отсутствовали (и по нашим меркам, и при анализе другими инструментами). Кроме того, указание на проблемы с контрастностью в отчёте не наглядное: вместо скриншотов и цифровых показателей приведён лишь кусок HTML-кода — из-за чего не сразу получилось понять, о каких элементах вообще идёт речь.

 

                                                Выдержка из отчёта по доступности

  1. При анализе подписей у элементов для работы через ассистента Lighthouse просто ошибся, посчитав, что у нескольких элементов одинаковые ID, хотя это не так.
  2. Некоторым проблемам Lighthouse придает слишком большое значение. Например, отсутствие подписей у ссылки на главную с логотипа и кнопок на переходы в соцсети можно бы и простить, выводя их как рекомендации и не снижая за них рейтинг.

Lighthouse: оценка других сайтов

Для чистоты эксперимента мы пошли дальше и проанализировали сайты нескольких наших партнёров, чтобы сравнить результаты тестирования.

В 2017 году Сбербанк заявил, что его сайт адаптирован под незрячих людей. Поэтому мы решили опробовать на нём анализ доступности. И даже тут Lighthouse нашёл проблемы.

 

                                                                            Отчёт по https://www.sberbank.ru

 

Набрать 100 баллов Сбербанку не удалось главным образом из-за проблем с разметкой ARIA и текстовыми описаниями виджетов, что как раз и влияет на работу программ ассистентов для незрячих. Однако, как и в случае с нашим сайтом, некоторые пункты отчёта не верны. Например, список элементов без ALT-текста просто пуст, а в списке найденных элементов с неуникальным ID всего один элемент, без пары с дублем.

Мелкие проблемы, такие как Lighthouse нашел в данном примере, могут проскальзывать при обновлениях сайта, когда к определённой странице добавляется часть функционала. В таких случаях и удобны автоматизированные инструменты для анализа доступности.

А теперь сравним результаты с известным сайтом из области e-commerce: интернет-магазин Ламода.

 

                            Отчёт по главной странице сайта ЛаМода: https://www.lamoda.ru

 

Вот что получилось:

 

Параметр/страница https://usabilitylab.ru/usability/ https://www.lamoda.ru/
Производительность 87 74
Хотя скорость загрузки обоих сайтов примерно одинакова, нашему сайту удалось набрать больше баллов за более быструю прорисовку контента, т.к. структурно сайт более прост и не нагружен скриптами с долгой отрисовкой.
Прогрессивность 55 36
Результаты невелики у обоих сайтов, но в данном случае результат Lamoda низок за то, что он недостаточно быстро загружается при мобильном интернете и имеет мобильную версию на отдельном домене — Lighthouse при этом считает, что она отсутствует, анализируя основной домен.
SEO 89 80
В плане поисковой оптимизации оба сайта схожи, но Lighthouse срезал Ламоде несколько баллов за не найденную на нём мобильную версию, которая нынче является важной для хороших позиций в поиске.

Опроссо — это веб-сервис для проведения опросов, тестов и сбора данных, и его можно рассматривать как веб-приложение. Мы решили взглянуть, как Lighthouse оценит его по параметру Progressive Web App.

 

                                                                       Отрезок отчета по www.oprosso.com в авторизованной зоне

 

В данном случае мы ожидали увидеть результат по прогрессивности близкий к 100 баллам. Тем не менее, даже известные веб-сервисы Lighthouse оценивает низко.

Lighthouse: краткие итоги

Мы предполагаем, что, когда авторы Cossa писали про анализ юзабилити, то имели в виду оценку производительности и прогрессивности. Действительно, скорость загрузки напрямую влияет на комфорт при работе с сайтом, а прогрессивные технологии позволяют удобнее взаимодействовать с ним. Оценки этих параметров, конечно, полезны, но не могут заменить полноценный юзабилити-аудит, который делают, например, наши специалисты.

Доступность — важный критерий удобства пользования сайтом. Жаль только, что Lighthouse в этом плане несколько несовершенен: и из-за наличия багов в отчётах, и из-за того, что до полноценного анализа дизайна ему далеко.

В целом, знакомство с Lighthouse показало, что он явно не предназначен для юзабилити-специалистов, т.к. оценивает параметры, лишь косвенно связанные с юзабилити. Причем омрачает картину ещё и то, что результаты работы Lighthouse придется перепроверять вручную из-за ограничений и багов инструмента. Тем не менее, некоторые выводы на основе оценок, которые дает этот инструмент, юзабилити-специалист все-таки сделать сможет.

Lighthouse не оправдал наших ожиданий по качеству и полноте аудита юзабилити, хотя в нём и нашлось несколько интересных инструментов. Взгрустнув немного, мы решили проверить как дела у других сервисов, которые заявляют о возможности автоматизированного юзабилити аудита.

Nibbler

Nibbler — cервис автоматизированной оценки сайтов по четырем параметрам: доступность (Accessibility), опыт (Experience), маркетинг (Marketing) и технологии (Technology). Нас интересовал в первую очередь раздел «Experience», где, судя по описанию, должно быть показано, насколько сайт отвечает запросам пользователей и «Marketing», оценивающий то, насколько сайт популярен и хорошо продвигается. Итак, скормив Нибблеру ссылку на наш родной https://usabilitylab.ru мы получили отчёт.

 

                                      Скриншоты разделов «Юзабилити» и «Маркетинг» из полного отчета сервиса Nibbler

 

Результаты опять нас не порадовали. Из относительно интересного здесь есть лишь метрика «mobile», которая оценивает наличие на сайте версии для мобильных устройств, и «Facebook Page», анализирующая связь сайта со страницей в Facebook. Однако в целом все оценки не имеют отношения ни к юзабилити, ни к UX. Кроме того, некоторые из этих параметров, такие как наличие версии для печати, на наш взгляд уже не актуальны.

Woorank

Woorank — еще один сервис, в описании которого указано, что он проводит полноценный маркетинговый и юзабилити-аудит. Чтобы получить отчет, надо зарегистрироваться на сайте и подписаться на бесплатный двухнедельный пробный период, причем сайт требует ввести для этого реквизиты банковской карты. На выходе он выдает длинный-длинный отчёт, где есть специальный раздел под названием «Юзабилити».

                                                                                         Отчёт по «юзабилити» в сервисе Woorank

 

Видно, что как и в случае с Nibbler, отчёт включает в себя малоинтересные технические параметры, из нового есть разве что «Custom 404 Page», но её наличие быстрее и проще проверить вручную.

SEOWins

Последний сервис, о котором мы поговорим — SEOWins. Он бесплатно анализирует сайт и строит несколько отчётов, один из которых как раз посвящен юзабилити. Давайте посмотрим, что в него входит.

 

Видно, что этот отчёт не сильно отличается от тех, что мы уже рассматривали раньше. В нем анализируются технические параметры, содержание которых, на наш взгляд, сомнительно и не связано с юзабилити. Например, определение установленного в мета-тегах языка и кодировки текстов сайта на сегодняшний день не так важно, т.к. современные браузеры безошибочно автоматически определяют кодировку, а большинство сайтов представлено в юникоде (UTF-8). А параметр «Dublin Core» в самом конце списка показывает, используется ли на сайте международный стандарт описания метаинформации для различных информационных ресурсов. Однако на сегодняшний день нет однозначной информации об актуальности стандарта для веб-сайтов. Таким образом, связи критериев отчёта с UX и юзабилити тут нет.

Итоги

Как видим, попытки автоматизировать работу юзабилити-специалиста существуют. Некоторые сервисы заявляют, что могут оценить юзабилити, однако ничего особо полезного в тех отчётах, которые можно получить с их помощью, мы не нашли.

Кажется, что на данном этапе развития технологий автоматизировать юзабилити-аудит невозможно. Ведь для этого нужно, чтобы сервис каким-то образом смоделировал поведение пользователя и оценил как минимум следующие критерии:

  1. соответствие структуры страниц задачам пользователей;
  2. логичность структуры;
  3. понятность текстов и названий разделов;
  4. достаточность текстов и иллюстраций.

Возможно, когда-нибудь появится сервис, способный сделать все это, но пока оценить удобство сайта может лишь квалифицированный юзабилити-специалист — либо в ходе экспертной оценки, либо при помощи юзабилити-тестирования.

Если вы хотите, чтобы мы провели для вас юзабилити-аудит, оставьте заявку на сайте.

Подписывайтесь на наш Телеграм, чтобы не пропустить выход новых полезных статей!

Россия
129085, г.Москва, ул. Годовикова д.
9, стр. 2, подъезд 2.1, офис 2.22