Юзабилити-метрики в настоящее время содержатся в стандартах ISO 9126-4 и ISO 9241-11. Однако они размыты по содержанию, неполны, часто не совпадают между собой, а иногда противоречивы. Все это затрудняет работу с ними и снижает эффективность юзабилити-тестирования. Анатолий Костин, сотрудник Института психологии РАН и научный руководитель компании USABILITYLAB, проводит сравнительный анализ этих стандартов и предлагает собственный вариант метрик.
В настоящее время юзабилити-метрики содержатся в нескольких стандартах ISO:
- ISO 9126-4: Разработка Программного обеспечения, Качество Программного продукта, часть 4: Качество в используемых метриках;
- ISO 9241-11: Эргономические требования к офисной работе с визуальными дисплейными терминалами (VDTs), часть 11: Руководство по юзабилити.
В этих стандартах юзабилити-метрики разделены на несколько групп – четыре в ISO 9126-4 и три в ISO 9241-11. Их перечень и содержание приведены в таблице.
Группы юзабилити-метрик
Группы метрик по ISO 9126-4 | Группы метрик по ISO 9241-11 |
---|---|
Эффективность (effectiveness): оценивает результаты выполнения задач пользователем | Эффективность (effectiveness): точность и полнота, с которой пользователи достигают поставленных целей |
Продуктивность (productivity): оценивает затраты пользователей при получаемой эффективности | Экономичность (efficiency): отношение израсходованных ресурсов к точности и полноте, с которой пользователи достигают поставленных целей |
Безопасность (safety): оценивает уровень риска, вреда людям, бизнесу, программному обеспечению, собственности или окружающей среде | Группа отсутствует |
Удовлетворенность (satisfaction): оценивает отношение пользователя к работе с программным продуктом. | Удовлетворенность (satisfaction): комфорт и приемлемость использования. Ее можно оценивать как отношение к использованию продукта, так и восприятие пользователем таких показателей, как экономичность, полезность или легкость в изучении. |
Как видно из таблицы, в стандартах совпадают первая и последняя группы (хотя и с некоторыми смысловыми отличиями), по-разному называется вторая группа, а в ISO 9241-11 отсутствует группа «Безопасность». Таким образом, в стандартах существуют достаточно серьезные расхождения уже на этом, самом общем, уровне описания юзабилити-метрик.
Сами метрики, входящие в перечисленные стандарты, достаточно произвольны по составу и размыты по содержанию. При этом ISO 9241-11 предлагает только примеры метрик в зависимости от цели тестирования: общая юзабилити, приемлемость для обученных пользователей, приемлемость для новичков, минимизация требований поддержки, обучаемость, устойчивость к ошибкам и т.п.
Далее приводится перечень юзабилити-метрик, которые предлагаются в стандартах, и их недостатки.
Современные юзабилити-метрики и их недостатки
Что оценивает | Стандарт | Метрики | Недостатки |
---|---|---|---|
Эффективность | ISO 9126-4 | Task effectiveness (доля правильно выполненных задач) | Частный показатель |
Task completion (доля выполненных задач) | Частный показатель | ||
Error frequency (частота ошибок) | Показатель не эффективности, а надежности | ||
ISO 9241-11 | Percentage of goals achieved (процент достигнутых целей) | Частный показатель | |
Percentage of users successfully completing task (процент пользователей, успешно завершивших задачу) | Частный показатель, непригоден для индивидуальной оценки | ||
Average accuracy of completed tasks (средняя точность выполненных задач) | Частный показатель | ||
Продуктивность | ISO 9126-4 | Task time (время выполнения задачи) | Метрику можно рассматривать и как показатель эффективности |
Task efficiency (продуктивность выполнения задачи) | Размытый показатель, не определен смысл продуктивности | ||
Economic productivity (экономическая продуктивность) | Размытый показатель | ||
Productive proportion (доля времени, в которое выполнялись продуктивные действия) | Трудно выделить сами продуктивные действия | ||
Relative user efficiency (продуктивность относительно эксперта) | Размытый показатель | ||
Экономичность | ISO 9241-11 | Time to complete a task (время необходимое на завершение задачи) | Частный показатель |
Tasks completed per unit time (задачи, выполненные в единицу времени) | По сути показатель эффективности | ||
Monetary cost of performing the task (финансовая стоимость выполнения задачи) | Частный показатель | ||
Безопасность | ISO 9126-4 | User health and safety (влияние на здоровье и безопасность пользователей) | Размытый показатель, трудно оценить указанное влияние |
Safety of people affected by use of the system (влияние на здоровье и безопасность других людей) | Аналогичный недостаток | ||
Economic damage (величина экономического ущерба) | Размытый показатель | ||
Software damage (возможность повреждения программы) | Размытый показатель | ||
ISO 9241-11 | — | Группа метрик отсутствует | |
Удовлетворенность | ISO 9126-4 | Satisfaction scale (степень удовлетворенности пользователя) | Размытый показатель, не определен смысл удовлетворенности |
Satisfaction questionnaire (удовлетворенность пользователя конкретными особенностями программы) | Частный показатель | ||
Discretionary usage (доля потенциальных пользователей программы) | Размытый, трудный для оценивания показатель | ||
ISO 9241-11 | Rating scale for satisfaction (относительный показатель удовлетворенности) | Размытый показатель | |
Usage rate over time (частота использования) | Размытый, трудный для оценивания показатель | ||
Frequency of complaints (частота жалоб) | Частный показатель |
Таким образом, метрики, предлагаемые в стандартах, неполны, часто не совпадают между собой, иногда противоречивы, их набор произволен и не охватывает многие аспекты деятельности. Кроме того, в них мало учитываются психологические особенности деятельности пользователя.
Размытость содержания и отсутствие четкого перечня метрик снижает практическую значимость стандартов. Во-первых, юзабилити-специалисты должны самостоятельно заниматься разработкой метрик и, следовательно, неизбежно будет отсутствовать их общность, унификация. Во-вторых, полученные с использованием разных вариантов метрик результаты будет трудно сравнивать. Поэтому не достигается главная цель стандартизации.
Изложенные результаты проведенного анализа заставляют пересмотреть и скорректировать как состав групп, так и перечень и содержание юзабилити-метрик…
Продолжение работы Анатолия Костина читайте здесь.
Применяется в Юзабилити-аудите