Статьи

Анатолий Костин: В чем измеряется юзабилити? Точно не в попугаях

Юзабилити-метрики в настоящее время содержатся в стандартах ISO 9126-4 и ISO 9241-11. Однако они размыты по содержанию, неполны, часто не совпадают между собой, а иногда противоречивы. Все это затрудняет работу с ними и снижает эффективность юзабилити-тестирования. Анатолий Костин, сотрудник Института психологии РАН и научный руководитель компании USABILITYLAB, проводит сравнительный анализ этих стандартов и предлагает собственный вариант метрик.

В настоящее время юзабилити-метрики содержатся в нескольких стандартах ISO:

  • ISO 9126-4: Разработка Программного обеспечения, Качество Программного продукта, часть 4: Качество в используемых метриках;
  • ISO 9241-11: Эргономические требования к офисной работе с визуальными дисплейными терминалами (VDTs), часть 11: Руководство по юзабилити.

В этих стандартах юзабилити-метрики разделены на несколько групп – четыре в ISO 9126-4 и три в ISO 9241-11. Их перечень и содержание приведены в таблице 1.

Таблица 1. ГРУППЫ ЮЗАБИЛИТИ-МЕТРИК

Группы метрик по ISO 9126-4 Группы метрик по ISO 9241-11
Эффективность (effectiveness): оценивает результаты выполнения задач пользователем Эффективность (effectiveness): точность и полнота, с которой пользователи достигают поставленных целей
Продуктивность (productivity): оценивает затраты пользователей при получаемой эффективности Экономичность (efficiency): отношение израсходованных ресурсов к точности и полноте, с которой пользователи достигают поставленных целей
Безопасность (safety): оценивает уровень риска, вреда людям, бизнесу, программному обеспечению, собственности или окружающей среде Группа отсутствует
Удовлетворенность (satisfaction): оценивает отношение пользователя к работе с программным продуктом. Удовлетворенность (satisfaction): комфорт и приемлемость использования. Ее можно оценивать как отношение к использованию продукта, так и восприятие пользователем таких показателей, как экономичность, полезность или легкость в изучении.

Как видно из таблицы, в стандартах совпадают первая и последняя группы (хотя и с некоторыми смысловыми отличиями), по-разному называется вторая группа, а в ISO 9241-11 отсутствует группа «Безопасность». Таким образом, в стандартах существуют достаточно серьезные расхождения уже на этом, самом общем, уровне описания юзабилити-метрик.

Сами метрики, входящие в перечисленные стандарты, достаточно произвольны по составу и размыты по содержанию. При этом ISO 9241-11 предлагает только примеры метрик в зависимости от цели тестирования: общая юзабилити, приемлемость для обученных пользователей, приемлемость для новичков, минимизация требований поддержки, обучаемость, устойчивость к ошибкам и т.п.

Далее в таблице 2 приводится перечень юзабилити-метрик, которые предлагаются в стандартах, и их недостатки.

Таблица 2. СОВРЕМЕННЫЕ ЮЗАБИЛИТИ-МЕТРИКИ И ИХ НЕДОСТАТКИ

Что оценивает Стандарт Метрики Недостатки
Эффективность





ISO 9126-4
Task effectiveness (доля правильно выполненных задач) Частный показатель
Task completion (доля выполненных задач) Частный показатель
Error frequency (частота ошибок) Показатель не эффективности, а надежности
ISO 9241-11

Percentage of goals achieved (процент достигнутых целей) Частный показатель
Percentage of users successfully completing task (процент пользователей, успешно завершивших задачу) Частный показатель, непригоден для индивидуальной оценки

Average accuracy of completed tasks (средняя точность выполненных задач)

Частный показатель
Продуктивность



ISO 9126-4



Task time (время выполнения задачи) Метрику можно рассматривать и как показатель эффективности
Task efficiency (продуктивность выполнения задачи) Размытый показатель, не определен смысл продуктивности
Economic productivity (экономическая продуктивность) Размытый показатель
Productive proportion (доля времени, в которое выполнялись продуктивные действия) Трудно выделить сами продуктивные действия
Relative user efficiency (продуктивность относительно эксперта) Размытый показатель
Экономичность

ISO 9241-11

Time to complete a task (время необходимое на завершение задачи) Частный показатель
Tasks completed per unit time (задачи, выполненные в единицу времени) По сути показатель эффективности
Monetary cost of performing the task (финансовая стоимость выполнения задачи) Частный показатель
Безопасность



ISO 9126-4


User health and safety (влияние на здоровье и безопасность пользователей) Размытый показатель, трудно оценить указанное влияние
Safety of people affected by use of the system (влияние на здоровье и безопасность других людей) Аналогичный недостаток
Economic damage (величина экономического ущерба) Размытый показатель
Software damage (возможность повреждения программы)

Размытый показатель

ISO 9241-11
Группа метрик отсутствует
Удовлетворенность




ISO 9126-4

Satisfaction scale (степень удовлетворенности пользователя) Размытый показатель, не определен смысл удовлетворенности
Satisfaction questionnaire (удовлетворенность пользователя конкретными особенностями программы) Частный показатель
Discretionary usage (доля потенциальных пользователей программы) Размытый, трудный для оценивания показатель
ISO 9241-11

Rating scale for satisfaction (относительный показатель удовлетворенности) Размытый показатель
Usage rate over time (частота использования) Размытый, трудный для оценивания показатель
Frequency of complaints (частота жалоб) Частный показатель

Таким образом, метрики, предлагаемые в стандартах, неполны, часто не совпадают между собой, иногда противоречивы, их набор произволен и не охватывает многие аспекты деятельности. Кроме того, в них мало учитываются психологические особенности деятельности пользователя.

Размытость содержания и отсутствие четкого перечня метрик снижает практическую значимость стандартов. Во-первых, юзабилити-специалисты должны самостоятельно заниматься разработкой метрик и, следовательно, неизбежно будет отсутствовать их общность, унификация. Во-вторых, полученные с использованием разных вариантов метрик результаты будет трудно сравнивать. Поэтому не достигается главная цель стандартизации.

Изложенные результаты проведенного анализа заставляют пересмотреть и скорректировать как состав групп, так и перечень и содержание юзабилити-метрик…

Продолжение работы Анатолия Костина читайте в следующем номере «Юзабилити-Бюллетеня».

ОБ АВТОРЕ:

Анатолий Николаевич Костин – доктор психологических наук и кандидат технических наук. Научный руководитель UsabilityLab. Старший научный сотрудник Института Психологии РАН. Автор принципа взаимного резервирования при распределении функций между человеком и автоматикой. Разработчик метода таксономии межсаккадических интервалов движений глаз, позволяющего проводить автоматическую оценку деятельности программным образом в реальном времени.