Анатолий Костин: В чем измеряется юзабилити? Точно не в попугаях
Юзабилити-метрики содержатся в стандартах ISO 9126-4 и ISO 9241-11. Однако они размыты по содержанию, неполны, часто не совпадают между собой, а иногда противоречивы. Кроме того, в них мало учитываются психологические особенности деятельности человека – а ведь характеристики интерфейса проявляются именно через деятельность пользователя. Все это затрудняет работу с ними и снижает эффективность юзабилити-тестирования. Анатолий Костин, сотрудник Института психологии РАН и научный руководитель компании USABILITYLAB, предлагает собственный вариант метрик, основанных на деятельностном подходе.
В настоящее время юзабилити-метрики содержатся в нескольких стандартах ISO:
-
ISO 9126-4: Разработка Программного обеспечения, Качество Программного продукта, часть 4: Качество в используемых метриках;
-
ISO 9241-11: Эргономические требования к офисной работе с визуальными дисплейными терминалами (VDTs), часть 11: Руководство по юзабилити.
В этих стандартах юзабилити-метрики разделены на несколько групп – четыре в ISO 9126-4 и три в ISO 9241-11. Их перечень и содержание приведены в таблице 1.
Таблица 1. ГРУППЫ ЮЗАБИЛИТИ-МЕТРИК
| Группы метрик по ISO 9126-4 | Группы метрик по ISO 9241-11 |
|---|---|
| **Эффективность **(effectiveness): оценивает результаты выполнения задач пользователем | **Эффективность **(effectiveness): точность и полнота, с которой пользователи достигают поставленных целей |
| **Продуктивность **(productivity): оценивает **затраты **пользователей при получаемой эффективности | **Экономичность **(efficiency): отношение израсходованных **ресурсов **к точности и полноте, с которой пользователи достигают поставленных целей |
| **Безопасность **(safety): оценивает уровень риска, вреда людям, бизнесу, программному обеспечению, собственности или окружающей среде | Группа отсутствует |
| **Удовлетворенность **(satisfaction): оценивает **отношение **пользователя к работе с программным продуктом. | **Удовлетворенность **(satisfaction): комфорт и приемлемость использования. Ее можно оценивать как **отношение **к использованию продукта, так и **восприятие **пользователем таких показателей, как экономичность, полезность или легкость в изучении. |
Как видно из таблицы, в стандартах совпадают первая и последняя группы (хотя и с некоторыми смысловыми отличиями), по-разному называется вторая группа, а в ISO 9241-11 отсутствует группа «Безопасность». Таким образом, в стандартах существуют достаточно серьезные расхождения уже на этом, самом общем, уровне описания юзабилити-метрик.
Сами метрики, входящие в перечисленные стандарты, достаточно произвольны по составу и размыты по содержанию. При этом ISO 9241-11 предлагает только примеры метрик в зависимости от цели тестирования: общая юзабилити, приемлемость для обученных пользователей, приемлемость для новичков, минимизация требований поддержки, обучаемость, устойчивость к ошибкам и т.п.
Далее в таблице 2 приводится перечень юзабилити-метрик, которые предлагаются в стандартах, и их недостатки.
Таблица 2. СОВРЕМЕННЫЕ ЮЗАБИЛИТИ-МЕТРИКИ И ИХ НЕДОСТАТКИ
| Что оценивает | Стандарт | Метрики | Недостатки |
|---|---|---|---|
| Эффективность | ISO 9126-4 | Task effectiveness (доля правильно выполненных задач) | Частный показатель |
| Task completion (доля выполненных задач) | Частный показатель | ||
| Error frequency (частота ошибок) | Показатель не эффективности, а надежности | ||
| ISO 9241-11 | Percentage of goals achieved (процент достигнутых целей) | Частный показатель | |
| Percentage of users successfully completing task (процент пользователей, успешно завершивших задачу) | Частный показатель, непригоден для индивидуальной оценки | ||
| Average accuracy of completed tasks (средняя точность выполненных задач) | Частный показатель | ||
| Продуктивность | ISO 9126-4 | Task time (время выполнения задачи) | Метрику можно рассматривать и как показатель эффективности |
| Task efficiency (продуктивность выполнения задачи) | Размытый показатель, не определен смысл продуктивности | ||
| Economic productivity (экономическая продуктивность) | Размытый показатель | ||
| Productive proportion (доля времени, в которое выполнялись продуктивные действия) | Трудно выделить сами продуктивные действия | ||
| Relative user efficiency (продуктивность относительно эксперта) | Размытый показатель | ||
| Экономичность | ISO 9241-11 | Time to complete a task (время необходимое на завершение задачи) | Частный показатель |
| Tasks completed per unit time (задачи, выполненные в единицу времени) | По сути показатель эффективности | ||
| Monetary cost of performing the task (финансовая стоимость выполнения задачи) | Частный показатель | ||
| Безопасность | ISO 9126-4 | User health and safety (влияние на здоровье и безопасность пользователей) | Размытый показатель, трудно оценить указанное влияние |
| Safety of people affected by use of the system (влияние на здоровье и безопасность других людей) | Аналогичный недостаток | ||
| Economic damage (величина экономического ущерба) | Размытый показатель | ||
| Software damage (возможность повреждения программы) | Размытый показатель | ||
| ISO 9241-11 | - | Группа метрик отсутствует | |
| Удовлетворенность | ISO 9126-4 | Satisfaction scale (степень удовлетворенности пользователя) | Размытый показатель, не определен смысл удовлетворенности |
| Satisfaction questionnaire (удовлетворенность пользователя конкретными особенностями программы) | Частный показатель | ||
| Discretionary usage (доля потенциальных пользователей программы) | Размытый, трудный для оценивания показатель | ||
| ISO 9241-11 | Rating scale for satisfaction (относительный показатель удовлетворенности) | Размытый показатель | |
| Usage rate over time (частота использования) | Размытый, трудный для оценивания показатель | ||
| Frequency of complaints (частота жалоб) | Частный показатель |
Таким образом, метрики, предлагаемые в стандартах, неполны, часто не совпадают между собой, иногда противоречивы, их набор произволен и не охватывает многие аспекты деятельности. Кроме того, в них мало учитываются психологические особенности деятельности пользователя.
Размытость содержания и отсутствие четкого перечня метрик снижает практическую значимость стандартов. Во-первых, юзабилити-специалисты должны самостоятельно заниматься разработкой метрик и, следовательно, неизбежно будет отсутствовать их общность, унификация. Во-вторых, полученные с использованием разных вариантов метрик результаты будет трудно сравнивать. Поэтому не достигается главная цель стандартизации.
Изложенные результаты проведенного анализа заставляют пересмотреть и скорректировать как состав групп, так и перечень и содержание юзабилити-метрик…
Продолжение работы Анатолия Костина читайте в следующем номере «Юзабилити-Бюллетеня».
ОБ АВТОРЕ:
Анатолий Николаевич Костин – доктор психологических наук и кандидат технических наук. Научный руководитель UsabilityLab. Старший научный сотрудник Института Психологии РАН. Автор принципа взаимного резервирования при распределении функций между человеком и автоматикой. Разработчик метода таксономии межсаккадических интервалов движений глаз, позволяющего проводить автоматическую оценку деятельности программным образом в реальном времени.
Впервые опубликовано в «Юзабилити Бюллетень, выпуск 19, июнь 2008».