Анатолий Костин: В чем измеряется юзабилити? Точно не в попугаях. Часть II

20 июля 2008 г.

В первой части статьи ее автор, доктор психологических наук и кандидат технических наук А.Н.Костин, критикует юзабилити-метрики по стандартам ISO 9126-4 и ISO 9241-11. Они размыты по содержанию, неполны, часто не совпадают между собой, а иногда противоречивы. Во второй части статьи автор обосновывает необходимость разработки новых метрик на новой основе.

Разработка юзабилити-метрик

Для адекватной юзабилити-оценки и более полного учета психологического содержания в юзабилити-метриках их следует разрабатывать на основе деятельностного подхода. Суть данного подхода заключается в выделении особенностей различных компонентов деятельности, ее психофизиологических, эмоциональных и личностных аспектов, а также внешних, результативных и процессуальных показателей. Тогда оценка юзабилити продукта будет исходить не из его формальных свойств, а из показателей деятельности пользователя при работе с продуктом.

Группы метрик и их назначение

По аналогии с ISO 9126-4 юзабилити метрики предлагается разделить на 4 группы, но с определенными коррективами. Во-первых, в название каждой группы для определенности введен термин «деятельность». Во-вторых, изменено название второй группы, так как затраты на деятельность адекватно отражает понятие «Экономичность» (как в ISO 9241-11), а не «Продуктивность» (как в ISO 9126-4), которое по смыслу мало отличимо от понятия «Эффективность». В-третьих, группу «Безопасность», которая содержится в ISO 9126-4 и отсутствует в ISO 9241-11, целесообразно дополнить метриками, характеризующими надежность деятельности пользователей. В итоге получаются следующие группы юзабилити метрик.

Перечень и содержание групп юзабилити метрик

№	Название группы	Содержание группы
1	Эффективность деятельности	Метрики отражают различные аспекты результативности деятельности
2	Экономичность деятельности	Метрики оценивают затраты на деятельность, т.е. ресурсы пользователя
3	Надежность и безопасность деятельности	Метрики направлены на оценку устойчивости выполнения, рисков и возможных опасных последствий
4	Удовлетворенность деятельностью	Метрики раскрывают различные аспекты отношений пользователя к продукту

Для большей определенности и разносторонности оценок метрики каждой группы разделены на технологическую и психологическую подгруппы. Метрики технологической подгруппы отражают аспекты деятельности пользователя, связанные со свойствами продукта, а метрики психологической подгруппы — с особенностями психологических процессов деятельности.

Перечень и содержание подгрупп юзабилити метрик

№	Группа метрик	Технологическая подгруппа	Психологическая подгруппа
1	Эффективность деятельности	Результативность	Психологическая эффективность
2	Экономичность деятельности	Процессуальные затраты	Психологические затраты
3	Надежность и безопасность	Результативная надежность	Психологическая надежность
4	Удовлетворенность деятельностью	Удовлетворенность свойствами продукта	Личностная удовлетворенность

Разработка юзабилити-метрик

Разработанные метрики представляют собой показатели деятельности, раскрывающие содержание каждой из введенных подгрупп.

Перечень юзабилити-метрик

Для каждой метрики в скобках указывается качественная шкала оценки, а ее смысл раскрывается в графе содержания.

1. Эффективность деятельности

Подгруппа «Результативность»

№	Название метрики	Содержание
1	Успешность (высокая – низкая)	Степень достижения целей деятельности
2	Оперативность (высокая – низкая)	Степень отсутствия вынужденных задержек
3	Количественные показатели результативности	Относительные результативные показатели в зависимости от вида задачи

Подгруппа «Психологическая эффективность»

№	Название метрики	Содержание
4	Эффективность анализа информации	Степень адекватности, полноты и своевременности оценки ситуаций
5	Эффективность решений	Степень правильности, полноты и своевременности принятия решений
6	Эффективность планирования	Масштаб, детальность и гибкость планирования
7	Эффективность исполнительных действий	Степень правильности, своевременности и точности действий

2. Экономичность деятельности

Подгруппа «Процессуальные затраты»

№	Название метрики	Содержание
1	Количественные показатели затрат	Относительные показатели затрат в зависимости от вида задачи
2	Использование дополнительной информации	Частота и время поиска дополнительной информации
3	Повторные или дополнительные операции	Частота и время выполнения повторных операций
4	Затраты на обучение	Относительные затраты на подготовку и освоение

Подгруппа «Психологические затраты»

№	Название метрики	Содержание
5	Субъективная сложность	Степень затруднений при выполнении деятельности
6	Трудоемкость деятельности	Степень занятости исполнительными действиями
7	Психофизиологическая цена	Степень усталости, утомления, болезненных ощущений
8	Выраженность негативных эмоций	Частота проявления раздражения, недовольства, гнева

3. Надежность и безопасность деятельности

Подгруппа «Результативная надежность и безопасность»

№	Название метрики	Содержание
1	Стабильность выполнения	Степень повторяемости достижения целей
2	Ошибочность действий	Частота и количество допускаемых ошибок
3	Компенсация ошибок	Возможность и время исправления ошибок
4	Риск деятельности	Возможность создания опасных ситуаций

Подгруппа «Психологическая надежность и безопасность»

№	Название метрики	Содержание
5	Уверенность в деятельности	Степень спокойствия и энергичности
6	Сосредоточенность	Степень концентрации внимания на задаче
7	Ответственность	Степень осторожности и продуманности

4. Удовлетворенность деятельностью

Подгруппа «Удовлетворенность свойствами продукта»

№	Название метрики	Содержание
1	Удовлетворенность функциональностью	Отношение к назначению и полезности продукта
2	Удовлетворенность качеством	Отношение к эффективности, надежности, безопасности
3	Потребность в продукте	Отношение к необходимости использования
4	Адекватность продукта	Оценка соответствия продукта задачам
5	Удобство представления информации	Оценка структуры и формы представления
6	Удобство управления	Оценка средств управления и ввода данных
7	Удовлетворенность алгоритмом	Оценка оптимальности алгоритма деятельности
8	Удовлетворенность автоматизацией	Отношение к предсказуемости функционирования

Подгруппа «Личностная удовлетворенность»

№	Название метрики	Содержание
9	Удовлетворенность характером деятельности	Отношение к характеру деятельности (творческая/рутинная)
10	Эстетическая удовлетворенность	Отношение к эстетическим свойствам продукта
11	Выраженность позитивных эмоций	Частота проявления удовольствия, радости
12	Социальная удовлетворенность	Оценка социальных аспектов деятельности

Безусловно, приведенный перечень не является жестким, метрики могут дополняться и уточняться. Тем не менее достаточная обобщенность метрик обеспечивает полноценное сравнение результатов различных исследований, что отвечает требованиям стандартизации.

Как и в существующих стандартах некоторые метрики являются общими, универсальными, некоторые — частными. Поэтому в зависимости от цели исследования допускается использование только части из приведенных метрик. В то же время в любом тестировании целесообразно использовать все четыре группы метрик, а в каждой группе — как технологические, так и психологические критерии. При этом должен соблюдаться основной принцип: чем сложнее продукт, тем больше должен быть используемый набор метрик.

Методы тестирования

Группа 1 (Эффективность): наблюдение, хронометраж, оценка результативных показателей, экспертная оценка
Группа 2 (Экономичность): наблюдение, опрос, анкетирование, психофизиологические методы
Группа 3 (Надежность): наблюдение, экспертная оценка
Группа 4 (Удовлетворенность): опрос, анкетирование, наблюдение (для эмоциональных метрик)

Выводы

Разработка юзабилити-метрик на основе деятельностного подхода позволяет логически упорядочить как их смысловые группы, так и сами метрики
Разделение метрик на технологические и психологические подгруппы повышает разносторонность и содержательность оценки
Возможность частичного использования метрик обеспечивает гибкость процедур тестирования
Достаточная обобщенность метрик обеспечивает сравнение результатов различных исследований