Замер метрик: UMUX (англ. Usability Metric for User Experience) — количественный опросник для оценки юзабилити продукта, аналогичный SUS, но с меньшим количеством вопросов, что делает его более удобным для быстрого сбора данных. Этот инструмент позволяет оценить эффективность, результативность и удовлетворенность пользователями продукта, а также спрогнозировать принятие продукта пользователями и его дальнейшее использование.

История UMUX начинается в 2010 году, когда Краэг Финстад (Kraig Finstad), работавший в то время в корпорации Intel, опубликовал в журнале “Interacting with Computers” статью “The Usability Metric for User Experience”. Финстад стремился создать более компактную альтернативу популярному опроснику System Usability Scale (SUS), которая могла бы быть быстрее заполнена и при этом сохраняла бы высокую корреляцию с оригинальным методом.

Разработка UMUX была мотивирована растущей потребностью в эффективных инструментах для быстрой оценки юзабилити в условиях агрессивных сроков разработки и ограниченных ресурсов для проведения исследований. Финстад взял за основу стандарт ISO 9241-11, который определяет юзабилити через три компонента: эффективность, результативность и удовлетворенность.

Оригинальный UMUX состоит из четырех пунктов, тщательно отобранных для максимальной корреляции с SUS, при этом сокращая время заполнения опросника. Два пункта имеют положительную формулировку, два — отрицательную, что помогает минимизировать систематическую погрешность при ответах.

В 2013 году Джефф Сауро (Jeff Sauro) и Джеймс Льюис (James Lewis) предложили еще более сокращенную версию — UMUX-LITE, состоящую всего из двух пунктов. Их исследования показали, что даже такая минимальная версия может обеспечить достаточно точные результаты, коррелирующие с полной версией SUS на уровне 0.8-0.9.

За последнее десятилетие UMUX получил значительное распространение в индустрии, особенно в контекстах, где критически важно минимизировать нагрузку на респондентов или когда необходимо интегрировать оценку юзабилити в более широкие опросы удовлетворенности пользователей. Метод активно используется такими компаниями как Google, Microsoft и другими технологическими гигантами для быстрой оценки юзабилити продуктов и итеративных улучшений.

Описание метода

UMUX представляет собой компактный стандартизированный опросник для оценки юзабилити, состоящий из четырех утверждений, которые оцениваются пользователями по 7-балльной шкале Ликерта от “Категорически не согласен” (1) до “Полностью согласен” (7). Как и в SUS, утверждения чередуются между положительными и отрицательными для минимизации предвзятости ответов.

Стандартные четыре утверждения UMUX:

Этот [продукт] отвечает моим требованиям.
Использование этого [продукта] — это разочаровывающий опыт.
Этот [продукт] прост в использовании.
Мне нужно потратить слишком много времени, чтобы исправить проблемы с этим [продуктом].

Утверждения 1 и 3 являются положительными, а 2 и 4 — отрицательными. Каждое утверждение соответствует одному из компонентов определения юзабилити в стандарте ISO 9241-11:

Утверждение 1 относится к результативности (достижение целей)
Утверждение 2 относится к общей удовлетворенности
Утверждение 3 относится к эффективности (простота использования)
Утверждение 4 относится к эффективности (ресурсы, необходимые для достижения цели)

Процесс применения метода UMUX включает следующие этапы:

Подготовка:
- Определение продукта или интерфейса для оценки
- Адаптация опросника при необходимости (например, замена слова “продукт” на конкретное название)
- Выбор шкалы (оригинальная 7-балльная или адаптированная 5-балльная)
- Определение выборки пользователей
Сбор данных:
- Пользователи взаимодействуют с системой, выполняя типичные задачи
- После взаимодействия пользователи заполняют опросник UMUX
- Рекомендуется минимум 8-10 участников для получения надежных результатов
Расчет результатов:
- Для положительных утверждений (1 и 3): (Оценка пользователя – 1)
- Для отрицательных утверждений (2 и 4): (7 – Оценка пользователя)
- Суммирование всех значений
- Деление суммы на 24 (максимально возможное значение) и умножение на 100 для получения итогового балла от 0 до 100
Интерпретация результатов:
- Результаты UMUX могут быть преобразованы в эквивалентные баллы SUS для сравнения с существующими бенчмарками
- Средний балл SUS составляет около 68, что соответствует примерно 65 баллам UMUX
- Результаты выше 70 обычно считаются хорошими
- Результаты ниже 50 указывают на серьезные проблемы с юзабилити

Особую популярность получила упрощенная версия UMUX-LITE, которая включает только два утверждения:

[Продукт] отвечает моим требованиям.
[Продукт] прост в использовании.

Расчет для UMUX-LITE выполняется аналогично, но с делением на 12 (максимально возможное значение для двух вопросов). UMUX-LITE особенно полезен в ситуациях с крайне ограниченным временем участников или при необходимости включить оценку юзабилити как часть более широкого опроса.

Типология метода

Тип данных: количественный
Модерация: немодерируемый (может использоваться после модерируемых тестов)
Продолжительность: 1–2 минуты на заполнение опросника; полный цикл — от нескольких дней до 1–2 недель
Формат проведения: краткий стандартизированный опрос, проводится онлайн или офлайн, может быть встроен в исследования, A/B-тесты или постоянный мониторинг

Цели и задачи метода

Основные цели использования UMUX в UX-исследованиях:

Быстрая количественная оценка общего уровня юзабилити продукта
Минимизация нагрузки на респондентов при сохранении достоверности результатов
Получение метрики, сопоставимой с широко используемым стандартом SUS
Интеграция оценки юзабилити в более широкие опросы без значительного увеличения их длины
Отслеживание изменений в восприятии юзабилити продукта в течение времени
Сравнение различных версий продукта или конкурентных решений
Прогнозирование вероятности принятия и использования продукта пользователями

UMUX помогает ответить на следующие вопросы:

Соответствует ли продукт потребностям пользователей?
Воспринимается ли продукт как простой в использовании?
Вызывает ли использование продукта разочарование?
Требуется ли пользователям много времени для решения проблем с продуктом?
Как изменилось восприятие юзабилити после внесения изменений в продукт?
Как наш продукт соотносится с конкурентами или отраслевыми стандартами?

Метод UMUX удовлетворяет потребность исследователей и команд разработки в:

Экономичном с точки зрения времени инструменте оценки юзабилити
Стандартизированном подходе с возможностью сравнения с существующими бенчмарками
Балансе между краткостью и информативностью результатов
Гибком инструменте, который может быть интегрирован в различные исследовательские контексты
Метрике, понятной как UX-специалистам, так и другим стейкхолдерам

UMUX особенно ценен в контексте итеративной разработки продукта, где регулярный сбор обратной связи критически важен, но должен быть реализован с минимальными затратами ресурсов и времени пользователей.

Замер метрик: UMUX (Usability Metric for User Experience)

Применение в процессе Human-Centered Design

Стадия 1. Понимание и определение контекста использования

Вспомогательное применение

Быстрая оценка удобства использования существующих решений
Определение базового уровня юзабилити для сравнения с будущими улучшениями
Количественное сравнение конкурентных продуктов по ключевым аспектам юзабилити
Выявление проблемных областей в существующем пользовательском опыте
Получение компактных данных для обоснования необходимости изменений

На первой стадии HCD метрика UMUX предоставляет быстрый и эффективный способ количественной оценки текущего состояния юзабилити продукта или конкурентных решений, не перегружая пользователей длинными опросниками.

Стадия 2. Определение требований пользователей

Вспомогательное применение

Установление количественных целей по улучшению юзабилити в требованиях к новому продукту
Оценка влияния различных функциональных требований на воспринимаемую полезность и удобство
Приоритизация требований на основе их потенциального вклада в общую оценку UMUX
Формирование метрик успеха для будущего решения
Валидация предположений о потребностях пользователей через оценку концепций

UMUX на второй стадии помогает перевести пользовательские потребности в измеримые цели по юзабилити и предоставляет компактный инструмент для валидации концепций.

Стадия 3. Создание проектных решений

Основное применение

Быстрая и регулярная оценка итераций дизайна в процессе разработки
Сравнение альтернативных проектных решений по ключевым аспектам юзабилити
Отслеживание влияния конкретных изменений в интерфейсе на общую оценку UMUX
Интеграция в процессы гибкой разработки благодаря компактности метрики
Получение количественных данных для обоснования дизайнерских решений

На стадии создания проектных решений UMUX особенно ценен благодаря своей компактности, что позволяет регулярно измерять прогресс без значительной нагрузки на пользователей и исследователей.

Стадия 4. Оценка проектных решений

Основное применение

Финальная валидация решения на соответствие целевым показателям юзабилити
Количественное измерение улучшений по сравнению с исходным продуктом
Бенчмаркинг относительно отраслевых стандартов и конкурентов
Выявление остаточных проблем с юзабилити для последующих итераций
Предоставление стейкхолдерам понятных метрик успешности проекта

На заключительной стадии HCD метрика UMUX предоставляет эффективный способ количественной оценки результатов проекта с фокусом на ключевые аспекты юзабилити: эффективность, результативность и удовлетворенность.

При использовании UMUX в процессе Human-Centered Design важно понимать, что этот инструмент разработан как более компактная альтернатива SUS, сохраняющая высокую корреляцию с ним. Метрика состоит из всего 4 утверждений, оцениваемых по 7-балльной шкале Ликерта, что делает ее идеальной для ситуаций с ограниченным временем или при частых измерениях. Результаты UMUX можно перевести в эквивалент шкалы SUS (0-100) для сравнения с отраслевыми бенчмарками. Для еще большей компактности можно использовать UMUX-lite (2 вопроса), который также демонстрирует высокую корреляцию с SUS. Рекомендуется комбинировать UMUX с качественными методами исследования для выявления причин конкретных оценок. Метрика наиболее эффективна при регулярном измерении на всех этапах проекта, что позволяет отслеживать динамику изменений и своевременно вносить корректировки в проектные решения.

Преимущества и ограничения

Бизнес-выгоды

Экономия времени и ресурсов при сборе данных о юзабилити
Снижение нагрузки на пользователей, что повышает отклик и качество данных
Возможность прогнозирования принятия продукта на основе стандартизированной метрики

Уникальные особенности

Высокая корреляция с SUS (0.8-0.9) при использовании всего 4 вопросов
Прямая связь с компонентами юзабилити в стандарте ISO 9241-11
Возможность трансформации результатов в эквивалентные баллы SUS для сравнения с бенчмарками

Оптимальные условия применения

Оценка юзабилити в условиях ограниченного времени участников
Частые итерации дизайна, требующие регулярного сбора обратной связи
Интеграция метрики юзабилити в более обширные опросы
Массовые исследования с большим количеством респондентов

Ограничения

Меньшая детализация по сравнению с более обширными опросниками
Ограниченная диагностическая ценность — не выявляет конкретные проблемы юзабилити
Потенциально меньшая надежность при небольших выборках по сравнению с SUS
Меньшая база накопленных данных для сравнения по сравнению с более устоявшимися метриками

Вариации метода

UMUX имеет несколько значимых вариаций и адаптаций, разработанных для различных исследовательских контекстов и потребностей:

UMUX-LITE — наиболее известная и широко используемая вариация, разработанная Джеффом Сауро и Джеймсом Льюисом в 2013 году. Состоит всего из двух пунктов (1 и 3 из оригинального UMUX).
- Преимущества: минимальное время заполнения, высокая корреляция с SUS (до 0.92 в некоторых исследованиях)
- Применение: экспресс-оценка, массовые опросы, встроенные в продукт микроопросы
UMUX с 5-балльной шкалой — адаптация оригинального UMUX с использованием 5-балльной шкалы Ликерта вместо 7-балльной для большей согласованности с другими опросниками.
- Преимущества: знакомая для пользователей шкала, совместимость с другими 5-балльными инструментами
- Применение: исследования, где используются и другие метрики с 5-балльными шкалами
Weighted UMUX-LITE — версия UMUX-LITE с различными весами для двух вопросов, разработанная для лучшего соответствия результатам SUS.
- Преимущества: более точное прогнозирование эквивалентного балла SUS
- Применение: ситуации, где критически важно точное сравнение с существующими бенчмарками SUS
Модифицированный UMUX — версии с измененными формулировками для конкретных типов продуктов или контекстов.
- Преимущества: лучшая релевантность для специфических доменов (например, мобильные приложения, веб-сервисы, физические интерфейсы)
- Применение: исследования в специфических областях, где стандартные формулировки могут быть неоптимальными
UMUX с открытыми комментариями — дополнение стандартного UMUX открытыми вопросами для качественных данных.
- Преимущества: сочетание количественной оценки с качественным пониманием причин
- Применение: для более глубокого понимания факторов, влияющих на оценки
Multi-Item UMUX — расширенные версии UMUX с дополнительными вопросами для более детальной оценки различных аспектов юзабилити.
- Преимущества: более высокая надежность и детализация при сохранении относительной краткости
- Применение: когда необходим компромисс между краткостью UMUX и полнотой более обширных опросников
UMUX-LRv2 — обновленная версия формулы для расчета UMUX-LITE, разработанная для улучшения прогнозирования эквивалентных баллов SUS.
- Преимущества: более точное соответствие с результатами SUS (до 94-97% точности)
- Применение: для точного бенчмаркинга и сравнения с историческими данными SUS

Выбор конкретной вариации зависит от:

Доступного времени и готовности респондентов
Необходимой точности и детализации данных
Потребности в сравнении с существующими бенчмарками
Специфического контекста исследования
Необходимости в качественных данных в дополнение к количественным

При использовании модифицированных версий важно документировать точные формулировки и методы расчета для обеспечения сопоставимости результатов в будущих исследованиях.

Связь с другими методами

Предшествующие методы

Модерируемое юзабилити-тестирование/Немодерируемое юзабилити-тестирование — предоставляет контекст для измерения
Экспертная оценка удобства — выявляет потенциальные проблемы

Дополняющие методы

Замер других метрик (SUS, SEQ, CES, CSAT, CSI, SUPR-Q) — предоставляет дополнительные измерения
Веб-аналитика — обеспечивает объективные данные о поведении пользователей

Последующие методы

A/B-тестирование (Сплит-тестирование) — проверяет эффективность улучшений
User Flow — оптимизирует потоки для повышения юзабилити
Прототипирование — реализует улучшения по итогам метрик
Повторное измерение UMUX — оценивает эффект улучшений

Заключение

UMUX представляет собой значимую эволюцию в области стандартизированных метрик юзабилити, отвечая на современные потребности в быстрых, эффективных, но при этом достоверных инструментах оценки. За немногим более чем десятилетие с момента создания, метод зарекомендовал себя как ценный компромисс между краткостью и информативностью, особенно в его упрощенной версии UMUX-LITE.

Особая ценность UMUX заключается в его способности интегрироваться в современные процессы разработки и исследования пользовательского опыта, где скорость итераций и минимизация нагрузки на пользователей становятся критически важными факторами. При этом сохраняется возможность сравнения результатов с более устоявшимися метриками через установленные корреляции с SUS.

В современной экосистеме UX-метрик UMUX занимает важную нишу “золотой середины” — между слишком простыми однопунктными оценками, которые недостаточно надежны, и обширными опросниками, которые могут быть обременительными для пользователей и ресурсоемкими для исследователей. Эта позиция делает его особенно ценным для:

Agile-команд, нуждающихся в быстрой обратной связи
Продуктов с частыми обновлениями, требующими регулярной оценки
Исследований с ограниченным доступом к пользователям
Интеграции оценки юзабилити в более широкие программы исследований

Эволюция метода продолжается, о чем свидетельствуют различные адаптации и улучшения формул расчета, такие как UMUX-LRv2, которые стремятся еще больше повысить точность при сохранении минимальной длины опросника. Это отражает общую тенденцию в UX-исследованиях к оптимизации методов для максимальной эффективности при минимальных затратах.

Будущее UMUX, вероятно, будет связано с дальнейшей контекстуализацией и персонализацией метода для различных типов продуктов и пользователей, а также с его интеграцией в автоматизированные системы сбора и анализа пользовательских данных. Возможно также развитие адаптивных версий, где состав вопросов динамически меняется в зависимости от предыдущих ответов или характеристик пользователя.

Несмотря на свои ограничения, связанные с меньшей детализацией по сравнению с более обширными инструментами, UMUX остается ценным дополнением к арсеналу методов UX-исследователя, особенно в ситуациях, где требуется разумный баланс между глубиной исследования и практическими ограничениями реального мира.

Подписывайтесь на наш Телеграмм-канал — анонсы мероприятий, кейсы и статьи, расписание нашей Школы, и многое другое.