Замер метрик: SUM

Замер метрик: SUM (англ. Single Usability Metric) — количественная методика оценки удобства использования интерфейса, объединяющая несколько отдельных показателей юзабилити в единую числовую метрику для комплексной оценки пользовательского опыта.

Метод SUM был разработан в начале 2000-х годов, когда специалисты в области юзабилити искали способы упростить коммуникацию результатов исследований руководству и заинтересованным сторонам. Основная работа по формализации и популяризации SUM была проведена Джеффом Соро (Jeff Sauro), американским специалистом по UX-метрикам и статистике, и Джеймсом Льюисом (James Lewis) из IBM.

В 2005 году Соро и Льюис опубликовали свою первую статью о SUM, где представили концепцию объединения различных метрик в единый показатель. Однако широкую известность метод получил после публикации в 2009 году исследования, демонстрирующего высокую корреляцию SUM с общим восприятием удобства системы пользователями.

Первоначально SUM разрабатывался для корпоративного применения в таких компаниях, как IBM и Oracle, где была необходимость в понятной метрике для отслеживания прогресса в улучшении юзабилити сложных программных продуктов. Позднее метод распространился на другие типы интерфейсов, включая веб-сайты и мобильные приложения.

Интеграция SUM в практику UX-исследований произошла примерно в 2010-2012 годах, когда рост влияния UX-дизайна на бизнес-результаты привел к необходимости в более строгих и научных методах измерения пользовательского опыта. Метод стал особенно популярен в контексте концепции “data-driven UX”, которая подразумевает принятие дизайнерских решений на основе данных, а не интуиции.

В своей книге “Quantifying the User Experience” (2012), ставшей классикой в области UX-метрик, Джефф Соро подробно описал методику SUM и ее практическое применение, что способствовало дальнейшему распространению метода среди практиков UX-исследований.

Описание метода

Метод SUM представляет собой стандартизированный подход к измерению удобства использования продукта путем объединения нескольких ключевых метрик юзабилити в единую комплексную оценку. Это позволяет получить целостное представление о качестве пользовательского опыта, выраженное в виде одного числового показателя.

Суть метода заключается в сборе объективных и субъективных показателей во время выполнения пользователями типичных задач с интерфейсом, их нормализации и объединении в единую метрику.

Ключевые компоненты метрики SUM:

1. Объективные метрики:
   • Успешность выполнения задания (task completion) — процент пользователей, успешно выполнивших задачу
   • Время выполнения (time on task) — сколько времени потребовалось на выполнение задачи
   • Количество ошибок (error count) — сколько ошибок совершил пользователь
2. Субъективные метрики (обычно по 5-7-балльной шкале):
   • Ощущаемые затраты времени (perceived time effort) — насколько долгим казалось выполнение задачи
   • Ощущаемая сложность (perceived difficulty) — насколько сложной казалась задача
   • Удовлетворенность (satisfaction) — насколько пользователь доволен опытом взаимодействия

Процесс применения метода SUM включает несколько этапов:

1. Подготовка тестовых сценариев — разработка типичных задач, которые пользователи будут выполнять с интерфейсом
2. Сбор данных — проведение тестирования с участием репрезентативной группы пользователей (обычно 8-12 человек)
3. Измерение метрик — фиксация объективных показателей и сбор субъективных оценок после выполнения каждой задачи
4. Нормализация данных — приведение разнородных метрик к единой шкале (обычно от 0 до 100), где 0 — худший результат, 100 — лучший
5. Расчет SUM — вычисление среднего значения всех нормализованных показателей, с возможностью применения весовых коэффициентов для разных метрик в зависимости от их важности

Финальный показатель SUM обычно представляется в виде числа от 0 до 100, где более высокие значения соответствуют лучшему пользовательскому опыту. Это делает метрику легко интерпретируемой и понятной даже для нетехнических заинтересованных сторон.

Типология метода

• Тип данных: количественный с элементами качественного (гибридный)
• Модерация: модерируемый
• Продолжительность: 1–3 недели (включая подготовку, проведение, анализ)
• Формат проведения: структурированное юзабилити-тестирование с фиксацией объективных и субъективных метрик, очно или удалённо

Цели и задачи метода

Основные цели SUM:

1. Объективная оценка юзабилити — предоставление научно обоснованного количественного показателя удобства использования интерфейса, который минимизирует субъективность оценки.
2. Упрощение коммуникации результатов — преобразование сложных и многоаспектных данных о юзабилити в единую понятную метрику для руководства и других заинтересованных сторон.
3. Отслеживание изменений в юзабилити — создание базового показателя, позволяющего измерять прогресс в улучшении пользовательского опыта с течением времени.
4. Сравнение различных вариантов дизайна — получение объективной основы для выбора между альтернативными решениями.
5. Установление бенчмарков — определение эталонных показателей для сравнения с конкурентами или отраслевыми стандартами.

Ключевые задачи, решаемые методом:

1. Количественное измерение эффективности — насколько успешно пользователи достигают своих целей при использовании интерфейса.
2. Оценка производительности — насколько быстро и с какими усилиями пользователи выполняют задачи.
3. Измерение субъективного восприятия — как пользователи оценивают свой опыт взаимодействия с интерфейсом.
4. Выявление проблемных областей — какие аспекты интерфейса наиболее негативно влияют на общий показатель удобства.
5. Приоритизация улучшений — определение, какие изменения могут принести наибольшую пользу для повышения общего показателя удобства.
6. Валидация дизайнерских решений — проверка, действительно ли внесенные изменения улучшают пользовательский опыт.
7. Обоснование инвестиций в UX — демонстрация возврата инвестиций в улучшение пользовательского опыта через количественные показатели.

SUM удовлетворяет потребность UX-исследователей, дизайнеров и менеджеров продуктов в простом и понятном способе измерения сложного многомерного конструкта, каким является юзабилити. Вместо представления множества отдельных показателей, которые могут быть сложны для интерпретации, SUM предоставляет единый индикатор, который легко отслеживать и сравнивать.

Особую ценность метод представляет для организаций, где решения принимаются на основе количественных данных и где существует необходимость демонстрировать прогресс в улучшении пользовательского опыта в динамике. Это делает SUM важным инструментом не только для оценки текущего состояния интерфейса, но и для стратегического планирования UX-улучшений.

Применение в процессе Human-Centered Design

Стадия 3. Создание проектных решений

Вспомогательное применение

• Помогает оценивать различные прототипы и варианты дизайна по единой шкале
• Обеспечивает количественные данные для выбора между альтернативными решениями
• Позволяет измерять прогресс в улучшении юзабилити в процессе итеративной разработки
• Помогает выявлять конкретные аспекты дизайна, требующие доработки
• Создает основу для принятия решений о готовности прототипа к следующему этапу разработки

Стадия 4. Оценка проектных решений

Основное применение

• Обеспечивает единый комплексный показатель удобства использования продукта
• Позволяет количественно сравнивать различные версии продукта или конкурентные решения
• Упрощает коммуникацию результатов оценки юзабилити с заинтересованными сторонами
• Объединяет различные аспекты пользовательского опыта (эффективность, результативность, удовлетворенность) в одной метрике
• Помогает отслеживать динамику изменения юзабилити продукта со временем
• Обеспечивает основу для принятия объективных решений о необходимости улучшений
• Позволяет устанавливать измеримые цели для улучшения пользовательского опыта

SUM (Single Usability Metric) является ценным инструментом для оценки проектных решений, особенно когда необходимо объективно сравнивать различные версии продукта или конкурентные решения. Эта метрика объединяет разные аспекты юзабилити в единый показатель, что упрощает интерпретацию результатов и коммуникацию с заинтересованными сторонами. Для получения наиболее точных и полезных результатов рекомендуется включать в расчет SUM как минимум три компонента: эффективность (время выполнения задач), результативность (процент успешного завершения задач) и удовлетворенность (субъективные оценки пользователей, например, по шкале SUS). При использовании SUM важно обеспечить стандартизацию компонентов, чтобы привести их к единой шкале, и определить весовые коэффициенты для каждого компонента в зависимости от их относительной важности для конкретного продукта. Рекомендуется проводить замеры SUM не только после завершения разработки, но и в процессе создания проектных решений для отслеживания прогресса и принятия обоснованных решений об изменениях в дизайне. Для обеспечения сопоставимости результатов важно использовать одинаковые задачи и методологию при проведении последовательных замеров, а также учитывать контекстуальные факторы, которые могут повлиять на результаты.

Преимущества и ограничения

Бизнес-выгоды

• Единая числовая метрика для комплексной оценки юзабилити — упрощает отчетность и принятие решений, особенно для руководства и нетехнических стейкхолдеров
• Возможность сравнения различных интерфейсов или версий продукта по стандартизированной шкале, что облегчает выбор между альтернативами
• Объективное измерение прогресса улучшений юзабилити во времени — позволяет отслеживать эффективность изменений и доказывать ценность UX-инициатив
• Снижение субъективности в оценке интерфейсов — замена мнений и предпочтений на измеримые показатели
• Обоснование инвестиций в UX — предоставление количественных данных для расчета ROI от улучшения пользовательского опыта

Уникальные особенности

• Комбинирует объективные метрики (время, ошибки, успешность) с субъективной оценкой пользователей, что дает целостную картину юзабилити
• Нормализованная шкала от 0 до 100 для удобства интерпретации и сравнения, понятная даже нетехническим специалистам
• Учитывает как фактическую производительность, так и воспринимаемое удобство — два аспекта, которые не всегда коррелируют
• Статистическая обоснованность — метод основан на научных исследованиях и валидирован в различных контекстах
• Адаптивность — возможность настройки весовых коэффициентов для разных метрик в зависимости от приоритетов продукта

Оптимальные условия применения

• Бенчмаркинг юзабилити против конкурентов или отраслевых стандартов — когда нужна объективная основа для сравнения
• Отслеживание динамики улучшений после редизайна или оптимизации — для измерения прогресса
• Необходимость простой метрики для презентации результатов стейкхолдерам — особенно в организациях, ориентированных на количественные показатели
• Сравнение эффективности различных дизайнерских решений — когда нужно выбрать между несколькими вариантами
• Наличие ресурсов для проведения тестирования с участием пользователей — метод требует сбора как объективных, так и субъективных данных
• Итеративная разработка продукта — когда требуется регулярно оценивать влияние изменений на юзабилити

Ограничения

• Агрегированная метрика может скрывать важные детали о конкретных проблемах — высокий общий балл может маскировать серьезные недостатки в отдельных аспектах
• Требует проведения юзабилити-тестирования, что увеличивает время и затраты по сравнению с экспертной оценкой
• Субъективная оценка может варьироваться в зависимости от ожиданий и опыта пользователей — культурные и демографические различия влияют на восприятие
• Может не отражать различия в важности разных аспектов юзабилити для конкретного продукта без тщательной настройки весовых коэффициентов
• Фокусируется на выполнении задач, но может упускать эмоциональные и эстетические аспекты пользовательского опыта
• Зависимость от качества тестовых сценариев — если выбранные задачи не репрезентативны для реального использования, результаты могут быть искажены
• Не всегда учитывает долгосрочный опыт — метрика может показывать хорошие результаты для простых задач, но не отражать проблемы, возникающие при длительном использовании

Вариации метода

1. Классический SUM

Оригинальная версия метода, разработанная Джеффом Соро и Джеймсом Льюисом, основанная на усреднении нормализованных значений успешности, времени выполнения, количества ошибок и субъективных оценок.

Специфика: Равное взвешивание всех метрик, стандартизированный подход к нормализации.

Когда использовать: Для базовой оценки юзабилити, когда нет специфических приоритетов или необходимости в настройке метрики. Подходит для большинства веб-сайтов и приложений с типичными сценариями использования.

2. Взвешенный SUM (Weighted SUM)

Модификация классического метода, где разным метрикам присваиваются разные весовые коэффициенты в зависимости от их важности для конкретного продукта или контекста.

Специфика: Требует определения приоритетов для различных аспектов юзабилити, позволяет лучше отразить специфику продукта.

Когда использовать: Когда определенные аспекты юзабилити (например, успешность выполнения задачи) важнее других (например, скорость) в контексте конкретного продукта. Особенно полезно для критически важных систем, где ошибки могут иметь серьезные последствия.

3. Упрощенный SUM (Simplified SUM)

Версия с сокращенным набором метрик, обычно включающая только успешность выполнения задачи, время и субъективную оценку удовлетворенности.

Специфика: Проще в реализации, требует меньше ресурсов для сбора данных, но может быть менее чувствительной к некоторым аспектам юзабилити.

Когда использовать: Для быстрых итеративных оценок в условиях ограниченных ресурсов или времени. Подходит для агильной разработки, когда необходимо быстро оценивать изменения.

4. Расширенный SUM (Extended SUM)

Включает дополнительные метрики помимо стандартных, такие как число кликов, эффективность пути (отношение минимального числа шагов к фактическому), когнитивная нагрузка и другие специфические для продукта показатели.

Специфика: Более комплексная оценка, учитывающая больше аспектов взаимодействия, но требующая более сложного сбора и анализа данных.

Когда использовать: Для сложных интерфейсов или процессов, где стандартных метрик недостаточно для полной оценки юзабилити. Подходит для профессиональных инструментов, корпоративного ПО или критически важных систем.

5. SUM для мобильных интерфейсов (Mobile SUM)

Адаптация метода для специфики мобильных интерфейсов с учетом таких факторов, как использование жестов, ограничения размера экрана, контекст использования в движении.

Специфика: Включает метрики, специфичные для мобильного взаимодействия, такие как точность касаний, успешность жестов, адаптация к ориентации устройства.

Когда использовать: Для оценки мобильных приложений и адаптивных веб-сайтов, особенно если важен контекст мобильного использования.

Связь с другими методами

Предшествующие методы

• Модерируемое юзабилити-тестирование/Немодерируемое юзабилити-тестирование — предоставляет контекст для измерения
• Тест первого клика — предоставляет данные о навигации
• Экспертная оценка удобства — выявляет потенциальные проблемы

Дополняющие методы

• Модерируемое юзабилити-тестирование — объясняет причины проблем
• Замер других метрик (SUS, UMUX, CES) — предоставляет альтернативные измерения
• Eye-tracking — дополняет субъективные оценки объективными данными

Последующие методы

• A/B-тестирование (Сплит-тестирование) — проверяет эффективность улучшений
• User Flow — оптимизирует потоки для упрощения задач
• Прототипирование — реализует улучшения на основе результатов
• Повторное измерение SUM — оценивает улучшение

Заключение

Метод SUM (Single Usability Metric) представляет собой важный инструмент в арсенале UX-исследователя, позволяющий перевести многомерную концепцию юзабилити в понятную и измеримую форму. Эта метрика служит мостом между субъективным опытом пользователей и объективными бизнес-требованиями, делая UX-исследования более доступными для понимания всеми заинтересованными сторонами.

Ключевая ценность SUM заключается в его способности объединять различные аспекты юзабилити в единый показатель, который можно отслеживать с течением времени и использовать для сравнения различных дизайнерских решений. Это особенно важно в современной практике, где UX-дизайн все чаще должен доказывать свою ценность через измеримые результаты и влияние на бизнес-показатели.

В современных UX-исследованиях SUM находит применение не только как инструмент оценки, но и как метод, направляющий процесс дизайна. Установив базовый показатель SUM, команды могут ставить конкретные цели по его улучшению и принимать обоснованные решения о приоритетах в разработке. Это делает процесс улучшения пользовательского опыта более структурированным и ориентированным на результат.

Перспективы развития метода SUM связаны с несколькими направлениями:

1. Адаптация к новым типам интерфейсов — с появлением голосовых, жестовых и иммерсивных интерфейсов возникает необходимость в новых метриках и способах их интеграции в SUM.
2. Автоматизация сбора данных — развитие технологий позволяет автоматизировать сбор многих метрик в естественной среде использования, без необходимости в формальном тестировании.
3. Интеграция с бизнес-метриками — усиление связи между показателями юзабилити и бизнес-результатами, такими как конверсия, удержание и пожизненная ценность клиента.
4. Персонализация метрики — разработка адаптивных вариантов SUM, учитывающих индивидуальные особенности пользователей и контекст использования.

Несмотря на свои преимущества, SUM не является панацеей и наиболее эффективен в сочетании с другими методами исследования. Количественные показатели должны дополняться качественными инсайтами, чтобы создать полное понимание пользовательского опыта. Только такой комплексный подход позволяет принимать действительно обоснованные решения в дизайне, ориентированном на пользователя.

В целом, метод SUM олицетворяет эволюцию UX-дисциплины от чисто качественного, интуитивного подхода к более структурированному, научно обоснованному подходу, который сочетает искусство дизайна с точностью измерений. Эта эволюция не только повышает статус UX-исследований в организациях, но и способствует созданию продуктов, которые действительно отвечают потребностям пользователей и бизнеса.

Подписывайтесь на наш Телеграмм-канал — анонсы мероприятий, кейсы и статьи, расписание нашей Школы, и многое другое.