Замер метрик: SUS

Замер метрик: SUS (англ. System Usability Scale) — количественный метод оценки удобства системы с помощью стандартизированного опросника, состоящего из 10 утверждений, оцениваемых пользователями по 5-балльной шкале. Этот инструмент позволяет измерить воспринимаемую простоту использования, удобство интерфейса и обучаемость работы с продуктом.

System Usability Scale был разработан Джоном Бруком (John Brooke) в 1986 году, когда он работал в Digital Equipment Corporation (DEC). Опросник был создан как часть программы инженерии юзабилити для оценки систем офисной автоматизации. Первая публикация метода состоялась в 1996 году в сборнике “Usability Evaluation in Industry”.

Брук стремился создать простой, но надежный инструмент для быстрой оценки юзабилити различных систем, который можно было бы использовать в условиях ограниченных ресурсов. Ключевая инновация SUS заключалась в его “технологической нейтральности” — возможности применения к любым типам систем, взаимодействующим с пользователями.

На протяжении 1990-х годов SUS начал приобретать популярность как среди академических исследователей, так и в промышленности, благодаря своей простоте, надежности и относительно небольшому количеству вопросов. Важной вехой в развитии метода стало исследование Джеффа Сауро (Jeff Sauro) и Джеймса Льюиса (James Lewis) в начале 2000-х годов, которые проанализировали большое количество данных SUS и установили эталонные значения для интерпретации результатов.

В 2008 году Аарон Бэнгор (Aaron Bangor), Филип Кортум (Philip Kortum) и Джеймс Миллер (James Miller) опубликовали расширенное исследование, в котором проанализировали более 2300 опросов SUS и предложили дополнительную шкалу для интерпретации результатов в виде прилагательных (от “худшего возможного” до “лучшего возможного”), а также сравнение с рейтингом школьных оценок (A, B, C, D, F).

К 2010-м годам SUS стал одним из наиболее широко используемых стандартизированных инструментов оценки юзабилити, применяемым как для веб-сайтов и программного обеспечения, так и для аппаратных устройств и систем. Его популярность объясняется сочетанием простоты использования, надежности результатов и возможности сравнения с большой базой накопленных данных.

Описание метода

System Usability Scale представляет собой опросник из 10 утверждений, которые пользователи оценивают по 5-балльной шкале Ликерта от “Категорически не согласен” (1) до “Полностью согласен” (5). Утверждения чередуются между положительными и отрицательными, чтобы минимизировать предвзятость ответов и заставить респондентов внимательно читать каждый пункт.

Стандартные 10 утверждений SUS:

1. Я думаю, что буду часто использовать эту систему
2. Я нахожу эту систему излишне сложной
3. Я считаю, что система проста в использовании
4. Я думаю, что мне потребуется помощь специалиста для использования системы
5. Я обнаружил, что различные функции в этой системе хорошо интегрированы
6. Я думаю, что в системе слишком много несогласованности
7. Я полагаю, что большинство людей быстро освоит эту систему
8. Я нахожу систему очень неудобной в использовании
9. Я чувствовал себя очень уверенно, используя эту систему
10. Мне пришлось многому научиться, прежде чем я смог начать пользоваться этой системой

Процесс применения метода SUS включает следующие этапы:

1. Подготовка:
   • Определение продукта или интерфейса для оценки
   • Адаптация опросника при необходимости (например, замена слова “система” на “сайт” или “приложение”)
   • Перевод на нужный язык (при сохранении смысла утверждений)
   • Определение выборки пользователей
2. Сбор данных:
   • Пользователи взаимодействуют с системой, выполняя типичные задачи
   • После взаимодействия пользователи заполняют опросник SUS
   • Рекомендуется минимум 5-8 участников для получения надежных результатов, но оптимально 12-20
3. Расчет результатов:
   • Для нечетных пунктов (положительных утверждений): из оценки пользователя вычитается 1
   • Для четных пунктов (отрицательных утверждений): из 5 вычитается оценка пользователя
   • Все полученные значения суммируются
   • Сумма умножается на 2.5 для получения итогового балла SUS от 0 до 100
4. Интерпретация результатов:
   • Средний балл SUS составляет около 68
   • Баллы выше 68 считаются выше среднего, ниже 68 – ниже среднего
   • Баллы выше 80 указывают на отличную юзабилити
   • Баллы ниже 50 указывают на серьезные проблемы с юзабилити

Дополнительно результаты SUS можно интерпретировать через:

• Шкалу прилагательных: от “Худший возможный” до “Лучший возможный”
• Школьные оценки: от F (провал) до A+ (отлично)
• Процентили: относительное положение среди всех продуктов в базе данных SUS
• Показатели обучаемости (вопросы 4 и 10) и удобства использования (остальные вопросы)

Типология метода

• Тип данных: количественный
• Модерация: немодерируемый (может применяться после модерируемых тестов)
• Продолжительность: 2–5 минут на заполнение опросника; полный цикл — от нескольких дней до 1–2 недель
• Формат проведения: опрос, интегрируемый после тестирования интерфейсов, через онлайн-платформы или очно

Цели и задачи метода

Основные цели использования System Usability Scale в UX-исследованиях:

• Получение количественной оценки общего уровня юзабилити продукта
• Сравнение различных версий одного продукта для отслеживания изменений
• Бенчмаркинг продукта относительно конкурентов или отраслевых стандартов
• Определение областей, требующих улучшения в интерфейсе
• Валидация результатов редизайна или внесения изменений в продукт
• Получение стандартизированных данных для отчетности перед стейкхолдерами

SUS помогает ответить на следующие вопросы:

• Насколько удобен наш продукт с точки зрения пользователей?
• Улучшили ли внесенные изменения общее впечатление от юзабилити?
• Как наш продукт соотносится с конкурентами по удобству использования?
• Существуют ли серьезные проблемы с юзабилити, требующие немедленного внимания?
• Насколько легко пользователям научиться работать с нашим продуктом?
• Как изменяется восприятие юзабилити продукта с течением времени?

Метод SUS удовлетворяет потребность исследователей и команд разработки в:

• Быстром и надежном инструменте оценки юзабилити
• Стандартизированном подходе, позволяющем проводить сравнения
• Количественных метриках для отслеживания прогресса
• Легко интерпретируемых результатах для коммуникации с неспециалистами
• Валидном инструменте с обширной исследовательской базой

SUS особенно ценен тем, что предоставляет субъективную оценку удобства использования непосредственно от пользователей, дополняя объективные метрики производительности (время выполнения задач, количество ошибок и т.д.).

Применение в процессе Human-Centered Design

Стадия 1. Понимание и определение контекста использования

Вспомогательное применение

• Оценка удобства использования существующих решений как отправной точки для проектирования
• Количественное измерение проблем юзабилити в текущем продукте
• Сравнение воспринимаемого удобства конкурентных продуктов
• Установление базовых показателей для отслеживания прогресса в ходе проекта
• Количественное обоснование необходимости редизайна или улучшений

На первой стадии HCD метрика SUS помогает объективно оценить текущее состояние юзабилити и определить масштаб необходимых улучшений, предоставляя количественные данные для принятия решений.

Стадия 2. Определение требований пользователей

Вспомогательное применение

• Приоритизация требований на основе их потенциального влияния на общую оценку юзабилити
• Установление целевых показателей SUS для нового или улучшенного продукта
• Сравнение различных концепций и подходов к решению проблем пользователей
• Проверка гипотез о влиянии определенных функций на воспринимаемое удобство
• Обоснование инвестиций в улучшение определенных аспектов пользовательского опыта

SUS на второй стадии помогает формализовать требования к удобству использования и предоставляет метрику для оценки потенциальной эффективности различных подходов к удовлетворению потребностей пользователей.

Стадия 3. Создание проектных решений

Основное применение

• Сравнение альтернативных проектных решений и выбор наиболее эффективного
• Итеративная оценка прототипов по мере их развития и усложнения
• Определение влияния конкретных изменений в дизайне на общую оценку удобства
• Принятие обоснованных решений о компромиссах между функциональностью и простотой
• Отслеживание прогресса в улучшении юзабилити в процессе проектирования

На стадии создания проектных решений SUS предоставляет количественный показатель эффективности дизайнерских решений, помогая выбрать оптимальный подход и оценить влияние изменений.

Стадия 4. Оценка проектных решений

Основное применение

• Валидация финального решения на соответствие целевым показателям юзабилити
• Сравнение с исходным продуктом для демонстрации улучшений
• Бенчмаркинг относительно конкурентов или отраслевых стандартов
• Выявление областей, требующих дальнейшего улучшения
• Предоставление стейкхолдерам объективных данных о качестве результата

На заключительной стадии HCD метрика SUS помогает объективно оценить успешность проекта с точки зрения улучшения юзабилити и выявить направления для дальнейшей оптимизации.

При использовании метрики SUS в процессе Human-Centered Design рекомендуется регулярно измерять показатели на всех этапах проекта для отслеживания прогресса. Важно помнить, что средний балл SUS составляет около 68, значения выше 80 указывают на отличную юзабилити, а ниже 50 — на серьезные проблемы. Для получения надежных результатов рекомендуется привлекать минимум 12-20 пользователей. Метрика SUS наиболее эффективна в сочетании с качественными методами исследования, которые помогут понять причины низких оценок. Для большей диагностической ценности можно дополнительно анализировать отдельные компоненты SUS: оценки обучаемости (вопросы 4 и 10) и удобства использования (остальные вопросы). При необходимости более компактного инструмента можно рассмотреть такие альтернативы как UMUX или UMUX-lite, которые имеют высокую корреляцию с SUS, но содержат меньше вопросов.

Преимущества и ограничения

Бизнес-выгоды

• Быстрая и недорогая оценка юзабилити без необходимости проведения сложных тестов
• Возможность сравнения с отраслевыми бенчмарками и конкурентами
• Отслеживание динамики улучшений юзабилити во времени

Уникальные особенности

• Стандартизированная и валидированная шкала с обширной базой данных для сравнения
• Высокая надежность при небольшом количестве респондентов (от 8-12 человек)
• Простота использования — всего 10 вопросов с понятной интерпретацией результатов

Оптимальные условия применения

• Быстрая оценка юзабилити на любой стадии разработки продукта
• Сравнение нескольких вариантов дизайна или конкурентных решений
• Регулярный мониторинг удовлетворенности пользователей интерфейсом
• Ситуации с ограниченным временем или бюджетом на исследования

Ограничения

• Не диагностирует конкретные проблемы — показывает только общий уровень юзабилити
• Субъективность восприятия может варьироваться между культурами и аудиториями
• Может не отражать специфические аспекты юзабилити, важные для конкретного продукта
• Требует дополнительных методов для понимания причин низких оценок

Вариации метода

System Usability Scale имеет несколько вариаций и адаптаций, которые были разработаны для решения различных исследовательских задач и контекстов:

1. SUPR-Q (Standardized User Experience Percentile Rank Questionnaire) — расширенная версия, разработанная Джеффом Сауро, которая включает дополнительные вопросы о доверии, внешнем виде, лояльности и качестве контента, помимо юзабилити.
   • Преимущества: более комплексная оценка пользовательского опыта
   • Применение: для веб-сайтов, где важны не только юзабилити, но и другие аспекты UX
2. SUS с прилагательными — дополнение к стандартному SUS, предложенное Бэнгором, Кортумом и Миллером, которое добавляет прилагательные для интерпретации результатов (от “Ужасно” до “Лучший из возможных”).
   • Преимущества: более интуитивная интерпретация результатов
   • Применение: для коммуникации результатов неспециалистам
3. Адаптированный SUS — версии с модифицированной формулировкой вопросов для конкретных типов продуктов или контекстов, например, замена слова “система” на “веб-сайт”, “приложение” или “устройство”.
   • Преимущества: более релевантная формулировка для конкретного продукта
   • Применение: для различных типов интерфейсов и систем
4. Сокращенный SUS — версии с меньшим количеством вопросов (например, 8 вместо 10), оптимизированные для ситуаций с ограниченным временем.
   • Преимущества: меньше времени на заполнение
   • Применение: для быстрых исследований или ситуаций с высокой нагрузкой на участников
5. UMUX (Usability Metric for User Experience) — альтернатива SUS с 4 вопросами, разработанная Финстадом, которая тесно коррелирует с SUS.
   • Преимущества: еще более компактная форма при сохранении надежности
   • Применение: для ситуаций с крайне ограниченным временем участников
6. UMUX-LITE — дальнейшее сокращение до 2 вопросов, которое все еще имеет высокую корреляцию с полным SUS.
   • Преимущества: минимальное время заполнения
   • Применение: для массовых опросов или встроенных в продукт опросников
7. SUS с комментариями — стандартный SUS, дополненный открытыми вопросами после каждого утверждения или в конце, для сбора качественных данных о причинах оценок.
   • Преимущества: сочетание количественных и качественных данных
   • Применение: для более глубокого понимания причин оценок

Выбор конкретной вариации зависит от:

• Доступного времени для исследования
• Необходимой глубины и широты оценки
• Специфики оцениваемого продукта
• Потребности в качественных данных
• Необходимости сравнения с историческими данными или бенчмарками

При выборе альтернативных версий SUS важно учитывать, что модификация стандартного опросника может повлиять на возможность прямого сравнения результатов с эталонными значениями и существующей базой данных SUS.

Связь с другими методами

Предшествующие методы

• Модерируемое юзабилити-тестирование/Немодерируемое юзабилити-тестирование — предоставляет контекст для измерения
• Экспертная оценка удобства — выявляет потенциальные проблемы

Дополняющие методы

• Замер других метрик (UMUX, SEQ) — предоставляет альтернативные измерения
• Модерируемое юзабилити-тестирование — объясняет причины низких оценок

Последующие методы

• A/B-тестирование (Сплит-тестирование) — проверяет эффективность улучшений
• Экспертная оценка удобства — выявляет проблемы, вызывающие низкие оценки
• Повторное измерение SUS — оценивает улучшение

Заключение

System Usability Scale за более чем 35 лет своего существования зарекомендовал себя как один из наиболее надежных, эффективных и широко используемых инструментов количественной оценки юзабилити. Ключевые преимущества SUS — простота применения, универсальность, надежность и наличие обширной базы сравнительных данных — сделали его стандартом де-факто в индустрии UX-исследований.

Несмотря на появление множества новых метрик и инструментов оценки пользовательского опыта, SUS сохраняет свою актуальность благодаря сбалансированному подходу к оценке общего уровня юзабилити. Он предоставляет единую метрику, понятную как специалистам, так и стейкхолдерам без технического бэкграунда, что делает его ценным инструментом коммуникации.

В современном контексте разработки цифровых продуктов, где скорость и итеративность становятся ключевыми факторами, SUS предоставляет оптимальный баланс между глубиной оценки и требуемыми ресурсами. Он позволяет быстро получить обратную связь от пользователей и принять обоснованные решения о направлениях улучшения продукта.

Эволюция метода продолжается, о чем свидетельствуют различные адаптации и расширения, такие как UMUX, UMUX-LITE и SUPR-Q, которые предлагают альтернативные подходы, сохраняя при этом концептуальную связь с оригинальным SUS. Эти вариации отвечают на современные вызовы, такие как необходимость еще более быстрой оценки в мобильных и веб-контекстах или потребность в более комплексной оценке различных аспектов пользовательского опыта.

Будущее SUS, вероятно, будет связано с дальнейшей интеграцией с другими методами и источниками данных, включая автоматизированный сбор и анализ, а также с развитием более контекстно-зависимых интерпретаций результатов, учитывающих специфику различных типов продуктов и сценариев использования.

Несмотря на свои ограничения, связанные с общим характером оценки и отсутствием диагностической глубины, SUS остается незаменимым инструментом в арсенале UX-исследователей и продуктовых команд, стремящихся создавать более удобные и эффективные продукты, ориентированные на потребности пользователей.

Подписывайтесь на наш Телеграмм-канал — анонсы мероприятий, кейсы и статьи, расписание нашей Школы, и многое другое.