Что произошло
В 1986 году инженер Джон Брук (John Brooke), работавший в британском подразделении Digital Equipment Corporation (DEC), столкнулся с практической проблемой. DEC выпускала офисные системы — электронную почту, текстовые редакторы, программы для управления документооборотом. Системы были сложными, пользователи жаловались, а менеджеры спрашивали: насколько наш продукт удобен? Лучше конкурентов или хуже? Становится ли удобнее с каждой версией?
Проблема была не в отсутствии мнений — у всех было мнение. Проблема была в отсутствии числа. Одного числа, которое можно сравнить между продуктами, между версиями, между командами. Числа, которое получается быстро и не требует месяцев статистической обработки.
Брук решил создать такое число. По его собственным воспоминаниям, он набросал анкету «quick and dirty» — быстро и грубо, без перфекционизма. Десять утверждений, к которым респондент выражает степень согласия по шкале Лайкерта от 1 («категорически не согласен») до 5 («полностью согласен»). Чётные и нечётные утверждения чередуются по тональности: нечётные — позитивные («Я думаю, что буду часто использовать эту систему»), чётные — негативные («Я нашёл систему неоправданно сложной»). Чередование не случайно — оно предотвращает бездумное проставление одинаковых оценок.
Десять вопросов SUS:
- Я думаю, что буду часто использовать эту систему.
- Я нашёл систему неоправданно сложной.
- Я считаю, что систему легко использовать.
- Мне потребуется помощь технического специалиста, чтобы работать с системой.
- Различные функции системы хорошо интегрированы.
- В системе слишком много непоследовательности.
- Большинство людей быстро научатся пользоваться системой.
- Система очень громоздкая в использовании.
- Я чувствовал себя уверенно при работе с системой.
- Мне нужно многое узнать, прежде чем я смогу работать с системой.
Формула подсчёта нарочито проста. Для нечётных вопросов (позитивных): оценка минус 1. Для чётных (негативных): 5 минус оценка. Суммируем все десять значений, умножаем на 2,5. Результат — число от 0 до 100.
Важно понимать: это не проценты. Балл 68 не означает «68% юзабилити». Это условная шкала, значение которой определяется только в сравнении — с другими продуктами, с предыдущими версиями, со средним по индустрии.
Брук не опубликовал SUS немедленно. Анкета циркулировала внутри DEC, использовалась в рабочих проектах, передавалась между командами. Первая публикация случилась лишь в 1996 году — десять лет спустя, в главе книги «Usability Evaluation in Industry» под редакцией Патрика Джордана. К тому моменту SUS уже стала стандартом де-факто: её использовали в десятках организаций, о ней знали все, кто занимался юзабилити-тестированием, — но формальной публикации не было. Брук исправил этот пробел.
Контекст эпохи
1986 год — время, когда юзабилити-лаборатории множились, но инструментарий отставал. Лаборатории открывались десятками с 1985 года — Bellcore, Microsoft, British Telecom, Philips. В каждой проводили юзабилити-тесты: сажали пользователей перед системой, наблюдали, записывали. Но после теста оставался вопрос: что чувствовал пользователь? Время выполнения задачи можно засечь. Количество ошибок — подсчитать. А субъективное впечатление?
Каждая лаборатория изобретала свои анкеты. Кто-то спрашивал пять вопросов, кто-то двадцать. Формулировки разнились. Шкалы — тоже. Сравнивать результаты между лабораториями было невозможно.
SUS решал именно эту проблему — стандартизация. Десять одинаковых вопросов для любого продукта. Одна формула. Один итоговый балл. Можно сравнивать текстовый редактор DEC с электронной таблицей Lotus, веб-сайт с мобильным приложением, версию 3.0 с версией 4.0.
В том же 1986 году Шнейдерман опубликовал свой учебник с 8 золотыми правилами, а его лаборатория в Мэриленде начала работу над QUIS — альтернативным опросником удовлетворённости. QUIS был детальнее: несколько шкал, десятки вопросов, возможность оценить отдельные аспекты интерфейса. SUS был проще: один балл, пять минут, никакой подготовки.
Победила простота. Не потому, что QUIS был хуже — он давал больше информации. А потому, что в реальных условиях юзабилити-тестирования время дорого, внимание пользователя ограничено, а менеджеру нужно одно число, которое он может показать руководству.
Значение для UX
SUS — один из немногих инструментов в истории UX, доживших до наших дней практически без изменений. Анкете 40 лет, и она остаётся самым цитируемым и самым используемым опросником юзабилити в мире. Этому есть три причины.
Простота. Десять вопросов. Пять минут на заполнение. Формула подсчёта, которую можно выполнить в голове. Не нужно специальное ПО, не нужна лицензия, не нужна подготовка. Любой исследователь — от стажёра до руководителя UX-лаборатории — может начать использовать SUS прямо сейчас.
Бесплатность. Джон Брук никогда не патентовал шкалу и не требовал лицензионных отчислений. Это было осознанное решение. В мире, где многие психометрические инструменты стоят тысячи долларов за лицензию, SUS оставался доступным каждому. Бесплатность обеспечила распространение, распространение — накопление данных, данные — надёжность норм.
Надёжность. Коэффициент альфа Кронбаха для SUS составляет 0,91 — это исключительно высокий показатель внутренней согласованности. Проще говоря: вопросы SUS действительно измеряют одну и ту же вещь. Это не случайный набор фраз — это психометрически валидный инструмент, прошедший проверку на тысячах респондентов.
Со временем появились нормативные данные. Исследователь Джефф Сауро проанализировал результаты более 500 исследований с использованием SUS и установил статистическую медиану: 68 баллов. Это среднее по индустрии. Ниже 50 — неприемлемо: продукт вызывает серьёзные проблемы. 50–67 — ниже среднего, есть существенные недостатки. 68–80 — нормально, продукт справляется с задачей. Выше 80 — хорошо, пользователи довольны. Выше 90 — исключительно, в верхних 5% всех протестированных систем.
SUS неидеален. Десять вопросов — это средняя температура по больнице. Если балл низкий, SUS не скажет почему: проблема в навигации? в терминологии? в скорости? Для этого нужны другие инструменты — QUIS, USE Questionnaire, AttrakDiff, детальные юзабилити-тесты. SUS — это термометр: он показывает, что пациент болен, но не ставит диагноз.
Тем не менее SUS изменил практику UX-исследований. До него субъективная удовлетворённость — третий компонент юзабилити по стандарту ISO 9241-11 — была самым размытым из трёх (наряду с результативностью и эффективностью). После SUS появилось число. А с числом можно работать: сравнивать, ставить цели, отслеживать динамику.
Джон Брук не стал знаменитостью. Он не выступал на конференциях TED, не написал бестселлер, не основал компанию. Он создал инструмент, который работает — тихо, надёжно, десятилетиями. В мире, одержимом инновациями, SUS напоминает: иногда лучшее решение — самое простое.
Связанные статьи
- Что такое юзабилити — SUS измеряет субъективную удовлетворённость — один из трёх компонентов юзабилити по ISO 9241-11, наряду с результативностью и эффективностью.
- Закон Хика — простота SUS (один балл, быстрое заполнение) иллюстрирует принцип Хика: чем меньше выбор, тем быстрее решение. Брук выбрал минимализм — и победил.
- Закон Миллера — десять вопросов SUS — на верхней границе объёма рабочей памяти. Респондент может удержать контекст всех вопросов, не теряя нить.
- Эвристики Нильсена — эвристическая оценка проверяет соблюдение принципов проектирования; SUS измеряет результат глазами пользователя. Два взгляда на одну задачу.
Из серии «История UX»:
- Шнейдерман: 8 золотых правил и учебник HCI (1986–1987) — QUIS и SUS появились одновременно. QUIS давал глубину, SUS — скорость. Индустрия выбрала скорость.
- Рождение юзабилити (1977–1985) — юзабилити-лаборатории, открывшиеся к 1985 году, нуждались в стандартных инструментах. SUS стал одним из первых ответов на эту потребность.
- Юзабилити-инжиниринг: рождение профессии (1988–1990) — SUS стал частью инструментария юзабилити-инжиниринга: измеримые цели, стандартные метрики, систематическая оценка.