QUIS: опросник удовлетворённости Шнейдермана (1987)

Что произошло

В 1987 году в Human-Computer Interaction Laboratory Университета Мэриленда родился инструмент, который должен был стать стандартом измерения пользовательской удовлетворённости. Его создатель — Бен Шнейдерман (Ben Shneiderman), профессор информатики, только что выпустивший учебник «Designing the User Interface» с восемью золотыми правилами проектирования интерфейсов. Инструмент назвали QUIS — Questionnaire for User Interaction Satisfaction.

Проблема, которую решал QUIS, была знакома каждому руководителю юзабилити-лаборатории. Тестирование завершено, наблюдения записаны, ошибки подсчитаны. Но как узнать, что чувствовал пользователь? Не что он делал — а как он это воспринимал? Нравился ли ему интерфейс? Казались ли термины понятными? Было ли ощущение, что система помогает, а не мешает?

Каждая лаборатория изобретала свои анкеты. Пять вопросов здесь, двадцать там, шкалы от 1 до 5 или от 1 до 7, формулировки — на усмотрение исследователя. Сравнивать результаты между лабораториями было невозможно. Шнейдерман решил это исправить.

QUIS состоял из 27 пунктов, организованных в пять шкал:

1. Общая реакция на систему — шесть пунктов. Ужасная или прекрасная? Трудная или лёгкая? Фрустрирующая или удовлетворяющая? Респондент ставил оценку по 9-балльной шкале с семантическими якорями на концах. Не абстрактные числа — а полюса значений: «rigid» (негибкая) на одном конце, «flexible» (гибкая) на другом.

2. Экранная компоновка — четыре пункта. Удобочитаемость шрифтов, логичность расположения информации, организация экранных элементов. В 1987 году, когда большинство интерфейсов были текстовыми терминалами с зелёными символами на чёрном фоне, вопросы о компоновке экрана были не менее актуальны, чем сегодня для мобильных приложений.

3. Терминология и обратная связь — шесть пунктов. Понятна ли терминология? Информативны ли сообщения об ошибках? Помогает ли система понять, что пошло не так? Эта шкала измеряла качество «разговора» системы с пользователем — и часто давала самые низкие оценки.

4. Обучаемость — шесть пунктов. Легко ли начать работу? Запоминаются ли команды? Помогает ли справочная система? В эпоху, когда к каждой программе прилагалось руководство пользователя на сотню страниц, обучаемость была критическим фактором.

5. Системные возможности — пять пунктов. Скорость работы, надёжность, исправление ошибок. Это была единственная шкала, затрагивавшая не только субъективное восприятие, но и производительность системы.

Каждый пункт — 9-балльная шкала с семантическими якорями. Не просто «от 1 до 9», а, например, от «terrible» до «wonderful», от «dull» до «stimulating». Якоря помогали респонденту калибровать ответ: он не гадал, что значит «7 из 9», а ориентировался на слова.

Контекст эпохи

1987 год стоит между двумя эпохами HCI. Позади — лавина публикаций и лабораторий: GOMS-модель Карда, Морана и Ньюэлла (1983), 944 рекомендации Смита и Мойзера (1986), 8 золотых правил самого Шнейдермана (1986), SUS Джона Брука (1986). Впереди — эпоха юзабилити-инжиниринга: эвристическая оценка Нильсена и Молича (1990), юзабилити-инжиниринг как профессия (1988), стандартизация через ISO 9241-11 (1998).

В этом промежутке юзабилити-лаборатории остро нуждались в инструментах измерения. Тесты проводились, проблемы находились, но субъективная удовлетворённость — третий компонент юзабилити — оставалась самой неуловимой метрикой. Результативность можно подсчитать: задача выполнена или нет. Эффективность — засечь: сколько времени потрачено. А удовлетворённость? «Понравилось» — это сколько?

Шнейдерман и SUS Брука отвечали на этот вопрос одновременно, но по-разному. Брук создал термометр: одно число, быстрый замер, общая картина. Шнейдерман создал диагностический прибор: пять шкал, детальный профиль, конкретные проблемные зоны.

Интересно, что оба инструмента появились в лабораториях, связанных с реальным производством. Брук работал в DEC — компании, выпускавшей офисные системы. Шнейдерман — в университете, но его лаборатория сотрудничала с NASA, IBM, AT&T и другими организациями, для которых удобство интерфейсов было не академическим вопросом, а условием безопасности и продуктивности.

Значение для UX

QUIS вошёл в историю как один из первых стандартизированных опросников юзабилити — и одновременно как пример того, как бизнес-модель определяет судьбу инструмента.

Университет Мэриленда решил коммерциализировать QUIS. Лицензия стоила денег. Нужно было связаться с лабораторией, оформить договор, получить разрешение. Для академических исследователей — допустимый барьер. Для практикующих юзабилити-специалистов — лишний шаг, которого можно избежать, взяв бесплатный SUS.

Джон Брук никогда не патентовал SUS. Не требовал лицензий. Не ограничивал использование. Результат предсказуем: SUS распространился вирусно, QUIS остался нишевым. К 2024 году SUS цитировался в десятках тысяч научных работ. QUIS — в сотнях. Соотношение — два порядка.

Но проигрыш в массовости не означает проигрыш в качестве. QUIS делал то, чего SUS не мог: указывал на конкретную проблему. Если SUS показывал 55 баллов, исследователь знал, что продукт ниже среднего, но не знал почему. QUIS мог показать: общая реакция — 7 из 9 (хорошо), экранная компоновка — 6 (нормально), терминология — 3 (плохо). Диагноз ясен: проблема в языке интерфейса, не в структуре и не в функциональности.

Эта диагностическая способность стала моделью для следующего поколения опросников. PSSUQ Джима Льюиса (1992) тоже разбивал оценку на подшкалы — полезность системы, качество информации, качество интерфейса. SUMI Кираковского (1993) — на пять измерений. Идея была одна: одного числа недостаточно. Нужен профиль.

QUIS продолжал развиваться. Версия 5.0 вышла в 1988 году, версия 5.5 — в 1990-м, версия 7.0 — в 2003-м. Каждая обновлялась: добавлялись шкалы для мультимедиа, интернет-интерфейсов, сенсорных устройств. Лаборатория HCI Мэрилендского университета поддерживала инструмент десятилетиями — академическая роскошь, которая недоступна свободным инструментам вроде SUS.

История QUIS содержит урок, актуальный далеко за пределами юзабилити-метрик. Качество продукта — необходимое, но не достаточное условие успеха. SUS победил не потому, что был лучше. Он победил потому, что был доступнее. Бесплатность, простота, отсутствие барьеров — эти свойства оказались важнее глубины и детальности. В мире метрик, как и в мире интерфейсов, работает закон Теслера: сложность никуда не исчезает — но инструмент, который берёт сложность на себя, выигрывает у того, который перекладывает её на пользователя.

Связанные статьи

• Что такое юзабилити — QUIS измеряет субъективную удовлетворённость, третий компонент юзабилити по ISO 9241-11, через пять детальных шкал.
• Закон Миллера — 27 пунктов QUIS на верхней границе когнитивной нагрузки. Это одна из причин, почему SUS с его 10 вопросами оказался практичнее.
• Эвристики Нильсена — эвристики оценивают соблюдение принципов проектирования; QUIS измеряет результат глазами пользователя. Два инструмента дополняют друг друга.

Из серии «История UX»:

• Шнейдерман: 8 золотых правил и учебник HCI (1986–1987) — QUIS появился в той же лаборатории, где были сформулированы 8 правил. Правила — для проектирования, QUIS — для измерения результата.
• SUS: шкала юзабилити (1986) — SUS и QUIS родились одновременно и решали одну задачу. SUS стал массовым, QUIS — глубоким. Индустрия выбрала массовость.
• PSSUQ и SUMI (1992–1993) — следующее поколение опросников, унаследовавшее от QUIS идею многомерной оценки.
• Закон Теслера (1985) — сложность не исчезает, а перемещается. QUIS оставил сложность на стороне исследователя; SUS забрал её себе.