Что произошло
В 2007 году в Веллингтоне, Новая Зеландия, Эндрю Мэйфилд и его команда запустили Optimal Workshop — набор онлайн-инструментов для UX-исследований. Первым продуктом стал OptimalSort: сервис для проведения карточной сортировки через браузер. Участник открывал ссылку, видел набор карточек с названиями разделов или категорий и распределял их по группам. Исследователь получал дендрограммы, матрицы сходства и статистику — без лаборатории, без модератора, без ограничений по географии.
За OptimalSort последовали Treejack и Chalkmark. Treejack тестировал информационную архитектуру в чистом виде: участник видел только текстовое дерево навигации — без логотипов, цветов, картинок — и пытался найти нужный раздел. Если 80% участников находили «Запись к врачу» за два клика, архитектура работала. Если блуждали — нет. Chalkmark решал задачу first-click testing: участник видел скриншот страницы и кликал туда, где, по его мнению, находился нужный элемент. Тепловая карта кликов показывала, куда смотрит большинство — и где дизайн вводит в заблуждение.
Год спустя, в 2008-м, вышла книга, ставшая настольной для целого поколения UX-исследователей. «Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics» — авторы Билл Альберт и Том Туллис. Альберт руководил Центром юзабилити Bentley University. Туллис — ветеран индустрии, 30 лет опыта: Bell Labs, Oracle, Fidelity Investments. Вместе они написали то, чего не существовало: практическое руководство по UX-метрикам от сбора до представления результатов.
В 2010 году те же авторы — плюс Донна Тедеско — выпустили «Beyond the Usability Lab: Conducting Large-Scale Online User Experience Studies». Если первая книга объясняла, что измерять, вторая — как измерять в масштабе. Немодерируемые удалённые тесты, онлайн-опросы, A/B-эксперименты, панельные исследования. Методология для мира, в котором лаборатория — это браузер, а выборка — не 5 человек, а 500.
Контекст эпохи
К концу 2000-х UX-исследования переживали кризис масштаба. Классическое юзабилити-тестирование — модератор, участник, односторонне стекло, камеры — давало глубокие инсайты, но стоило дорого и занимало недели. Якоб Нильсен утверждал, что пяти участников достаточно для обнаружения 85% проблем юзабилити. Но бизнес к 2007 году хотел не только находить проблемы — он хотел измерять опыт, сравнивать версии, отслеживать динамику. Для этого пяти участников не хватало.
Параллельно менялась география пользователей. iPhone (2007) превратил мобильный интернет из технической новинки в массовый канал. 3G обеспечивал связь. Пользователи сайтов и приложений теперь были разбросаны по всему миру: тестировать их в лаборатории в Бостоне или Маунтин-Вью стало не просто дорого, а невозможно.
Индустрия ответила инструментами. UserZoom (2003, Испания) и UserTesting (2007, США) предлагали платформы для удалённого юзабилити-тестирования. Но Optimal Workshop пошёл другим путём: не видеозапись сессии с модератором, а специализированные инструменты для конкретных задач. Карточная сортировка — отдельный сервис. Тестирование навигации — отдельный. First-click — отдельный. Каждый инструмент делал одно дело, но делал хорошо.
Книга Альберта и Туллиса заполнила другой пробел. До 2008 года UX-литература была богата книгами о проектировании — «Дизайн привычных вещей» Нормана (1988), «Не заставляйте меня думать» Крага (2000), — и о методах исследования. Но ни одна книга не фокусировалась на метриках: что именно считать, как анализировать, как представлять результаты руководству. «Measuring the User Experience» стала этим недостающим звеном.
Значение для UX
Три события — Optimal Workshop (2007), «Measuring the User Experience» (2008) и «Beyond the Usability Lab» (2010) — образовали связку, которая изменила практику UX-исследований. Инструменты дали инфраструктуру. Книги — методологию.
Демократизация исследований. До Optimal Workshop карточная сортировка требовала физических карточек, стола, фотоаппарата и ручного подсчёта. Treejack заменял дорогое тестирование навигации на прототипе — текстовым деревом, которое можно собрать за 15 минут. Стоимость одного исследования упала с тысяч долларов до десятков. Это открыло UX-исследования для компаний, которые раньше не могли себе их позволить: стартапов, малого бизнеса, некоммерческих организаций.
Метрики как язык. Альберт и Туллис систематизировали то, что существовало разрозненно. Completion rate — доля участников, успешно выполнивших задачу. Time on task — время выполнения. Errors — количество ошибок. Satisfaction scores — субъективные оценки: SUS, PSSUQ, SEQ (Single Ease Question — один вопрос «Насколько легко было выполнить эту задачу?» по 7-балльной шкале). Книга объясняла, какую метрику выбрать для какой задачи, какой размер выборки нужен для статистической значимости, как визуализировать результаты. UX-исследователь получил общий словарь — и возможность говорить с бизнесом на языке чисел.
SEQ — мост между простотой и глубиной. Один вопрос после каждой задачи: «Насколько легко было выполнить эту задачу?» (шкала от 1 до 7). Альберт и Туллис показали, что SEQ — валидная метрика: она коррелирует с completion rate, time on task и общей удовлетворённостью. SEQ стал для UX-тестирования тем, чем NPS стал для бизнеса — одним числом, которое можно собирать быстро и сравнивать между задачами, версиями, продуктами.
Выход за пределы лаборатории. «Beyond the Usability Lab» зафиксировала сдвиг, который уже происходил, и придала ему методологическую основу. Немодерируемое удалённое тестирование — участник выполняет задачи самостоятельно, без модератора, в своём браузере — позволяло набирать сотни участников за дни. Это меняло саму логику исследования. Лабораторное тестирование с 5 участниками находит проблемы. Онлайн-тестирование с 500 участниками измеряет, насколько проблемы критичны. Оба подхода нужны, но второй стал возможен только благодаря онлайн-инструментам.
Влияние на ISO 9241-210 и стандарты. Работы Альберта, Туллиса, а также Джеффа Сауро и Джеймса Льюиса создали доказательную базу для стандартизации UX-метрик. Международный стандарт ISO 9241-210 (2010), определивший человекоцентричное проектирование, опирался на ту же философию: пользовательский опыт можно и нужно измерять, а не только описывать.
Наследие к 2020-м. Optimal Workshop вырос в платформу с шестью инструментами, которой пользуются команды от Google до правительств Новой Зеландии и Великобритании. «Measuring the User Experience» вышла вторым изданием в 2013 году и остаётся обязательным чтением на UX-курсах по всему миру. Рынок UX-инструментов, начавшийся с OptimalSort и UserZoom, к 2024 году оценивается в миллиарды долларов: Maze, Lookback, dscout, Dovetail — все наследники идеи, что UX-исследование можно проводить онлайн, быстро и в масштабе.
К концу первого десятилетия XXI века UX-исследования перестали быть ремеслом одиночек с секундомером и блокнотом. Они стали дисциплиной с инструментами, метриками и методологией — готовой к эпохе, в которой цифровых продуктов стало больше, чем исследователей, способных их тестировать.
Связанные статьи
Из серии «История UX»:
- SUS — шкала юзабилити (1986) — первый стандартизированный опросник юзабилити. Альберт и Туллис включили SUS в арсенал рекомендуемых метрик наряду с SEQ и completion rate.
- PSSUQ и SUMI (1992) — детальные опросники, измерявшие удовлетворённость системой. «Measuring the User Experience» показала, когда выбирать PSSUQ, а когда хватит одного вопроса SEQ.
- ISO 9241-210, Сауро и Льюис (2010) — стандартизация человекоцентричного проектирования и UX-метрик происходила параллельно с работой Альберта и Туллиса.
- iPhone (2007) — мобильная революция создала потребность в удалённых исследованиях с географически распределёнными пользователями.
- A/B-тестирование Google (2000) — количественный подход к UX-решениям. Альберт и Туллис дали методологическую основу для интерпретации таких экспериментов.
- NPS (2003) — один вопрос для измерения лояльности. SEQ стал аналогом NPS для задачного юзабилити-тестирования.
Из раздела «Фундаментальные концепции»:
- Что такое UX — Альберт и Туллис показали, что пользовательский опыт измерим, и дали инструменты для этого.
- Что такое юзабилити — метрики completion rate, time on task и satisfaction напрямую отражают три компонента юзабилити по ISO 9241-11.
- Что такое HCD — измерение UX — обязательный этап человекоцентричного проектирования: без данных невозможно оценить, улучшился ли опыт.