Что произошло
2010 год. Международная организация по стандартизации публикует ISO 9241-210:2010 — «Human-centred design for interactive systems». Документ заменяет прежний ISO 13407:1999, который одиннадцать лет описывал процесс человекоцентричного проектирования. Формально это пересмотр: стандарт переносится из отдельного номера в серию 9241, получает уточнения и дополнения. По сути — перезагрузка: ISO 9241-210 кодифицирует процесс, без которого юзабилити остаётся случайностью, а не результатом.
Стандарт описывает четыре этапа, образующих итеративный цикл:
- Понимание контекста использования — кто пользователи, какие у них задачи, в какой среде они работают.
- Определение требований пользователей — чего люди хотят от системы, а не только чего хочет заказчик.
- Разработка дизайнерских решений — прототипирование, создание вариантов.
- Оценка дизайна — проверка решений с реальными пользователями.
Цикл повторяется. Это не водопад, а спираль: каждая итерация уточняет понимание и улучшает решение. Шесть принципов закрепляют логику: дизайн основан на понимании пользователей, их задач и среды; пользователи вовлечены на всех этапах; дизайн управляется оценкой; процесс итеративен; дизайн охватывает весь пользовательский опыт; команда междисциплинарна.
Два года спустя, в 2012 году, вышла книга, которая решала другую — но парную — задачу. Джефф Сауро и Джеймс Р. Льюис опубликовали «Quantifying the User Experience: Practical Statistics for User Research». Первое систематическое руководство по статистике для UX-исследователей. Не для статистиков, изучающих UX, — а для UX-специалистов, которым нужна статистика.
Книга охватывала всё, что накопилось за двадцать лет количественного юзабилити: доверительные интервалы для completion rate и time-on-task, расчёт размера выборки, сравнение двух версий интерфейса, анализ результатов стандартизированных опросников — SUS, PSSUQ, SUPR-Q. Каждая глава — практическая задача с решением. Не теоретическая статистика, а рабочий инструмент.
Контекст эпохи
К 2010 году UX-дисциплина находилась в характерном состоянии: она выросла из академии, стала индустрией, но сохранила качественный уклон. Типичный отчёт о юзабилити-тестировании содержал наблюдения, цитаты пользователей, скриншоты с проблемами, приоритизацию «высокая / средняя / низкая». Это было ценно для формативного тестирования — найти проблемы и исправить. Но недостаточно для вопросов, которые задавал бизнес: «Стало ли лучше после редизайна? Насколько? Уверены?»
Параллельно — бум данных. Google к 2000 году проводил A/B-тесты, а к 2010-му — тысячи экспериментов в год. Amazon, Netflix, Facebook строили культуру data-driven decisions. Продуктовые команды привыкали к p-значениям и конверсионным воронкам. А UX-исследователи продолжали приходить с качественными отчётами. Разрыв был ощутим: аналитики говорили на языке цифр, UX-специалисты — на языке историй.
Дело было не в лени и не в пренебрежении статистикой. Дело было в специфике UX-данных. Юзабилити-тестирование проводится на малых выборках — 5, 10, 15 человек. Классическая статистика предполагает большие выборки и нормальное распределение. Completion rate — бинарная переменная (выполнил / не выполнил). Time-on-task — распределение со скошенным хвостом (большинство быстро, несколько очень медленно). SUS-баллы — порядковая шкала, которую все трактуют как интервальную. Стандартные учебники по статистике не учат работать с такими данными. UX-исследователям нужен был свой учебник.
Сауро и Льюис написали именно его.
Джефф Сауро основал компанию MeasuringU в 2005 году — консалтинг, целиком посвящённый количественному UX. Его блог measuringu.com стал энциклопедией UX-статистики. Сауро не изобретал статистику — он переводил её на язык практиков. Джеймс Р. Льюис — фигура, знакомая читателям этой серии: создатель PSSUQ, соавтор исследований по размеру выборки, более тридцати лет в IBM. Сауро принёс педагогический талант, Льюис — глубину и строгость.
Оба видели одну проблему: UX-исследователи либо применяют статистику некорректно (стандартный интервал Вальда на выборке из 8 человек, арифметическое среднее для скошенного time-on-task), либо не используют вовсе — потому что боятся. Книга решала обе стороны: давала корректные методы и снимала страх перед цифрами.
Значение для UX
Стандарт процесса и книга по статистике — два события, которые казались не связанными. Одно произошло в Женеве (ISO), другое — в издательстве Morgan Kaufmann. Но они обозначили одну тенденцию: UX-дисциплина двигалась от качественной интуиции к количественной строгости.
ISO 9241-210: от определения к процессу. ISO 9241-11 (1998) ответил на вопрос «что такое юзабилити». ISO 9241-210 ответил на вопрос «как его достичь». Первый — словарь. Второй — рецепт. Без рецепта словарь бесполезен: знать, что юзабилити — это результативность, эффективность и удовлетворённость, недостаточно. Нужно знать, как проектировать, чтобы достигать всех трёх. ISO 9241-210 дал алгоритм: исследуй контекст, определи требования, прототипируй, тестируй, повторяй.
Ключевое нововведение редакции 2010 года по сравнению с ISO 13407 — акцент на итеративности и на полном жизненном цикле. ISO 13407 описывал человекоцентричный дизайн как набор активностей. ISO 9241-210 настаивал: эти активности — не однократный процесс, а непрерывный цикл. Не «провести исследование перед разработкой», а «исследовать, проектировать, тестировать, исследовать снова — на каждом этапе жизненного цикла продукта».
Стандарт быстро стал точкой отсчёта. Государственные тендеры в Европе ссылались на ISO 9241-210. Контракты на разработку включали требование соответствия. В 2012 году Россия приняла ГОСТ Р ИСО 9241-210 — дословный перевод международного стандарта. Юзабилити-компании получили формальное обоснование полного цикла работ: от исследований до итеративного тестирования.
«Quantifying the User Experience»: от историй к доказательствам. До книги Сауро и Льюиса UX-исследователь мог сказать: «Пять из восьми пользователей не справились с задачей». После — мог добавить: «С 95%-ной уверенностью completion rate составляет от 26% до 75%». Разница — между наблюдением и доказательством. Первое убеждает UX-команду. Второе убеждает продуктового директора.
Книга ввела в повседневную практику UX-исследований несколько ключевых инструментов:
Adjusted Wald interval — корректный метод построения доверительных интервалов для пропорций на малых выборках, взамен стандартного метода Вальда, который на выборках 5—15 человек даёт неточные результаты. Геометрическое среднее для time-on-task — потому что арифметическое среднее завышает типичное время из-за скошенного распределения. Практические формулы размера выборки — конкретные ответы: сколько пользователей нужно, чтобы обнаружить разницу в 10 процентных пунктов между версиями? Сравнение UX-метрик — t-тесты, хи-квадрат, непараметрические альтернативы применительно к типичным UX-данным.
Влияние книги вышло за пределы тех, кто её прочитал. Сауро через MeasuringU создал онлайн-калькуляторы для доверительных интервалов и размера выборки. UX-исследователи по всему миру стали использовать их в отчётах, не вникая в формулы — но получая корректные результаты. Культура количественного UX просочилась в индустрию через инструменты, а не через учебники.
Для UsabilityLab связка стандарта и статистики — рабочая повседневность. Процесс проектирования следует логике ISO 9241-210: исследование контекста, требования, прототип, тестирование, итерация. А отчёт о тестировании содержит не только список проблем, но и доверительные интервалы для completion rate, сравнение SUS-баллов текущей и предыдущей версий, расчёт статистической значимости различий. Стандарт определяет что делать. Книга Сауро и Льюиса — как измерять результат.
Два события 2010–2012 годов закрыли важный гештальт. UX-дисциплина за двадцать лет прошла путь от термина (Норман, 1993) через определение (ISO 9241-11, 1998) и экономическое обоснование (ROI, 1994) к формализованному процессу и статистической строгости. От «нам кажется, что так удобнее» — к «с 95%-ной уверенностью completion rate выше 85%». Это не означало, что качественные методы утратили ценность. Глубинные интервью, наблюдения, CJM — всё это осталось. Но у UX-исследователя появился выбор: рассказать историю или привести доказательство. А лучшие исследователи научились делать и то, и другое.
Связанные статьи
- ISO 9241-11: юзабилити становится международным стандартом (1998) — стандарт, определивший юзабилити как результативность, эффективность и удовлетворённость. ISO 9241-210 описывает процесс достижения этого результата.
- ГОСТ Р ИСО 9241-210 (2012) — российская адаптация ISO 9241-210, давшая юридическую силу человекоцентричному проектированию в госзакупках.
- PSSUQ и SUMI (1992) — опросник PSSUQ, созданный Джеймсом Льюисом в IBM. Двадцать лет спустя тот же Льюис систематизировал статистику его анализа в книге с Сауро.
- Размер выборки: 5 пользователей (1990–1994) — формула Вирзи и Льюиса для малых выборок. Книга Сауро и Льюиса дала инструменты для корректной работы с результатами таких выборок.
- Что такое человекоцентричный дизайн — методология, которую ISO 9241-210 кодифицировал как международный стандарт.
- A/B-тестирование: Google и эра данных (2000) — data-driven подход, который к 2010 году стал нормой для продуктовых команд. Книга Сауро и Льюиса дала UX-исследователям статистический инструментарий сопоставимой строгости.
- Эффект оценщика и CUE (1998) — проблема субъективности качественных оценок, которую количественные методы помогают смягчить.