Wizard of Oz: тестирование несуществующих интерфейсов (1983)

Что произошло

Балтимор, Университет Джонса Хопкинса, начало 1980-х. Аспирант по имени Джон Ф. Келли работает над диссертацией и сталкивается с проблемой, которая кажется неразрешимой. Его задача — понять, как люди будут взаимодействовать с компьютером при помощи голоса. Не нажимая кнопки, не набирая команды на клавиатуре — просто разговаривая. Проблема в том, что в 1983 году компьютеры не умеют надёжно распознавать речь.

Системы распознавания речи существовали — лаборатории Bell Labs, IBM и DARPA экспериментировали с ними с 1950-х годов. Но они работали с ограниченным словарём, требовали пауз между словами и ошибались так часто, что использовать их в реальных условиях было невозможно. Как исследовать поведение пользователя системы, которую невозможно построить?

Келли нашёл решение, элегантное в своей простоте. Пользователь сидел перед терминалом и говорил вслух свои запросы. На экране появлялись ответы — текстовые, осмысленные, мгновенные. Пользователь был уверен, что разговаривает с компьютером. На самом деле за стеной сидела машинистка, которая слышала речь участника через наушники и набирала ответы в реальном времени. Компьютер был бутафорией. Интеллект системы был человеческим.

Келли назвал это «Oz Paradigm» — парадигмой страны Оз. Отсылка к книге Л. Фрэнка Баума была точной: Дороти обнаружила, что великий и ужасный Волшебник страны Оз — обычный человек, управляющий машиной из-за занавеса. В эксперименте Келли занавес отделял пользователя от оператора, а иллюзия работающей технологии позволяла изучать реальное поведение.

Диссертация Келли «An Iterative Design Methodology for User-Friendly Natural Language Office Information Applications» была защищена в 1983 году. Она описывала не просто трюк, а методологию. Келли показал, что метод Wizard of Oz можно встроить в итеративный цикл проектирования: провести тест — проанализировать, как пользователи формулируют запросы — скорректировать дизайн диалога — провести следующий тест. Каждая итерация приближала интерфейс к тому, как люди действительно хотят общаться с машиной, — без необходимости строить саму машину.

Важно, что Келли был не первым, кто применил этот приём. Похожие эксперименты проводились и раньше — в частности, в работах по изучению естественного языка в 1970-х. Но именно Келли дал методу имя, систематизировал процедуру и показал его ценность как инструмента проектирования. До Келли это был лабораторный трюк. После Келли — признанный метод UX-исследований.

Контекст эпохи

Начало 1980-х — переломный момент в истории компьютеров. Персональные компьютеры уже существовали: IBM PC вышел в 1981 году, Apple Macintosh появится в 1984-м. Компьютеры переставали быть инструментом инженеров и учёных — они становились бытовыми. А значит, ими должны были пользоваться люди, которые не знают командной строки и не хотят её учить.

Именно в этот момент взаимодействие человека с компьютером (HCI) оформилось как самостоятельная дисциплина. В том же 1983 году Стюарт Кард, Томас Моран и Аллен Ньюэлл опубликовали книгу «The Psychology of Human-Computer Interaction» — первый систематический труд по психологии HCI. Конференция CHI (Computer-Human Interaction) при ACM провела своё первое заседание в 1982 году. Исследователи по всему миру задавались одним вопросом: как проектировать интерфейсы для людей, а не для программистов?

В этом контексте голосовой интерфейс казался святым Граалем. Речь — самый естественный способ общения между людьми. Если бы компьютер научился понимать речь, клавиатура стала бы не нужна. Проблема заключалась в том, что технология не поспевала за мечтой. Системы распознавания речи 1983 года могли разобрать несколько сотен слов, произнесённых чётко и раздельно, одним заранее обученным диктором. До Siri оставалось почти тридцать лет.

Келли оказался в парадоксальной ситуации: чтобы спроектировать интерфейс будущего, нужно было понять, как люди будут с ним взаимодействовать. Но чтобы понять это, нужно было дать им этот интерфейс — которого не существовало. Wizard of Oz разрубил этот узел: не нужно строить технологию, чтобы исследовать поведение. Достаточно создать иллюзию технологии.

Это был не единственный ответ на проблему тестирования несуществующего. Примерно в те же годы развивались бумажное прототипирование и концепция «low-fidelity prototypes». Но бумажные прототипы работали для визуальных интерфейсов — для кнопок, меню, экранных форм. Для голосового или текстового диалога бумага не годилась. Wizard of Oz заполнил именно эту нишу: он позволял тестировать интеллектуальное поведение системы, а не только её внешний вид.

Значение для UX

Метод Wizard of Oz пережил несколько волн популярности — и каждый раз это совпадало с появлением технологий, которые обещали больше, чем могли дать.

Голосовые интерфейсы 1990–2000-х. Когда системы IVR (Interactive Voice Response) начали массово появляться в call-центрах, проектировщики столкнулись с той же проблемой, что и Келли: как узнать, что скажет пользователь, до того как система построена? Wizard of Oz позволял протестировать сценарии голосового меню с живым оператором и выяснить, какие формулировки люди используют на самом деле — а не те, которые придумал аналитик.

Чат-боты 2010-х. Когда «разговорные интерфейсы» стали модными, многие компании обнаружили, что создать бота, который понимает естественный язык, — сложнее, чем казалось. Wizard of Oz стал стандартным инструментом: компания запускала «бот» в чате поддержки, за которым сидели живые операторы. Это позволяло собрать реальные диалоги, понять типичные запросы и сценарии, а затем автоматизировать самые частые из них.

ИИ-продукты 2020-х. Сегодня, в эпоху больших языковых моделей и генеративного ИИ, Wizard of Oz актуален как никогда. Команда, проектирующая ИИ-ассистента для врачей, может не ждать, пока модель будет обучена на медицинских данных. Достаточно посадить эксперта-медика «за занавес» и наблюдать, как врачи взаимодействуют с интерфейсом. Какие вопросы задают? В какой форме ожидают ответ? Когда теряют доверие? Эти данные невозможно получить из технического задания — только из наблюдения за реальным поведением.

Жестовые и пространственные интерфейсы. VR, AR, управление жестами — все эти технологии требуют тестирования взаимодействия, которое трудно запрограммировать в прототипе. Wizard of Oz позволяет человеку-оператору реагировать на жесты пользователя и имитировать отклик системы.

Принципиальная ценность метода — в одной идее, которая объединяет его с итеративным проектированием NASA и с самим понятием человекоцентричного дизайна: не нужно строить продукт, чтобы узнать, каким он должен быть. Деревянные макеты кабины Mercury позволяли астронавтам тестировать кабину до того, как она была построена. Wizard of Oz позволяет пользователям тестировать интеллект системы до того, как он запрограммирован. Принцип один: сначала — понимание потребностей, потом — реализация.

Келли, сам того не зная, сформулировал принцип, ставший аксиомой юзабилити-тестирования: пользователь должен взаимодействовать с тем, что выглядит и ведёт себя как настоящий продукт. Неважно, что стоит за кулисами — работающий код или человек с клавиатурой. Важно, что поведение пользователя при этом — настоящее.

Связанные статьи

Метод Wizard of Oz связан с ключевыми концепциями и инструментами UX:

  • Что такое юзабилити — Wizard of Oz позволяет проводить юзабилити-тестирование интерфейсов, которые технически ещё не реализованы, сохраняя при этом валидность результатов.
  • Что такое человекоцентричный дизайн — метод воплощает центральный принцип HCD: понять потребности пользователя до начала разработки, а не после.
  • Эвристики Нильсена — эвристическая оценка проверяет интерфейс на соответствие принципам, Wizard of Oz проверяет его на соответствие реальному поведению. Два метода дополняют друг друга.

Из других статей серии «История UX»:

  • Итеративное проектирование NASA (1960) — деревянные макеты кабин Mercury и Wizard of Oz решают одну задачу: позволить тестировать то, что ещё не построено. NASA тестировало физическую эргономику, Келли — интеллектуальное поведение системы.
  • GOMS: первая модель HCI (1983) — в том же году, когда Келли защитил диссертацию, Кард, Моран и Ньюэлл опубликовали свою книгу. GOMS предсказывал поведение пользователя математически, Wizard of Oz наблюдал его эмпирически. Два подхода — теоретический и экспериментальный — к одной проблеме.

Вопросы и ответы

Что такое метод Wizard of Oz в UX-исследованиях?

Wizard of Oz (WOz) — метод тестирования, при котором пользователь взаимодействует с прототипом интерфейса, думая, что за ним стоит работающая система, тогда как на самом деле ответы генерирует скрытый от пользователя человек-оператор. Название отсылает к книге Л. Фрэнка Баума: Волшебник страны Оз оказался обычным человеком за занавесом. Метод позволяет исследовать поведение пользователей до того, как технология реализована.

Кто и когда придумал метод Wizard of Oz?

Термин «Oz Paradigm» ввёл Джон Ф. Келли в 1983 году в диссертации, защищённой в Университете Джонса Хопкинса. Келли исследовал, как люди будут взаимодействовать с системой распознавания речи, которая на тот момент технически не могла работать надёжно. За кулисами сидел оператор-машинистка, набиравший ответы вместо компьютера. Участники были уверены, что разговаривают с машиной.

Зачем использовать Wizard of Oz, если можно построить прототип?

Прототип имитирует визуальный интерфейс, но не может имитировать интеллектуальное поведение системы. Если вы проектируете чат-бот, голосовой ассистент или ИИ-рекомендации, построить работающий прототип — значит фактически построить продукт. Wizard of Oz позволяет обойти эту проблему: человек-оператор заменяет ИИ, а исследователь наблюдает за естественным поведением пользователя. Это экономит месяцы разработки и миллионы рублей.