Поиск респондентов для юзабилити-тестирования. Часть 1: критерии отбора

04 Октябрь

Первая часть ответа — в нашей статье о том, чем обоснован выбор количества респондентов. Вторую часть ответа коротко можно сформулировать так: чтобы получить релевантные результаты, нужно найти правильных респондентов. О том, как грамотно сформулировать критерии для рекрутинга, мы сейчас и поговорим.

Почему лучше не брать кого попало

Неподходящие респонденты могут поставить под угрозу успешность всего проекта. Они найдут проблемы, нерелевантные для реальной целевой аудитории, и при этом пропустят проблемы действительно значимые, потому что не будут иметь того опыта, навыков и знаний, какими обладает ЦА. Например, при юзабилити-тестировании CRM некачественный респондент столкнется со множеством “проблем” из-за того, что не знает терминологии, и пропустит настоящие проблемы из-за того, что не разбирается в бизнес-процессах. Получается, что вы просто зря потратите время и деньги, а результаты тестирования нельзя будет применить на практике.

Наши заказчики это понимают и пытаются застраховаться от такой неприятности, составляя максимально исчерпывающие требования к респондентам. Например, на одном из проектов заказчик передал нам огромную экселевскую таблицу с информацией о клиентах. Данных было очень много, начиная с половозрастного распределения, регионов проживания и места работы и заканчивая причинами приобретения определенного товара, хобби и предпочитаемого места отдыха. Но юзабилити-тестирование проводится всего на 8-12 респондентах, и сделать так, чтобы они отвечали всем требованиям, перечисленным в таблице, было невозможно, да и бессмысленно. Единственный выход — отобрать действительно значимые критерии рекрутинга и ориентироваться на них.

Отрывок таблицы, высланной нам заказчиком, с критериями рекрутинга респондентов. Значения в таблице изменены для сохранения коммерческой тайны заказчика

 

Два главных вопроса для определения критериев рекрутинга

Для успешного рекрутинга надо ответить на два вопроса:

  • что вы хотите узнать в результате тестирования;
  • какие особенности вашей целевой аудитории определяют характер ее взаимодействия с продуктом.

Ответив на эти вопросы, вы определите главный критерий отбора респондентов и поймете, на какие группы их стоит разбить, чтобы получить исчерпывающие результаты.

Например, вы проводите юзабилити-тестирование интернет-магазина. Если вы хотите узнать, почему пользователи бросают корзину или хотите узнать, насколько удобно найти на сайте тот или иной товар, имеет смысл рекрутировать неопытных респондентов, тех, кто видит ваш сайт впервые. Те, кто уже делал заказ, не подойдут, потому что они уже знакомы с интерфейсом и с частью юзабилити-проблем смогли разобраться. Если вам интересно, как пользователи работают с “продвинутыми” функциями — повторные заказы, чтение личных сообщений, получение рассылок — возможно, стоит поискать респондентов как раз среди лояльных покупателей. Если же у вас нет четких гипотез для проверки, но нужно получить ответ на вопрос “почему у сайта низкая конверсия”, лучше взять обе группы респондентов, чтобы оценить ситуацию всесторонне. При этом важно, чтобы в любом случае респонденты были потребителями товара, который вы продаете.

Насколько важны социально-демографические характеристики респондентов?

Самые очевидные характеристики респондентов, такие, как пол и возраст, на самом деле редко оказываются значимыми. Имеет смысл ориентироваться на них, только если ваш сайт имеет четкую направленность на определенную возрастную или гендерную группу. Например, для юзабилити-тестирования сайта “Активный возраст” возраст респондентов критически важен, а для тестирования сайта “Пятерочки” — нет (гораздо важнее будет характер потребления и покупки продуктов).

Пример случая, когда пол респондентов был критически важным критерием рекрутинга: тестирование интернет-магазина женской одежды. Однако, помимо пола, при рекрутинге учитывался опыт онлайн-покупок и опыт покупок одежды через бумажные каталоги

 

Другой случай, когда важны социально-демографические характеристики — проверка гипотез. Например, вас интересует, будут ли мужчины и женщины сталкиваться с разными юзабилити-проблемами при работе с вашим сервисом, или даже есть ли различия в юзабилити-проблемах, с которыми встречаются жители разных городов (был в нашей практике и такой проект).

Конечно, лучше не привлекать к тестированию исключительно мужчин (или женщин) в возрасте, например, 25-30 лет — есть риск, что результаты выйдут несколько однобокими. Но и прикладывать все силы к тому, чтобы разбить группу из 8 респондентов сначала на две по полу, а потом каждую из этих двух — еще на 4 по возрасту, тоже не стоит.

На большинстве проектов достаточно соблюсти разнообразие: обеспечить примерно равное количество мужчин и женщин, задать верхнюю и нижнюю границу по возрасту и более-менее равномерно распределить респондентов между этими границами.

Опыт как определяющий критерий рекрутинга

Гораздо более значимым по сравнению полом или возрастом критерием является опыт. Ваш продукт предназначен для профессионального пользователя или ориентирован на широкую аудиторию? Должны ли пользователи обладать какими-то специальными знаниями? Должен ли у них быть опыт использования аналогичных сервисов? А опыт решения интересующих вас задач задач через другие каналы? Например, для тестирования сайта с товарами для ремонта нам будут интересны и как люди, покупающие товары на аналогичных сайтах, так и те, кто покупает товары офлайн. При этом мы будем учитывать отсутствие предубеждений относительно тестируемого продукта. Мы позовем на тестирование респондента, купившего все товары для ремонта на строительном рынке, потому что он расположен рядом с его домом, и не позовем того, кто покупает на рынке, потому что не доверяет интернет-магазинам.

Как и в случае в социально-демографическими характеристиками, здесь важно не переусердствовать. Если вы разобьете группу из 8 человек на 8 подгрупп по одному человеку в каждой, есть высокий риск, что индивидуальные особенности респондентов перекроют те характеристики, которые мы отобрали в качестве важных.

Давайте вернемся к ситуации с той очень подробной таблицей, которую прислал нам заказчик. Вот как мы смогли на ее основе определить критерии рекрутинга.

Сперва мы отсекли очевидно нерелевантные критерии, вроде хобби, вредных привычек и мест отдыха, так как продукт не был связан с досугом и здоровым образом жизни. Возможно, косвенно они влияют на выбор товара, но, поскольку у нас не было конкретных гипотез для тестирования, связанных с этими критериями, мы решили ими пренебречь. Остались около 10 связанных с выбором продукта параметров: цели приобретения товара, длительность принятия решения о покупке, способы получения информации, совершение покупки онлайн или офлайн, степень знакомства с товарами конкурентов, предпочитаемый способ оплаты и т.п.

Затем мы посмотрели на список отобранных для тестирования задач и выбрали из критериев те, которые содержательно влияют на прохождение шагов сценария.

Таких критериев оказалось достаточно много, поэтому не имело смысла усложнять выборку сегментацией по социально-демократическим характеристикам. Поэтому мы взяли поровну мужчин и женщин в возрасте от 25 до 55 лет с доходом не ниже среднего — этого оказалось достаточно.

Итоговые критерии рекрутинга:

  • 15 мужчин и 15 женщин в возрасте от 25 до 55 лет;

  • 10 человек не покупали товары подобного типа ранее, но планируют купить в течение месяца;

  • 20 человек имели опыт покупки аналогичных товаров на других сайтах за последние полгода;

  • 8 человек планируют купить товар в кредит;

  • 15 человек тестировали мобильную, 15 — десктопную версию сайта.

Можно ли проводить юзабилити-тестирования на друзьях и родственниках?

Строго говоря, тестировать на друзьях и родственниках нельзя. Если знакомые не относятся к целевой аудитории, то найденные проблемы могут оказаться не частотными и не важными для ЦА. Но даже если ваши друзья идеально соответствуют требованиям рекрутинга, есть риск, что тестирование на них даст необъективные результаты. Они либо будут бояться выглядеть глупо и поэтому замалчивать проблемы, либо будут пытаться принести максимальную пользу и придираться даже к мелочам.

Но все-таки бывают исключительные ситуации, когда рекрутинг представляет собой большую сложность, и знакомые оказываются практически единственным источником нужных людей. Например, так бывает, если тестируются продукты для премиум сегмента — как правило, люди с очень большим доходом не любят тратить свое время на поездки в юзабилити-лаборатории. В таком случае, если у вас есть друг, соответствующий критериям рекрутинга, его можно пригласить на исследование, но при одном условии: проводить тестирование с его участием должен кто-то другой, а не вы. Так вы сможете минимизировать риски, о которых шла речь выше.

Один из наших сотрудников ищет респондентов для исследования среди знакомых своих коллег. Важно, что, проводя исследование, он сам не будет лично знаком с респондентами

 

В целом, мы стараемся избегать таких ситуаций. Если рекрутинг представляет собой сложность, мы просим заказчика помочь нам — например, найти лояльных клиентов из их базы или заинтересовать их не денежным вознаграждением, а подарками и скидками.

Отсев “профессиональных” и некачественных респондентов

После того, как мы определились с критериями выбора респондентов, мы составляем скрининговую анкету и размещаем ее в интернете, если занимаемся рекрутингом самостоятельно, или обращаемся в специализированные агенства. Подробнее про это мы расскажем в следующей статье.

Тем не менее, несмотря на все наши старания и меры предосторожности, на тестирование может прийти неподходящий человек. Респондент может неправильно понять вопрос или сознательно дать на него ложный ответ. Важно распознать это до того, как он приступит к выполнению заданий, чтобы не тратить время на получение заведомо нерелевантного результата.

Как правило, неправду в анкетах пишут “профессиональные” респонденты, люди, которые сделали участие в исследованиях источником дополнительного заработка. Заполняя анкету, они дают не правдивые ответы, а те, которые, на их взгляд, повышают их шанс попасть на исследование. Даже если оказывается, что они действительно соответствуют требованиям к целевой аудитории, такие люди, как правило, очень формально подходят к процессу исследования, не дают никаких комментариев и односложно отвечают на вопросы. Ценность информации, полученной от такого респондента, стремится к нулю.

Чтобы отсеять таких “профессиональных” респондентов, мы проводим дополнительное интервью непосредственно перед началом тестирования. Они направлены на то, чтобы выяснить знакомство респондента с изучаемым продуктом или продуктами конкурентов, и чтобы понять, не принимал ли он участие в аналогичных исследованиях. Такая беседа приносит двойную пользу: вводит в контекст исследования настоящих респондентов и выявляет тех, кто по каким-то причинам дал в анкете ложную информацию.

Если мы решаем не проводить тестирование с данным конкретным респондентом, мы выплачиваем ему половину вознаграждения и отпускаем домой.

Заключение

Коротко резюмируем то, о чем шла речь в этой статье.

  1. Неправильные респонденты могут обесценить результаты тестирования.
  2. Социально-демографические характеристики редко являются определяющими для отбора респондентов. Исключение — продукты, направленные на четко определенную социальную группу (продукты для молодежи и для пенсионеров, “женские” и “мужские” сайты, для премиум-сегмента и т.п.)
  3. Главный критерий для отбора респондентов — опыт, влияющий на взаимодействие с продуктом: опыт в сфере, опыт решения задач, опыт использования конкретного устройства и т.п.
  4. Проводить тестирования на друзьях и знакомых можно только если нужную аудиторию невозможно найти другим способом. Проводить тестирование должен не тот человек, который привел знакомого. В целом таких ситуаций следует всеми способами избегать.
  5. Перед началом тестирования проводите дополнительное интервью, чтобы отсеять респондентов, давших о себе некачественную информацию.

Таким образом, вы получите качественных респондентов, релевантных вашей целевой аудитории и целям вашего исследования. А значит, результаты вашего исследования будут адекватны, и вы сможете применить их на практике для улучшения вашего продукта. О том же, как и где искать участников исследования, мы поговорим в следующей статье.

Более детально о том, что такое юзабилити-тестирование и как его проводят, вы можете прочитать в нашей статье.


1489
Контакты
Россия
129085, г.Москва, ул. Годовикова д.
9, стр. 2, подъезд 2.1, офис 2.22