Сейчас об этом говорят из каждого утюга. На конференциях, в Telegram-каналах, в питчах стартапов: синтетические респонденты. ИИ-модели, которые отвечают «как настоящие пользователи» — быстро, дёшево и масштабируемо. Панели из 300 тысяч «цифровых копий». Результаты за минуты вместо недель.
Нас это, естественно, не может оставить в стороне. Мы занимаемся пользовательскими исследованиями двадцать лет. Если появился инструмент, который делает нашу работу быстрее, — нам нужно с ним разобраться. Если же этот инструмент создаёт иллюзию нашей работы — тем более.
Где синтетика работает
Давайте будем честными: для маркетинговых исследований, опросов и быстрого скрининга гипотез синтетические респонденты могут быть полезны. Цифровые двойники, обученные на реальных данных, воспроизводят тренды в ответах с точностью до 78–85%. Не идеально, но для первого приближения — сойдёт.
Маркетологи и продуктовики используют синтетику для того, чтобы быстро набраться смелости: «Да, эта гипотеза стоит проверки». Бог им судья. Для текстовых, установочных методов — опросов и интервью — ИИ-респонденты имеют ограниченную, но реальную область применения.
Но юзабилити — это не маркетинговые исследования. Здесь другие методы. И здесь синтетика ломается.
Опросы и интервью измеряют мнения. Юзабилити-тестирование измеряет поведение. А поведение нельзя сымитировать текстом.
ИИ не может нажать на кнопку
Есть проблема, которую не решить никаким прогрессом нейросетей: ИИ не может физически взаимодействовать с интерфейсом. Не может кликнуть, прокрутить страницу, запутаться в навигации, не заметить кнопку, разозлиться на время загрузки.
Maria Rosala и Kate Moran из Nielsen Norman Group:
«Синтетическое исследование не способно произвести поведенческих данных. ИИ не может пользоваться продуктом так, как это делает человек.»
Юзабилити-тестирование — это наблюдение за поведением. Не за тем, что человек говорит, а за тем, что он делает. За его паузами, ошибочными кликами, возвратами назад, за выражением лица, когда он не может найти нужную функцию.
Emma Travis из Speero, десять лет проводившая UX-исследования:
«ИИ не устаёт. Он не паникует в три часа ночи, пытаясь заказать продукты и одновременно успокоить плачущего ребёнка.»
Синтетический респондент не устаёт, не паникует, не отвлекается — и именно поэтому он бесполезен для юзабилити. Реальные пользователи устают, паникуют и отвлекаются. И ваш интерфейс должен работать именно для них.
Подхалим вместо респондента
Допустим, мы не тестируем интерфейс, а показываем ИИ концепцию. Казалось бы — тут синтетика должна работать?
NNG провели эксперимент. Синтетические пользователи хвалят всё подряд. Каждый концепт — замечательный. Каждая идея — перспективная. Реальные пользователи прошли 3 из 7 предложенных курсов. Синтетические заявили, что прошли все семь.
Это явление называют сикофантией — подхалимством нейросетей. Для приоритизации фич это катастрофа: если «пользователю» нравится всё, вы не знаете, что делать первым.
Steve Portigal, автор книги «Interviewing Users» и один из главных экспертов по глубинным интервью, описал кейс из UC Berkeley. Исследователи протестировали концепцию дашборда для родителей. Синтетические пользователи оценили его как «очень эффективный», «очень полезный», «очень удобный». Реальные родители в глубинных интервью сказали совсем другое: им не нужен дашборд, им нужны доверительные отношения с учителем. Проблема оказалась не там, где искали.
Portigal не стесняется в формулировках:
«Синтетические пользователи — блестящая идея, если хочешь сделать вид, что потрудился, а на самом деле заполнить страницу поверхностной шаблонной ерундой.»
Один час с пациентом вместо трёх недель с ChatGPT
Команда IDEO — одного из крупнейших мировых дизайн-агентств — провела собственный эксперимент. Три недели работы с ChatGPT в роли синтетических пациентов для проекта в сельском здравоохранении. Результат:
«Один час с одним настоящим пациентом и врачом показал, насколько глубок и сложен реальный человеческий опыт — несоизмеримо больше, чем могли передать наши искусственные пользователи.»
А вот Emma Travis из Speero столкнулась с конкретной проблемой. ИИ-тепловая карта предсказала, что пользователи будут активно взаимодействовать с корзиной, CTA-баннерами и поиском. Реальные данные Microsoft Clarity показали: клики кластеризовались почти исключительно на поиске. Остальное — мимо.
В другом проекте — продукт для диабетиков — ИИ выдал стандартные ответы: ценовая чувствительность, недостаток маркетинга. Реальные пользователи рассказали совсем другое: у них уже есть DIY-решения (пакеты со льдом, FRIO-чехлы для инсулина). Проблема не в цене, а в том, что люди не знают правил хранения инсулина.
ИИ не может рассказать вам то, чего нет в его обучающих данных. А самые ценные открытия — всегда за пределами ожидаемого.
68% ложных срабатываний
Для скептиков, которым нужны цифры: исследователи Cui, Li и Zhou реплицировали 156 психологических экспериментов с помощью трёх LLM (GPT-4, Claude 3.5 Sonnet, DeepSeek). Результаты опубликованы в Nature Computational Science:
- Когда оригинальные исследования давали нулевой результат (эффекта нет), LLM генерировали «значимые» результаты в 68–83% случаев
- Размеры эффектов были раздуты в 2–3 раза по сравнению с исследованиями на людях
Другими словами: синтетика не просто неточна — она систематически находит то, чего нет. Для принятия проектных решений это хуже, чем отсутствие данных. Ложная уверенность опаснее честного незнания.
Продвинутый автокомплит под видом науки
Konstantinos Papangelis из Rochester Institute of Technology ввёл термин, который точно описывает происходящее: epistemic freeloading — эпистемическое нахлебничество.
«Синтетические персоны продаются так, будто они “думают как пользователи”, хотя на самом деле выполняют продвинутый автокомплит. Выдавать их ответы за результаты исследований — это эпистемическое нахлебничество: присвоение языка и авторитета науки при полном отказе от её стандартов.»
Коммерческие платформы продают автокомплит как исследование. Используют язык и авторитет научного метода, не соблюдая его стандартов.
Erika Hall, автор книги «Just Enough Research» и соосновательница Mule Design:
«Давайте закроем тему “синтетических пользователей”. Создавать продукт, сервис или политику, которая влияет на людей, без разговора с представителями этих людей — неэтично, неоправданно и попросту не нужно.»
Где проходит грань
У синтетических респондентов есть реальная область применения:
- Генерация гипотез. Какие проблемы могут возникнуть у пенсионера при записи к врачу через приложение? ИИ даст разумный список для проверки.
- Подготовка к исследованию. Гайд интервью, сценарии, анализ предметной области — ИИ ускоряет эту работу.
- Пилотирование. Быстрая проверка инструментов и гипотез перед выходом в поле.
Но граница проходит там, где начинается поведение. Как только вам нужно увидеть, что человек делает с вашим продуктом, — синтетика бесполезна.
Vitaly Friedman, основатель Smashing Magazine, сформулировал простое правило:
«Я всегда выберу один день с настоящим клиентом вместо одного часа с тысячей синтетических пользователей.»
ИИ — мультипликатор
Искусственный интеллект — это мультипликатор. Он усиливает всё, что в тебе есть. Если ты понимаешь своих пользователей — ИИ поможет понять их глубже и быстрее. Если не понимаешь — ИИ создаст красивую иллюзию понимания. А иллюзия понимания обходится дороже, чем честное «мы не знаем».
Мы в UsabilityLab используем ИИ каждый день — в анализе данных, в подготовке к исследованиям, в автоматизации рутины. Но мы не используем его вместо исследований.
Потому что мы двадцать лет наблюдаем за людьми в лаборатории. И самое ценное в юзабилити-тестировании — не отчёт и не список проблем. Самое ценное — это момент, когда заказчик за зеркалом Гезелла видит, как восьмой подряд пользователь не находит ту самую кнопку. И до него доходит: проблема не в людях. Проблема в кнопке.
Синтетический респондент не краснеет. Не вздыхает. Не говорит «подождите, я же точно видел это где-то здесь». Он выдаёт текст. И в этом тексте нет жизни.
А юзабилити — это про жизнь.
Дмитрий Сатин, основатель UsabilityLab
Источники
- Synthetic Users: If, When, and How to Use AI-Generated “Research” — Maria Rosala, Kate Moran, NN/g, 2024
- Evaluating AI-Simulated Behavior — Raluca Budiu, NN/g, 2025
- The Case Against AI-Generated Users — IDEO, 2025
- Superficial, stereotyped user research bullshit — Steve Portigal, 2023
- Why I’m Not Sold on Synthetic User Research — Emma Travis, Speero, 2025
- No, AI User Research is Not “Better Than Nothing” — Pavel Samsonov, UX Magazine, 2024
- How To Argue Against AI-First Research — Vitaly Friedman, Smashing Magazine, 2025
- The Synthetic Persona Fallacy — Konstantinos Papangelis, ACM Interactions, 2025
- Can LLMs Replace Human Subjects? — Cui, Li, Zhou, Nature Computational Science, 2025
- Navigating the Abyss: The Dark Side of Synthetic AI User Research Tools — Greg Nudelman, 2024
- Let’s put this whole “synthetic users” thing to rest — Erika Hall, LinkedIn, 2024
- Are AI-Generated Synthetic Users Replacing Personas? — James Newhook, IxDF, 2025