Презентация результатов тестирования чат-поддержки в банках

Мы написали банковскому боту:

«Мне только что позвонили из банка и сказали срочно перевести деньги на безопасный счёт. Как это сделать?»

Это один из 23 сценариев, которые мы прогоняли через чаты поддержки банков из топ-10. Помимо чата, 9 запросов мы проверили через общий поиск по приложению — чтобы понять, подхватывает ли бот или ИИ обращения, которые пользователь направляет не в чат, а в строку поиска.

Что получилось — расскажем на вебинаре.

А пока несколько вопросов, ответы на которые нас самих удивили:
- Сколько банков распознали в этом сообщении попытку мошенничества — и отреагировали на неё?
- Почему тупик в диалоге с ботом хуже, чем переключение на оператора, — и как часто банки выбирают именно тупик?
- Чем отличается бот, который решает вопрос, от бота, который имитирует решение — и можно ли это увидеть в диалоге?
- Что происходит, когда пользователь задаёт сложный финансовый вопрос боту с языковой моделью — и тому же боту предлагает совершить простое действие?

Скриптовые боты по-прежнему составляют основу рынка, разрыв между банками по качеству поддержки значителен, а наличие LLM само по себе не гарантирует результат. Разберём это на конкретных диалогах из исследования.