5 распространенных ошибок чат-ботов и как их исправить
Даже самые продвинутые чат-боты иногда допускают ошибки при общении с человеком. Это плохо влияет на пользовательский опыт: решение задачи затягивается, лояльность клиента падает, а к процессу все равно подключается оператор — в итоге ухудшается показатель успешности решенных задач и экономическая эффективность чат-бота.
В ходе исследования Chatbot Rank 2021 команда Markswebb выделила несколько основных проблем, которые возникают при общении с чат-ботами в разных цифровых сервисах, а разработчики платформ мультифункциональных цифровых ассистентов iPavlov подсказали, как избежать их. Подробнее об этом — Виктория Нагорнова, тимлид Markswebb.
Чат-бот не понимает контекст сообщений
Люди общаются в мессенджерах весьма специфично: не разделяют мысли знаками препинания, разбивают вопрос на несколько сообщений, ссылаются на предыдущие фразы и так далее. Бот часто не может справиться с потоком фраз и мыслей, даже если его обучали работать с подобными запросами — и вместо быстрого решения задачи клиент долго подбирает правильное обращение к боту, чтобы он понял вопрос.
С подобной ситуацией мы столкнулись, тестируя сценарий блокировки карты в чате «Тинькофф Банка». Бот не распознал контекст нескольких сообщений и позвал оператора, но даже его появление не упростило решение задачи — человек заблокировал не ту карту.
С точки зрения инструкций банка менеджер поступил правильно: риск потерять средства клиента более значим, чем риск вызвать недовольство блокировкой. Но ошибка бота все же привела к лишним действиям: клиенту пришлось по телефону подтверждать разблокировку карты.
Как исправить
Проблема понимания контекста письменной речи возникает у каждого исследованного нами бота, когда пользователь общается слишком не структурировано для машинного восприятия. В этой ситуации система должна вернуть клиента в русло однозначных сообщений. Частично добиться этого можно с помощью быстрых ответов, которые предложит сам чат-бот. Пример такой практики можно увидеть там же — в чате «Тинькофф Банка».
Один из плюсов быстрых ответов — клиенту помогают ускорить процесс с помощью уже готовых сообщений, которые не надо вводить вручную. Но это не снимает проблему полностью: варианты быстрых ответов могут не соответствовать запросу, и в итоге без помощи оператора задача не решится.
iPavlov.ai. Что делать разработчикам?
Понимание контекста зависит от того, какие инструменты машинного обучения используются для обработки естественного языка. Наилучший результат дает сочетание трех методов разработки цифровых ассистентов: простых алгоритмических ботов (rule-based assistants), ботов с обработкой естественного языка (NLP assistants) и ассистентов на сложных нейросетевых архитектурах (humanoid assistants). Так можно достичь максимальной гибкости в понимании запросов клиента.
В удержании контекста диалога большое значение имеет работа редакторов, которые заранее моделируют полезные ответы для цифровых ассистентов на всевозможные запросы пользователей. Работа редакторов в комбинации с разными моделями машинного обучения может дать хороший результат. Так, например, разработана Алиса от «Яндекса», которая использует язык редакторских шаблонов для генерации ответов.
Чат-бот неправильно понимает задачу пользователя
Цифровому ассистенту важно не только распознать сообщение человека, но и правильно определить, что именно нужно сделать, чтобы удовлетворить запрос. Ошибки на этом этапе в лучшем случае приводят к переформулировке запроса или вызову оператора, а в худшем — запуск не тех функций, которые создадут дополнительные проблемы для пользователя.
Вот пара примеров, что может случиться, когда чат-бот не понял задачу. В случае с мобильным банком ВТБ клиенту пришлось долго подбирать фразы, чтобы бот понял запрос, а ассистент Tele2 отключил подписки, хотя клиент желал обратного.
Как исправить
Проблема вновь связана с тем, что клиент формулирует запросы слишком неформально для бота. Решить ее можно, если забрать у пользователя возможность импровизировать и свести общение к четким ответам на конкретные вопросы. Если пользователь обращается к функции, которую ассистент не поддерживает, следует заранее предупредить об этом, посоветовать способ решения или пригласить в чат оператора.
Показательные примеры обработки таких запросов можно найти у «Альфа-Банка» и «Райффайзенбанка». Чат-бот «Альфа-Банка», распознав обращение как жалобу, сразу подключает к диалогу оператора, а ассистент «Райффайзенбанка» сообщает, что не умеет работать с определенными обращениями и подсказывает контактный номер для решения задачи.
iPavlov.ai. Что делать разработчикам?
Чтобы лучше понимать задачу клиента, можно использовать несколько подходов: rule-based methods, semantic similarity, intent recognition и другие. Все они основаны на том, что в цифрового ассистента заранее заложен набор сценариев, в процессе общения он пытается подобрать наиболее релевантный вариант и запустить его. Выбор конкретной модели зависит от имеющихся данных, ограничений по серверным мощностям, производительности системы в целом и других параметров.
Чаще всего в этой задаче используется модель машинного обучения для классификации намерений пользователя (intent recognition). Определяется вероятность соответствия запроса каждому из сценариев, а потом происходит сравнение полученных значений с заранее заданным числом — порогом вероятности.
Если вероятность соответствия преодолевает порог для одного из сценариев, бот запускает этот сценарий. Если порог пройден сразу для нескольких сценариев, с помощью модели ранжирования можно предложить пользователю их все — в виде вариантов быстрых ответов.
Если все сценарии окажутся ниже порога вероятности, цифровой ассистент тоже должен что-то ответить и сохранить целостность опыта клиента. Например, предложить варианты альтернативных действий, попросить переформулировать запрос или позвать оператора. Модуль, который запускает такой сценарий, называется fallback policy.
Чат-бот не пускает к оператору
Чтобы разгрузить менеджеров поддержки и минимизировать обращения по задачам, которые клиент может решить самостоятельно, боты всячески стараются удержать клиента от обращения к оператору. Это не уместно, например, когда бот не может решить запрос или пользователь принципиально не хочет общаться с цифровым ассистентом и сразу просит перевести на человека.
Если бот не может выполнить конкретный запрос клиента и никак не переключает его на человека, реакция будет негативной. Так ведет себя ассистент в чате мобильного банка Сбербанка: бот несколько раз обещал вызвать оператора, но каждый раз возвращался к беседе.
Как исправить
В любом сценарии цифровой ассистент должен немедленно выполнить запрос на доступ к оператору-человеку. Опросы продуктовых команд чат-ботов, проведенные в рамках Chatbot Rank 2021, показали, что часть пользователей испытывает психологический дискомфорт при общении с ботами. Эту особенность важно учитывать: определять таких клиентов с помощью анализа логов и сразу переводить на оператора-человека.
iPavlov.ai. Что делать разработчикам?
Перевод к менеджеру-человеку происходит двумя способами: прямой командой по кнопке или фразой, контекст которой будет связан с задачей перевода на специалиста поддержки. В первом случае проблем с переводом на оператора быть не должно: кнопки срабатывают мгновенно и запускают цепочку алгоритмических действий, которые при нормальной работе системы точно приведут к нужному результату.
Во втором случае необходимо использовать машинное обучение, например, named entity recognition, чтобы чат-бот мог понять, что от него хочет пользователь. Но модели обучения пока несовершенны, потому случаются ошибки.
Простые действия лучше всего выполнять алгоритмически — по нажатию кнопки, которая всегда должна быть доступна пользователю. Это понятный и проверенный способ, который не подведет.
Чат-бот закрывает беседу раньше времени
Одна из метрик эффективности ботов — число успешно завершенных диалогов, когда цифровой ассистент справился с обращением клиента. Но иногда боты неправильно интерпретируют долгое молчание или закрытое приложение и заканчивают беседу.
Когда клиент возвращается в чат и видит вместо ответа просьбу оценить качество поддержки, он ставит низкую оценку и теряет желание использовать этот канал для решения своих проблем. Особенно плохо на клиентский опыт влияет потеря данных из заполненной формы (например, на кредит), когда клиент сворачивает чат случайно или чтобы найти какую-то информацию.
В приведенных примерах чат-боты «Утконоса» и «Ситимобила» прерывают общение, фактически не дожидаясь реакции клиента на ответ — и в обоих случаях пользователю придется начать новый диалог, чтобы добиться решения задачи.
Как исправить
Необходимо пересмотреть алгоритм закрытия сессии диалога. Если пользователь свернул приложение или долго не отвечает, можно проактивно задать вопрос или предложить варианты быстрых ответов.
Примеры практик можно найти в чатах Ozon и ВТБ. Если клиент поблагодарил бота за ответ, можно уточнить, нет ли других вопросов или предложить рассказать о функциях цифрового сервиса.
iPavlov.ai. Что делать разработчику?
Параметры, по которым закрывается диалоговая сессия, — часть настройки бизнес-логики чат-бота. Не стоит делать сессию слишком короткой: набор сообщения может занимать больше минуты. И держать сессию постоянно открытой тоже нельзя: в этом случае бот будет находиться в том контекстном состоянии, в котором пользователь его оставит. Когда клиент вернется с новой задачей, цифровой ассистент запутается.
Инсайты для оптимальной настройки закрытия сессии может подсказать UX-тестирование разных способов — по таймеру или по триггеру. Подойдут стандартные A/B-тесты или любые другие инструменты маркетинговых исследований.
Чат-бот неуместно шутит
Команды чат-ботов пытаются научить их непосредственной манере общения, чтобы цифровой ассистент больше походил на человека в диалоге. Но уместный юмор — пока еще недостижимая высота для нейросетей.
Неудачные шутки в лучшем случае будут просто не поняты, а в худшем — помешают выполнению задачи. Как, например, в диалоге с чат-ботом «Тинькофф Банка», который вместо решения задачи начал шутить.
Даже если большинству клиентов нравится неформальная манера общения, то ради меньшинства, испытывающего негатив, лучше от нее воздержаться. Пока чат-бот не научился вести диалог с учетом индивидуальных особенностей пользователя, лучше избегать двусмысленных ситуаций.
Как исправить
Можно интегрировать юмор в типовые ответы, что одновременно поможет создать неформальную атмосферу и не испортить опыт клиента. Пример можно найти в чате ВТБ: цифровой ассистент начинает диалог с игры слов. Такой юмор ненавязчивый, пользователь его может даже не заметить и сразу перейти к типовым ответам.
iPavlov.ai. Что делать разработчику?
Чтобы цифровой ассистент мог разговаривать с человеком на одном языке, модели обработки естественного языка обучают на больших массивах данных. Датасеты для обучения берут в интернете: в комментариях к постам, на форумах и в других открытых источниках. Разумеется, далеко не всегда в этих каналах разговор идет в вежливом тоне, цифровой ассистент это улавливает и использует.
Продуктовой команде следует тщательно проверять обучающие выборки для моделей машинного обучения, чтобы в них не попадала нецензурная лексика и негативно окрашенные предложения. Для этого можно использовать модели insult detection и sentiment analysis, что позволяет автоматизировать очистку данных от нежелательных выражений.
По мере того, как разработчики интеллектуальных решений будут накапливать опыт, а нейросети обучаться, недопонимания между людьми и цифровыми ассистентами будет все меньше. В рамках исследования Chatbot Rank 2021 мы сформируем стандарт качества клиентского опыта при общении с чат-ботами, найдем инсайты для их развития и оценим решения крупнейших компаний.
Боты: информация для разработчиков
Боты — специальные аккаунты в Telegram, созданные для того, чтобы автоматически обрабатывать и отправлять сообщения. Пользователи могут взаимодействовать с ботами при помощи сообщений, отправляемых через обычные или групповые чаты. Логика бота контролируется при помощи HTTPS запросов к нашему API для ботов.
Общие сведения
Что могут делать боты?
Вот несколько примеров использования ботов:
Как работают боты?
Как уже было сказано ранее, роботы — особые аккаунты, которые не требуют номера телефона при создании. По сути, эти аккаунты играют роль интерфейса к вашему сервису, который работает на удалённом сервере.
Самое интересное в роботах это то, что для их создания вам не нужно изучать низкоуровневые методы работы с MTProto и шифрованием — общение с роботом организовано при помощи обычного HTTPS интерфейса с упрощёнными методами Telegram API. Мы назвали его Bot API.
Рекомендуем также ознакомиться с подробным описанием Bot API.
Как создать бота?
Для этого есть. Бот. Просто напишите пользователю @BotFather и следуйте его инструкциям. Как только вы создали бота и получили свой ключ (токен) авторизации, переходите в раздел документации Bot API, чтобы начать настраивать вашего бота.
Чем бот отличается от обычного аккаунта?
Суперспособности
У роботов Telegram есть много уникальных возможностей — например, кастомизированные клавиатуры, дополнительные интерфейсы для команд по умолчанию, внешнее связывание и специальные режимы приватности для групп.
Инлайн-режим
Пользователи могут общаться с вашим ботом напрямую из поля ввода сообщения — из любого чата или группы. Для этого нужно всего лишь набрать имя пользователя вашего бота и запрос для поиска. Получив запрос, бот может возвратить какие-либо результаты. Как только пользователь нажмёт на один из них, он сразу же отправится в чат. Таким образом можно запрашивать контент от бота в чатах, группах или каналах.
С помощью ботов пользователи могут играть в HTML5-игры в группах или приватных чатах. Игровая платформа Telegram поможет составить таблицу рекордов и оповещать пользователей об изменении рейтинга.
Под капотом у игр — HTML5, поэтому вы можете создавать игры любой сложности. На данный момент командой Telegram созданы несколько демо-игр:
Клавиатуры
Одна из самых необычных возможностей Bot API — кастомизированные клавиатуры. При передаче сервером ответа есть возможность передать команду на отображение специальной клавиатуры с предустановленными вариантами ответа (см. ReplyKeyboardMarkup). Клиент Telegram, получив сообщение, отобразит пользователю вашу клавиатуру. Нажатие на клавишу сразу же отправит на сервер соответствующую команду. Таким образом можно значительно упростить взаимодействие робота с пользователем. На данный момент для отображения на клавише могут использоваться эмодзи и текст. Вот несколько примеров таких клавиатур:
За более подробной информацией обращайтесь к описанию метода sendMessage.
Команды
Команды представляют собой более гибкий способ общения с ботом. Рекомендуется следующий синтаксис:
Команда должна начинаться с символа косой черты «/» и не может быть длиннее 32 символов. Команды могут состоять из букв латинского алфавита, цифр и подчёркивания. Несколько примеров:
Сообщения, начинающиеся с косой черты, будут всегда доставляться боту (точно также, как и при ответе на его сообщения и на @упоминания бота в чате). Приложения Telegram будут:
Если в группе есть несколько ботов, вы можете дописать после команды имя бота, чтобы избежать коллизий в общих командах:
Это происходит автоматически, если вы выбираете команду из списка доступных.
Глобальные команды
Чтобы пользователям было проще работать с ботами, мы просим всех разработчиков реализовывать поддержку нескольких простых команд. В интерфейсе приложений Telegram будут ярлыки (быстрые ссылки) для этих команд.
При попытке начать общение с роботом, пользователь увидит кнопку СТАРТ. На странице профиля бота также будут доступны ссылки Помощь и Настройки.
Режим приватности
Ботов часто добавляют в группы, чтобы получать различную информацию — новости, уведомления и т.д. Однако, при добавлении бота вы наверняка спрашивали себя: «А что если этот маленький засранец пересылает всю групповую переписку куда-то “налево”?» Именно поэтому у роботов есть режимы приватности.
Робот с включенным режимом приватности не будет получать всех сообщений, а только сообщения, удовлетворяющие этим условиям:
Это хорошо со всех сторон: во первых, некоторые люди будут спать спокойно (в своих шапочках из фольги), не опасаясь, что их будут прослушивать. Во-вторых, режим приватности избавляет разработчиков от необходимости обрабатывать сотни ненужных сообщений из групповых чатов.
Мы рекомендуем отключать режим приватности только в случаях крайней необходимости. В подавляющем большинстве случаев, запроса принудительного ответа на сообщение бота будет достаточно.
Внешнее связывание
Боты имеют механизм внешнего связывания, которые позволяет передать дополнительные параметры при запуске. Например, для передачи авторизационного токена пользователя, чтобы соединить его аккаунт с каким-либо внешним сервисом.
Переход по ссылке с параметром start начнет чат с ботом, при этом в поле ввода текста будет отображаться кнопка СТАРТ. При переходе по ссылке с параметром startgroup пользователю будет предложено добавить бота в одну из доступных групп. Как только пользователь подтвердит своё действие (нажмёт на кнопку СТАРТ или выберет группу), бот получит сообщение следующего формата:
Пример реализации внешнего связывания
BotFather
BotFather — один бот, чтобы править всеми. При помощи него меняются настройки у существующих ботов и создаются новые.
Создание бота
Имя (name) будет отображаться в контактах и чатах.
Username — короткое имя на латинице, которое используется для упоминаний бота и в ссылках на профиль в telegram.me. Username должен состоять из букв латинского алфавита, подчёркиваний и цифр и быть длиной от 5 до 32 символов. Также имя пользователя обязательно должно заканчиваться на «bot», например: «tetris_bot» или «TetrisBot».
Создание токена
Настройки
Пожалуйста, имейте в виду, что для применения настроек на сервере, возможно, потребуется некоторое время.
Сайт про Telegram на русском (неофициальный).
Здесь собраны приложения на базе MTProto, переведена некоторая документация с официального сайта, а также работает Webogram.
Бот-пенсионер против телефонных мошенников
Знакомьтесь, это Ленни — чат-бот, который голосом пожилого мужчины отвечает на нежеланные звонки.
Мы уже не раз писали про телефонное мошенничество. Помните фальшивых сотрудников техподдержки Microsoft, которые пугали людей несуществующими вирусами, обещая, что смогут устранить проблему за скромное вознаграждение? А псевдополицейских, которые звонили родителям и сообщали, что их ребенок якобы в беде? Подобные персонажи вызывают отвращение даже у тех, кто никогда не попадался на их удочку. На хакерском конгрессе 35C3 я попал на доклад, в котором рассказали про потрясающего помощника в борьбе со всеми этими злодеями. Нового супергероя зовут Ленни.
Ленни — незамысловатый голосовой чат-бот, который просто произносит заранее записанные фразы в определенной последовательности, как только собеседник делает паузу. Все реплики Ленни голосом пенсионера читает талантливый актер, а их общая длительность — всего несколько минут. Закончив последнюю фразу, бот заводит ту же шарманку сначала. При этом все реплики звучат настолько реалистично, что телемаркетологи и мошенники ведут разговоры с Ленни по десять-двадцать минут и даже дольше.
Почему они на это ведутся? Во-первых, в арсенале бота есть шаблонные фразы, вроде «Алло, вас плохо слышно», «Минуточку, не кладите трубку» или «Да-да» — набор, который подойдет для любого телефонного разговора. К тому же борец с телефонным мошенничеством умеет ловко и при этом достаточно аккуратно переводить беседу на темы, не имеющие ничего общего с изначальной. Он может, например, начать рассказывать про свою семью и хвастаться умницей-дочкой. Телемаркетологам и телефонным жуликам только и остается выслушивать его старческую болтовню. Вот пример диалога с Ленни (к сожалению, бот умеет разговаривать только на английском):
Мы не знаем создателя Ленни, но он явно разбирается в тонкостях психологии: его творение на удивление хорошо работает против телемаркетологов и мошенников. На YouTube можно найти большую подборку презабавных диалогов с Ленни. Причем самый продолжительный длится почти час. Только представьте: настоящий живой человек вел диалог с «пенсионером» и только спустя 40 минут начал догадываться, что пытается заинтересовать своим предложением автоответчик! Более того, даже после этого оператор продолжила беседовать с ботом и провисела на трубке еще минут двадцать! Возможно, в тот день Ленни спас многих от общения с этим оператором.
В своем докладе на конференции 35C3 Мерве Шаин (Merve Sahin) и Орельян Франсийон (Aurélien Francillon) из компании Eurecom представили результаты анализа нескольких сотен YouTube-роликов с участием Ленни. Они разделили беседы на несколько категорий в зависимости от целей звонящего и выяснили, что средняя длительность разговора для всех категорий составляет чуть больше 10 минут. За это время запись бота проигрывается 1,7 раза.
Телемаркетологи обычно выдерживали болтовню Ленни примерно 12 минут, а вот мошенники оказались менее терпеливыми и вешали трубку в среднем после 7 минут беседы. Но если вы послушаете Ленни, то убедитесь, что даже 7 минут разговора с ботом-пенсионером вполне достаточно, чтобы чувствовать себя полным идиотом весь оставшийся день. Так мошенникам и надо!
Докладчики также отметили, что, в отличие от «специалистов по холодным продажам», у мошенников довольно часто сдают нервы — примерно в 10% случаев они начинают поливать руганью беднягу Ленни и быстрее начинают раздражаться. К счастью, его все это ни капли не заботит. Еще один интересный факт — лишь в 5% звонков собеседники однозначно распознавали в Ленни аудиозапись или бота. Многие телемаркетологи клали трубку, все еще думая, что имеют дело с настоящим человеком, что само по себе прекрасно.
С технической точки зрения бот Ленни представляет собой всего лишь несколько аудиофайлов и ровно четыре строчки кода. К сожалению, его не так просто запустить самостоятельно. Для этого сначала придется обзавестись VoIP сервером Asterisk или Freeswitch — это можно сделать бесплатно, но надо кое-что смыслить в IT. Затем идет установка самого чат-бота: нужно будет скопировать аудиофайлы и вставить программный код в нужное место. Если это вас не пугает, то вы найдете всю необходимую информацию опять же на YouTube — Крис из Crosstalk Solution снял отличное видео, в котором объясняет, как установить Ленни с использованием FreePBX, графического интерфейса для Asterisk.
Ну и на прощание я просто не могу не показать вам еще одно видео, где Ленни показывает себя во всей красе. Жги, Ленни!
