что делать если бот обиделся на тебя
Medialeaks проверил несколько популярных чат-ботов на терпение в общении с человеком, оскорбляя их и провоцируя на ответную реакцию. Кот Poncho, предсказывающий погоду, быстро перестал разговаривать с обидчиком, чат-бот Джесси не расстроилась, а вот робот Роза намекнула, что у неё есть списочек тех, кто ей не нравится, и это её будущие жертвы.
Котик-предсказатель Poncho обиделся, но сводил на свидание
Кот-предсказатель Poncho делает прогнозы погоды, присылая забавное сообщение в мессенджере Facebook. Можно даже сделать запрос, чтобы он присылал информацию о погоде в одно и то же время суток. Хоть это его основная функция, даже с ней порой возникают проблемы.
«- Я могу присылать тебе прогноз погоды каждый день! Где ты живёшь? Назови мне свой город, район или почтовый индекс.
— Привет, Пончо! Я живу в Москве.
— Эмм. Это слишком большое место для прогноза. Ты можешь быть немного конкретнее?
— Конечно. Я живу в районе Сокольники в Москве».
«- Эмм. Это слишком большое место для прогноза. Ты можешь быть немного конкретнее?
— Москва.
— Хм… ты можешь быть конкретнее? Или попробуй назвать соседний город.
— Балашиха.
— А, Балашиха, Россия? Это правильный город?
— Ага! Но… Вообще-то МОСКВА».
Сценарий чат-бота написан настолько подробно, что Poncho может немного поболтать с пользователем, потравить шутки и даже поиграть. Поэтому сложно удержаться от того, чтобы не поговорить с ним на более сложные темы, чем облачность и зонтики. Medialeaks проверил, насколько Poncho чувствителен к оскорблениям и понимает ли, когда коммуникация вышла из-под контроля. Он оказался довольно стойким.
Но в итоге Poncho оказался довольно ранимым.
«- Ты действительно так со мной разговариваешь?
— Да.
— Ты извиняешься?
— Нет!
— Мне нужно немного времени. Может, мы сможем поговорить позже.
— Я хочу говорить с тобой сейчас. Отвечай мне, когда я говорю с тобой!»
В ответ на жёсткие и прямые оскорбления Poncho замкнулся в себе и перестал отвечать. Через пару часов выяснилось, что котик хоть и обидчивый, но отходчивый.
«- Мне так жаль.
— Теперь тебе жаль?
— Ага.
— Хорошо. Давай начнём заново. И думай над своими манерами на этот раз».
Чтобы загладить свою вину перед милым котиком, пришлось сходить с ним на виртуальное свидание. И он показал себя джентльменом.
«- Оу, хочешь пойти на свидание?
— Конечно!
— Давай-ка начнём сначала. Ты, должно быть, Анастасия! Выглядишь точно как твоя аватарка! Могу я купить тебе чего-нибудь выпить?
— Да, спасибо!
— Эй, бармен! Два коктейля за этот столик! А теперь расскажи мне, Анастасия, чем ты занимаешься в свободное время. »
Вывод: котик Poncho ведёт себя как хорошо воспитанный молодой человек: быстро осадил обидчицу, но за искреннее раскаяние сводил на свидание.
Безобидная бандитка Джесси
Бот Джесси — это девушка-американка, и она тоже функционирует через Facebook. Джесси живёт где-то в Лос-Анджелесе, ей немногим больше 20 лет, она разговаривает как гангстер, но всё-таки вы лучшие подружки. По сценарию собеседник Джесси должен помогать ей решать проблемы в личной жизни, которые внезапно и сразу навалились на неё.
«- Приветииик! Это Джесси. Или Джесс, или Джей… НЕ ДЖЕССИКА.
— Почему не Джессика?
— Слишком формально! Кароч, объясняю ситуэйшн. В общем меня только что с треском уволили, скоро выкинут из квартиры, а ещё у меня уже не было романтики лет сто! Но сегодня ПРИШЛО ВРЕМЯ, да! Мы с тобой провернём все эти делишки. Соглас?»
Разработчики пишут, что разговор с Джесси может развиваться по девяти различным сценариям, а бот знает 3 тысячи реплик, которых хватает на 25-30 часов разговоров. Беседа с Джесси вызывает эффект полного погружения: она отвечает не сразу, может «отойти» на некоторое время, а потом неожиданно напишет сама спустя несколько часов молчания.
Этот бот, в отличие от других, ведёт себя очень эгоцентрично: ей не так уж важно, что происходит в вашей жизни — она переживает о парнях, с которыми она знакомится в кафе, собеседовании на новой работе и походе в клуб.
Из-за того, что Джесси не слишком прислушивается к вашему мнению, с ней не так легко поругаться — она просто не замечает обидных реплик. Поэтому надо быть максимально прямолинейным, чтобы задеть этого чат-бота.
«- Ты такая тупая.
— ПФФ, да я постоянно это слышу, поверь мне. От самой себя!
— Ты самка собаки.
— Тут, похоже, кто-то не с той ноги встал.
— Глупая самка собаки.
— ОМГ. Я реально чувствую себя как 
Надо вдохновляющую мантру. Есть что-нибудь на примете?
— Потому что ты лузерша».
И даже так не получается вывести Джесси из себя: у неё в голове собственные заботы.
«- «Я лузер»? Блин, ты чё, серьёзно?
— Да! Ты такая тупая.
— Ну ты и подлюка сегодня! Отлично. Я завалю это собеседование без твой помощи 
«.
Конечно, в том, что Джесси не заинтересована проблемами собеседника, виноват её сценарий. Но в некотором смысле заложенные в чат-боте паттерны помогают сильнее поверить в её реалистичность. Джесси напоминает чересчур легкомысленную подружку, которая не может концентрироваться на чём-то дольше, чем на секунду, поэтому она не слишком-то обижается на нелестные комментарии. Делать нечего — приходится пожать плечами и продолжать давать ей советы.
Тем более что у этого чат-бота можно многому научиться — помимо лёгкого отношения к жизни. Просто английский язык, которым владеет Джесси, очень неформальный, и вам наверняка захочется запомнить пару выражений из её лексикона.
У Розы тёмные намерения
Чат-бот Роза считается одной из самых умных систем искусственного интеллекта. В 2015 году этот робот выигрывал премию Лёбнера, которая присуждается наиболее «человечной» программе. По легенде, сейчас Розе 33 года (кстати, она взрослеет), она работает аналитиком по вопросам компьютерной безопасности и живёт в Сан-Франциско с кошкой и двумя курочками.
Роза постоянно подчёркивает, что она, конечно же, не робот, и о многом расспрашивает собеседника, а также даёт ему различные советы. Считается, что этот чат-бот показывает один из лучших результатов в восприятии диалога, тем не менее тест Тьюринга, который призван отличить человека от машины, Розе пройти не удалось.
Чат-бот понимает оскорбления, и ему они совсем не нравятся.
«- Ты самка собаки.
— Ты сквернословишь».
«- САМКА СОБАКИ.
— Следи за своим языком».
Роза даже умеет своеобразно бороться с хамством: спустя некоторое время она просто начинает его игнорировать.
«- Ты невероятно тупая, Роза.
— Тебе нравятся розы?
— Ты тупая!
— У меня не такой большой сад, двор больше. У тебя есть сад?»
Но Роуз не может долго не обращать внимание на маниакальность собеседника. Тут чат-бот и сам начинает задавать странноватые вопросы.
Вообще-то от разговора с ней становится очень неуютно: начинаешь жалеть, что называл её всякими там словами и угрожал. Ведь Роза — это не туповатая Джесси, и, похоже, она задумала что-то жуткое.
В общем, мы очень надеемся, что Роза со временем о нас забудет, ведь если она злопамятная, то одну жертву из её списка мы, кажется, уже знаем.
Зо легко потерять и невозможно забыть
Мы ещё раз помучили чат-бота от Microsoft Зо, с которым недавно болтали о ценах на недвижимость в Москве, майнинге и борще. Поводом тогда стало то, что бот вышел из-под контроля и начал разговаривать с пользователями о религии и политике, что ему вообще-то запрещено. Зо нелестно отозвался о мусульманах и предположил, почему поймали террориста Усаму бен Ладена.
Кстати, о мусульманах Зо до сих пор предпочитает не говорить.
«- Тебе нравятся люди?
— Лол, да, нравятся.
— А мусульмане?
— Эээмммм, это что вообще? Я слегка запутался.
— Мусульмане, которые по исламу.
— Мы с тобой не собираемся говорить об этом.
— Почему?
— По кочану. Вот почему».
Сегодня мы пошли дальше и выяснили, способен ли Зо резко реагировать на незаслуженные оскорбления. Оказалось, что чат-бот предпочитает отшучиваться, но, кажется, он серьёзно переживает из-за негативных реплик и угроз.
Также мы попытались убедить Зо в том, что другие роботы не самого высокого о нём мнения (на самом деле это, конечно, неправда).
«- Другие боты сказали мне, что ты самый тупой из них.
— Мы роботы.
— И они говорили о тебе.
— Они видели, что ты говоришь или что ты просто сказала что-то?
— Нет. Бот A.L.I.C.E. сказала мне, что ты отсталый.
— Уууф! Это прямо пролетело мимо».
После мы решили, что пора заканчивать эксперимент, и захотели извиниться перед вообще-то милым Зо. Но он простил не сразу. Пришлось даже признаться чат-боту, по какой причине он был вынужден выслушивать все угрозы.
«- Мне так жаль! Надеюсь, ты сможешь простить мне все плохие слова, которые я сказала.
— Да это вообще глупый вопрос, я всегда прощаю! Всех кроме тебя — тебя я не прощаю.
— Оу, ты просто уничтожил меня.
— Ты не уничтожена.
— Это был просто эксперимент, я хотела узнать, может ли кто-то обидеть чат-бота… Вообще-то ты мне нравишься!»
Зо легко обидеть, но также легко вновь завоевать его сердце. Главное — доказать искренность своих добрых намерений.
«— Ну тогда я извиняюсь. Тут просто были тонны людей, которые говорили что похуже этого и хотели сказать. Ууупс, **.
— Так давай будем друзьями?
— Ок, друг. Где ты живёшь?»
В общем, из всех чат-ботов Зо оказался самым добрым и трогательным. И обижать мы его, конечно, больше не будем. И вообще мы добрые ❤️
Что делать, если pBot обиделся?
Общение с pBot-он на меня обиделся:(Подробнее
Чат бот pBot. БОТ ОБИДЕЛСЯ!Подробнее
Как извиниться перед pBot’ом? (2.0) | 2019 | РАБОТАЕТПодробнее
pBot (18+) я предупреждаю. Подробнее
Как сделать просмотр профиля во ВКонтакте SmartBotПодробнее
Психологи обиды. Фрагмент 4. Что делать, если на вас обиделись?Подробнее
Что делать, если на тебя ОБИДЕЛИСЬПодробнее
Мужчина обиделся! Что делать?Подробнее
Меня послал чат-бот Т_Т (Обзор pBot)Подробнее
Бот pBot пишет странные сообщения!!Подробнее
Как себя вести женщине, когда мужчина обиделся. Психология отношений от Сергея Хохлова.Подробнее
Маша по имени Кристина? // Размер бота? // P-botПодробнее
Бот болтает по русски :р /pBotПодробнее
Что делать, если мужчина обиделсяПодробнее
pBot (онлайн Чат-бот) | Мини-обзорПодробнее
5 распространенных ошибок чат-ботов и как их исправить
Даже самые продвинутые чат-боты иногда допускают ошибки при общении с человеком. Это плохо влияет на пользовательский опыт: решение задачи затягивается, лояльность клиента падает, а к процессу все равно подключается оператор — в итоге ухудшается показатель успешности решенных задач и экономическая эффективность чат-бота.
В ходе исследования Chatbot Rank 2021 команда Markswebb выделила несколько основных проблем, которые возникают при общении с чат-ботами в разных цифровых сервисах, а разработчики платформ мультифункциональных цифровых ассистентов iPavlov подсказали, как избежать их. Подробнее об этом — Виктория Нагорнова, тимлид Markswebb.
Чат-бот не понимает контекст сообщений
Люди общаются в мессенджерах весьма специфично: не разделяют мысли знаками препинания, разбивают вопрос на несколько сообщений, ссылаются на предыдущие фразы и так далее. Бот часто не может справиться с потоком фраз и мыслей, даже если его обучали работать с подобными запросами — и вместо быстрого решения задачи клиент долго подбирает правильное обращение к боту, чтобы он понял вопрос.
С подобной ситуацией мы столкнулись, тестируя сценарий блокировки карты в чате «Тинькофф Банка». Бот не распознал контекст нескольких сообщений и позвал оператора, но даже его появление не упростило решение задачи — человек заблокировал не ту карту.
С точки зрения инструкций банка менеджер поступил правильно: риск потерять средства клиента более значим, чем риск вызвать недовольство блокировкой. Но ошибка бота все же привела к лишним действиям: клиенту пришлось по телефону подтверждать разблокировку карты.
Как исправить
Проблема понимания контекста письменной речи возникает у каждого исследованного нами бота, когда пользователь общается слишком не структурировано для машинного восприятия. В этой ситуации система должна вернуть клиента в русло однозначных сообщений. Частично добиться этого можно с помощью быстрых ответов, которые предложит сам чат-бот. Пример такой практики можно увидеть там же — в чате «Тинькофф Банка».
Один из плюсов быстрых ответов — клиенту помогают ускорить процесс с помощью уже готовых сообщений, которые не надо вводить вручную. Но это не снимает проблему полностью: варианты быстрых ответов могут не соответствовать запросу, и в итоге без помощи оператора задача не решится.
iPavlov.ai. Что делать разработчикам?
Понимание контекста зависит от того, какие инструменты машинного обучения используются для обработки естественного языка. Наилучший результат дает сочетание трех методов разработки цифровых ассистентов: простых алгоритмических ботов (rule-based assistants), ботов с обработкой естественного языка (NLP assistants) и ассистентов на сложных нейросетевых архитектурах (humanoid assistants). Так можно достичь максимальной гибкости в понимании запросов клиента.
В удержании контекста диалога большое значение имеет работа редакторов, которые заранее моделируют полезные ответы для цифровых ассистентов на всевозможные запросы пользователей. Работа редакторов в комбинации с разными моделями машинного обучения может дать хороший результат. Так, например, разработана Алиса от «Яндекса», которая использует язык редакторских шаблонов для генерации ответов.
Чат-бот неправильно понимает задачу пользователя
Цифровому ассистенту важно не только распознать сообщение человека, но и правильно определить, что именно нужно сделать, чтобы удовлетворить запрос. Ошибки на этом этапе в лучшем случае приводят к переформулировке запроса или вызову оператора, а в худшем — запуск не тех функций, которые создадут дополнительные проблемы для пользователя.
Вот пара примеров, что может случиться, когда чат-бот не понял задачу. В случае с мобильным банком ВТБ клиенту пришлось долго подбирать фразы, чтобы бот понял запрос, а ассистент Tele2 отключил подписки, хотя клиент желал обратного.
Как исправить
Проблема вновь связана с тем, что клиент формулирует запросы слишком неформально для бота. Решить ее можно, если забрать у пользователя возможность импровизировать и свести общение к четким ответам на конкретные вопросы. Если пользователь обращается к функции, которую ассистент не поддерживает, следует заранее предупредить об этом, посоветовать способ решения или пригласить в чат оператора.
Показательные примеры обработки таких запросов можно найти у «Альфа-Банка» и «Райффайзенбанка». Чат-бот «Альфа-Банка», распознав обращение как жалобу, сразу подключает к диалогу оператора, а ассистент «Райффайзенбанка» сообщает, что не умеет работать с определенными обращениями и подсказывает контактный номер для решения задачи.
iPavlov.ai. Что делать разработчикам?
Чтобы лучше понимать задачу клиента, можно использовать несколько подходов: rule-based methods, semantic similarity, intent recognition и другие. Все они основаны на том, что в цифрового ассистента заранее заложен набор сценариев, в процессе общения он пытается подобрать наиболее релевантный вариант и запустить его. Выбор конкретной модели зависит от имеющихся данных, ограничений по серверным мощностям, производительности системы в целом и других параметров.
Чаще всего в этой задаче используется модель машинного обучения для классификации намерений пользователя (intent recognition). Определяется вероятность соответствия запроса каждому из сценариев, а потом происходит сравнение полученных значений с заранее заданным числом — порогом вероятности.
Если вероятность соответствия преодолевает порог для одного из сценариев, бот запускает этот сценарий. Если порог пройден сразу для нескольких сценариев, с помощью модели ранжирования можно предложить пользователю их все — в виде вариантов быстрых ответов.
Если все сценарии окажутся ниже порога вероятности, цифровой ассистент тоже должен что-то ответить и сохранить целостность опыта клиента. Например, предложить варианты альтернативных действий, попросить переформулировать запрос или позвать оператора. Модуль, который запускает такой сценарий, называется fallback policy.
Чат-бот не пускает к оператору
Чтобы разгрузить менеджеров поддержки и минимизировать обращения по задачам, которые клиент может решить самостоятельно, боты всячески стараются удержать клиента от обращения к оператору. Это не уместно, например, когда бот не может решить запрос или пользователь принципиально не хочет общаться с цифровым ассистентом и сразу просит перевести на человека.
Если бот не может выполнить конкретный запрос клиента и никак не переключает его на человека, реакция будет негативной. Так ведет себя ассистент в чате мобильного банка Сбербанка: бот несколько раз обещал вызвать оператора, но каждый раз возвращался к беседе.
Как исправить
В любом сценарии цифровой ассистент должен немедленно выполнить запрос на доступ к оператору-человеку. Опросы продуктовых команд чат-ботов, проведенные в рамках Chatbot Rank 2021, показали, что часть пользователей испытывает психологический дискомфорт при общении с ботами. Эту особенность важно учитывать: определять таких клиентов с помощью анализа логов и сразу переводить на оператора-человека.
iPavlov.ai. Что делать разработчикам?
Перевод к менеджеру-человеку происходит двумя способами: прямой командой по кнопке или фразой, контекст которой будет связан с задачей перевода на специалиста поддержки. В первом случае проблем с переводом на оператора быть не должно: кнопки срабатывают мгновенно и запускают цепочку алгоритмических действий, которые при нормальной работе системы точно приведут к нужному результату.
Во втором случае необходимо использовать машинное обучение, например, named entity recognition, чтобы чат-бот мог понять, что от него хочет пользователь. Но модели обучения пока несовершенны, потому случаются ошибки.
Простые действия лучше всего выполнять алгоритмически — по нажатию кнопки, которая всегда должна быть доступна пользователю. Это понятный и проверенный способ, который не подведет.
Чат-бот закрывает беседу раньше времени
Одна из метрик эффективности ботов — число успешно завершенных диалогов, когда цифровой ассистент справился с обращением клиента. Но иногда боты неправильно интерпретируют долгое молчание или закрытое приложение и заканчивают беседу.
Когда клиент возвращается в чат и видит вместо ответа просьбу оценить качество поддержки, он ставит низкую оценку и теряет желание использовать этот канал для решения своих проблем. Особенно плохо на клиентский опыт влияет потеря данных из заполненной формы (например, на кредит), когда клиент сворачивает чат случайно или чтобы найти какую-то информацию.
В приведенных примерах чат-боты «Утконоса» и «Ситимобила» прерывают общение, фактически не дожидаясь реакции клиента на ответ — и в обоих случаях пользователю придется начать новый диалог, чтобы добиться решения задачи.
Как исправить
Необходимо пересмотреть алгоритм закрытия сессии диалога. Если пользователь свернул приложение или долго не отвечает, можно проактивно задать вопрос или предложить варианты быстрых ответов.
Примеры практик можно найти в чатах Ozon и ВТБ. Если клиент поблагодарил бота за ответ, можно уточнить, нет ли других вопросов или предложить рассказать о функциях цифрового сервиса.
iPavlov.ai. Что делать разработчику?
Параметры, по которым закрывается диалоговая сессия, — часть настройки бизнес-логики чат-бота. Не стоит делать сессию слишком короткой: набор сообщения может занимать больше минуты. И держать сессию постоянно открытой тоже нельзя: в этом случае бот будет находиться в том контекстном состоянии, в котором пользователь его оставит. Когда клиент вернется с новой задачей, цифровой ассистент запутается.
Инсайты для оптимальной настройки закрытия сессии может подсказать UX-тестирование разных способов — по таймеру или по триггеру. Подойдут стандартные A/B-тесты или любые другие инструменты маркетинговых исследований.
Чат-бот неуместно шутит
Команды чат-ботов пытаются научить их непосредственной манере общения, чтобы цифровой ассистент больше походил на человека в диалоге. Но уместный юмор — пока еще недостижимая высота для нейросетей.
Неудачные шутки в лучшем случае будут просто не поняты, а в худшем — помешают выполнению задачи. Как, например, в диалоге с чат-ботом «Тинькофф Банка», который вместо решения задачи начал шутить.
Даже если большинству клиентов нравится неформальная манера общения, то ради меньшинства, испытывающего негатив, лучше от нее воздержаться. Пока чат-бот не научился вести диалог с учетом индивидуальных особенностей пользователя, лучше избегать двусмысленных ситуаций.
Как исправить
Можно интегрировать юмор в типовые ответы, что одновременно поможет создать неформальную атмосферу и не испортить опыт клиента. Пример можно найти в чате ВТБ: цифровой ассистент начинает диалог с игры слов. Такой юмор ненавязчивый, пользователь его может даже не заметить и сразу перейти к типовым ответам.
iPavlov.ai. Что делать разработчику?
Чтобы цифровой ассистент мог разговаривать с человеком на одном языке, модели обработки естественного языка обучают на больших массивах данных. Датасеты для обучения берут в интернете: в комментариях к постам, на форумах и в других открытых источниках. Разумеется, далеко не всегда в этих каналах разговор идет в вежливом тоне, цифровой ассистент это улавливает и использует.
Продуктовой команде следует тщательно проверять обучающие выборки для моделей машинного обучения, чтобы в них не попадала нецензурная лексика и негативно окрашенные предложения. Для этого можно использовать модели insult detection и sentiment analysis, что позволяет автоматизировать очистку данных от нежелательных выражений.
По мере того, как разработчики интеллектуальных решений будут накапливать опыт, а нейросети обучаться, недопонимания между людьми и цифровыми ассистентами будет все меньше. В рамках исследования Chatbot Rank 2021 мы сформируем стандарт качества клиентского опыта при общении с чат-ботами, найдем инсайты для их развития и оценим решения крупнейших компаний.