Искусственный интеллект в маркетинге: примеры, ограничения, проблемы и мнение Click.ru
Есть такая шутка: хорошая автоматизация – это когда юзер не делает вообще ничего. Шутка она потому, что так не бывает. Все равно часть работы нужно сделать руками либо до, либо во время использования сервиса. Но мы искренне надеемся, что когда-нибудь так будет, в том числе и благодаря ИИ. В этой статье хотим поделиться своими мыслями на тему ИИ и узнать про ваш опыт.
Персонализированная с помощью AI реклама (Accelerator от IBM)
Сегодня мы хотим поговорить о том, чем не является ИИ, как он реально используется в маркетинге сегодня и как его хотим использовать мы (мечты, мечты).
AI, ML и DL
Часто публикации в сети на тему ИИ сопровождаются картинкой вроде той, что ниже. На ней изображено существо-андроид, обладающее разумом, который быстрее-выше-сильнее человеческого. Например, существо может лучше человека играть в шахматы.
Как представляют себе ИИ
Мы считаем, что такая визуализация неверна. Более того, вредна. ИИ, скорее, можно представить как некие вычислительные мощности, настроенные на решение конкретных прикладных задач. Решение более быстрое, чем в ручном режиме, и часто более качественное. Но не всегда.
Как реально выглядит ИИ (шахматы – не более чем символ решаемой задачи)
ИИ «очеловечивают», так как он решает «человеческие» задачи, требующие обобщения и переработки большого количества информации.
Нам нравится определение Британской Энциклопедии:
Искусственный интеллект (ИИ, AI) – способность цифрового компьютера выполнять задачи, обычно связанные с разумными существами. Этот термин часто применяется к проекту разработки систем, наделенных интеллектуальными процессами, характерными для людей, такими как способность рассуждать, открывать смысл, обобщать или извлекать уроки из прошлого опыта.
Одним из методов AI является машинное обучение (machine learning, ML). Оно помогает обучить систему решению задачи с помощью выявления эмпирических закономерностей в ряде прецедентов решения. Однако не все AI-технологии подразумевают машинное обучение, поэтому понятия не являются синонимами.
Внутри машинного обучения выделяется отдельная группа методов – deep learning (DL). Это более сложная и многоуровневая методика обучения. Входная информация пропускается через несколько уровней оценки разнородных параметров информации. На DL, в частности, основана работа глубинных нейронных сетей для распознавания изображений, мы будем упоминать ее в статье.
Сферы применения ИИ в маркетинге
1. Персонализация предложений. Это одно из наиболее очевидных и ранних направлений использования ИИ. Статистику о покупках системе анализировать просто, данные из счетчиков статистики и баз зачастую неплохо структурированы. С помощью ИИ персонализируют свои продуктовые предложения Hoff, «Эльдорадо», «Подружка», «220 вольт» и многие ритейлеры в России.
2. Предиктивная аналитика. Она тесно связана с персонализацией, но не ограничивается продуктовыми предложениями, а выполняет широкий круг задач:
прогнозирование действий потребителей для увеличения конверсии и снижения рисков;
прогнозирование бюджетов компаний, рекламных затрат;
сегментацию клиентов на основе различных переменных;
выявление скрытого потенциала.
3. Коммуникации. На наш взгляд, для ритейла большее значение имеют умные чат-боты, нежели голосовое управление. Наиболее часто боты используются в банковских приложениях, сервисах такси, каршеринга и подобных с большим количеством обращений. Чат-боты на основе ИИ отличаются от обычных лучшим умением распознавать смысл вопросов и более «человеческими» ответами.
4. Генерация контента.
Изображения. Генеративно-состязательная нейросеть StyleGAN от компании Nvidia умеет создавать реалистичные портреты людей, котов, лендинги несуществующих стартапов и даже упоротых Гомеров Симпсонов. Хотя мы, конечно, ждем, когда она научится создавать рекламные креативы.
Видео. С помощью ИИ-технологий создаются персонализированные видеоролики, подходящие под каждый сегмент аудитории отдельно. Яркий пример – IBM Watson Advertising Accelerator, который анализирует сотни переменных после чего из отдельных частей собирает ролик (фон, образы, заголовки и пр.), который подействует на ЦА лучше всего.
Тексты. AI справляется с ними хуже, чем с изображениями, и пока не может заменить людей. Хотя отлично генерирует идеи для контента. Очень известны языковые нейросети GPT-3 (английский язык) и ruGPT-3 (русский язык).
5 интересных кейсов применения искусственного интеллекта в маркетинге
1. AI-стилист Thread
Это старый, но довольно показательный кейс из ритейла. Нам он очень нравится потому, что не ограничивается персонализированными рассылками для покупателей интернет-магазина одежды (что уже мейнстрим), а идет дальше: учитывает цвета, фасоны, размеры и даже собирает целостные образы.
При первом посещении сайт просит пользователя ввести ряд данных о своем росте, весе, предпочтениях по стилю, стоимости вещей и др. На начальном этапе в процессе участвуют стилисты, которые собирают образы для покупателей.
После этого подключается алгоритм, который компания назвала Thimble. Он выбирает наиболее подходящие предметы одежды от огромного числа поставщиков. В дальнейшем система учится на покупках, отказах и обратной связи от клиентов.
2. Контроль работы мерчендайзеров Carlsberg Group
На отчетность, предоставляемую выездными мерчендайзерами по результатам визита в точки продаж, сильно влиял человеческий фактор. Поскольку отчетные анкеты заполнялись вручную, в них было много неточностей и ошибок.
Заполнение анкеты было заменено на фотографирование полок с товаром. AI оценивает качество фото и распознает данные с них: составляет перечень товаров, оценивает правильность выкладки, считает долю товаров бренда по отношению к конкурентам. По итогам анализа считаются KPI сотрудника, рассчитывается бонусная часть его зарплаты и принимаются решения по изменению ассортимента.
Система работает на основе технологии SmartMerch от «ИНФОТЕК», которая использует обученные глубокие сверточные нейронные сети.
Image Recognition сочетается с предиктивной аналитикой, не только просто выдавая числовые данные, но и анализируя их, а также предоставляя прогнозы и рекомендации.
По информации от Carlsberg Group, технология позволила увеличить продажи на 6% за полгода, сократить операционные затраты на 6,6%, исключить человеческие ошибки и улучшить систему мотивации сотрудников.
Сервисы на основе Image Recognition от SmartMerch используют и другие бренды: Borjomi, Beluga, Heinz, «Савушкин продукт» и др.
3. Персональный кэшбэк Tinkoff
Этой технологии уже год, и наверняка многие из читающих эту статью знакомы с ней на собственном опыте. Банк столкнулся с тем, что количество предложений кэшбэка от партнеров для каждого клиента достигло 300 и люди просто не пересматривали все позиции, чтобы выбрать понравившиеся. Показ всего подряд был явно неэффективен.
Алгоритмический кэшбэк от Tinkoff собирает наиболее релевантные кэшбэк-предложения и добавляет их в «Рекомендуемое». Выбор основывается на совершенных ранее транзакциях и новых появляющихся предложениях. Система помогает и партнерам, предсказывая вероятность покупки тех или иных товаров или брендов.
В сервисе используется модель machine learning Mult-VAE. Представители бренда заявляют, что в текущем виде она работает без дополнительного обучения, так как multi-hot-векторами для нее являются сами пользователи с их транзакциями.
4. Автоматическая оценка недвижимости «ДомКлик»
Для подтверждения заявки от клиента необходима проверка стоимости недвижимости на вторичном рынке. Ранее для этого «ДомКлик» сотрудничал с подрядчиками, однако это увеличивало время заключения сделки и иногда вызывало ошибки. AI-система расчета цены квартиры от «Сбера» учитывает цены в объявлениях сервиса и суммы ипотечных сделок.
Технология работает в 2 этапа:
Система подбирает похожие дома и предсказывает, во сколько раз будет отличаться цена за квадратный метр в них. Формируется набор признаков, используемых в дальнейшем для точного расчета: средняя цена с поправочным коэффициентом, среднее отклонение в цене у аналогов, средний спред. Построение выполняется с помощью библиотеки CatBoost;
Выполняется финальный расчет цены с помощью модели, обученной по LightGBM.
Результатом внедрения технологии, по словам «Сбера», явилось ускорение оценки, повышение ее точности и рост количества одобренных заявок на 8%.
5. Умный подбор вакансий Head Hunter
Ранее вакансии предлагались соискателю на основе текстового анализа его резюме. Однако точность была невысокой, что в конечном итоге привело к снижению продаж публикаций вакансий.
Новое ML-решение для портала hh.ru анализирует суть резюме и вакансий и учится на похожих соискателях и работодателях. Технология Natural language processing позволяет учитывать смысл резюме, вакансий, запросов, а отдельная рекомендательная система осуществляет подбор. Разработка привела к росту соискателей в 1,3 раза и помогла повысить продажи размещения вакансий на 39,7%.
«Это все, конечно, классно, но внедрять не будем»
Почему не все компании используют ИИ? По нашему опыту, на то есть 4 причины. Некоторые из них мешают и нам, что уж тут скрывать.
Завышенные ожидания. Как раз эта проблема вытекает из представления об ИИ как о сверхразуме, о чем мы говорили в начале статьи. Некоторые менеджеры считают ИИ полноценной заменой экспертам-аналитикам, маркетологам, копирайтерам и пр. Однако в реальности искусственному интеллекту можно доверить в первую очередь простые, рутинные задачи.
Недоверие. Эта причина вытекает из первой: когда становится понятно, что AI-технология требует настройки и отладки, руководители не решаются доверить привычные функции сотрудников механизмам. Страх подкрепляется тем, что в процессе настройки система часто показывает очень странные данные: например, нейросети для текстовых описаний в первое время отдают дичь. Любой AI-технологии надо дать время и грамотно настроить перед массовым запуском.
Нехватка кадров. Для AI требуются профильные разработчики и дата-саентисты, понимающие принципы настройки, оптимизации алгоритмов машинного обучения, а также менеджеры, разбирающиеся в сути вопроса и уже ни раз проходившие всю процедуру внедрения. А чтобы их нанять, желательно, чтобы и рекрутер хотя бы немного был в теме. Короче, все сложно.
Плохое качество исходных данных. И даже если специалистов наняли и у всех одинаковые ожидания, проблема может возникнуть на этапе начала обучения. Системе нужны очищенные и структурированные исходные данные, однако ни одна компания не готова сразу предоставить таковые. В информации из корпоративной базы данных или системы статистики зачастую есть шумы и выбросы – значения, выходящие за пределы допустимых диапазонов, и пропуски. Поэтому этап подготовки данных (Data Preparation) может занимать до 80% времени работы над автоматизированной AI-системой и нет гарантии, что он завершится успешно.
Наше мнение
Нам интересны AI-технологии, особенно в сфере автоматизации контекстной и таргетированной рекламы. При этом мы считаем, что к ним нужно относиться здраво и трезво:
не ожидать от них слишком многого;
четко понимать порядок внедрения;
отдавать конкретные, рутинные, автоматизируемые задачи;
быть готовым к длительному обучению AI-системы;
обладать компетенциями в области AI и ML.
И немного размышлений. Написание рекламных объявлений в Click.ru – у нас сейчас ручная задача, требующая привлечения копирайтеров. Люди анализируют УТП компании и объявления конкурентов, чтобы создать привлекающие внимание тексты. Однако когда-то это может стать идеальной задачей для ИИ, ведь входные данные довольно конкретны (например, выгрузки слов и объявлений конкурентов из нашего автоматизированного сервиса) и их легко получить. Доучивать систему можно в том числе и по обратной связи от пользователей, например от тестовой группы участников нашей партнерской программы. Конечно, для них за такую помощь могут полагаться плюшки и бонусы.
Еще одно направление, куда можно было бы внедрить AI, – автоматическое изменение параметров таргетинга на основе анализа данных об аудитории и эффективности рекламы. Однако пока непонятна целесообразность внедрения сложных решений, если простые работают неплохо. Да и алгоритмы самих рекламных систем нормально справляются.
А у вас есть опыт создания автоматизированных сервисов для рекламы на основе ИИ? Будем благодарны, если поделитесь в комментариях.
AI для людей: простыми словами о технологиях
Представляем исчерпывающую шпаргалку, где мы простыми словами рассказываем, из чего «делают» искусственный интеллект и как это все работает.
В чем разница между Artificial Intelligence, Machine Learning и Data Science?
Artificial Intelligence — AI (Искусственный Интеллект)
В глобальном общечеловеческом смысле ИИ — термин максимально широкий. Он включает в себя как научные теории, так и конкретные технологические практики по созданию программ, приближенных к интеллекту человека.
Machine Learning — ML (Машинное обучение)
Раздел AI, активно применяющийся на практике. Сегодня, когда речь заходит об использовании AI в бизнесе или на производстве, чаще всего имеется в виду именно Machine Learning.
ML-алгоритмы, как правило, работают по принципу обучающейся математической модели, которая производит анализ на основе большого объема данных, при этом выводы делаются без следования жестко заданным правилам.
Наиболее частый тип задач в машинном обучении — это обучение с учителем. Для решения такого рода задач используется обучение на массиве данных, по которым ответ заранее известен (см.ниже).
Data Science — DS (Наука о данных)
Наука и практика анализа больших объемов данных с помощью всевозможных математических методов, в том числе машинного обучения, а также решение смежных задач, связанных со сбором, хранением и обработкой массивов данных.
Data Scientists — специалисты по работе с данными, в частности, проводящие анализ при помощи machine learning.
Как работает Machine Learning?
Рассмотрим работу ML на примере задачи банковского скоринга. Банк располагает данными о существующих клиентах. Ему известно, есть ли у кого-то просроченные платежи по кредитам. Задача — определить, будет ли новый потенциальный клиент вовремя вносить платежи. По каждому клиенту банк обладает совокупностью определенных черт/признаков: пол, возраст, ежемесячный доход, профессия, место проживания, образование и пр. В числе характеристик могут быть и слабоструктурированные параметры, такие как данные из соцсетей или история покупок. Кроме того, данные можно обогатить информацией из внешних источников: курсы валют, данные кредитных бюро и т. п.
Машина видит любого клиента как совокупность признаков: 
. Где, например, 
— возраст, 
— доход, а 
— количество фотографий дорогих покупок в месяц (на практике в рамках подобной задачи Data Scientist работает с более чем сотней признаков). Каждому клиенту соответствует еще одна переменная — 
с двумя возможными исходами: 1 (есть просроченные платежи) или 0 (нет просроченных платежей).
Совокупность всех данных 
и — есть Data Set. Используя эти данные, Data Scientist создает модель 
, подбирая и дорабатывая алгоритм машинного обучения.
В этом случае модель анализа выглядит так:
Алгоритмы машинного обучения подразумевают поэтапное приближение ответов модели к истинным ответам (которые в обучающем Data Set известны заранее). Это и есть обучение с учителем на определенной выборке.
На практике чаще всего машина обучается лишь на части массива (80 %), применяя остаток (20 %) для проверки правильности выбранного алгоритма. Например, система может обучаться на массиве, из которого исключены данные пары регионов, на которых сверяется точность модели после.
Теперь, когда в банк приходит новый клиент, по которому еще не известен банку, система подскажет надежность плательщика, основываясь на известных о нем данных .
Однако, обучение с учителем — не единственный класс задач, которые способна решать ML.
Другой спектр задач — кластеризация, способная разделять объекты по признакам, например, выявлять разные категории клиентов для составления им индивидуальных предложений.
Также с помощью ML-алгоритмов решаются такие задачи, как моделирование общения специалиста поддержки или создание художественных произведений, неотличимых от сотворенных человеком (например, нейросети рисуют картины).
Новый и популярный класс задач — обучение с подкреплением, которое проходит в ограниченной среде, оценивающей действия агентов (например, с помощью такого алгоритма удалось создать AlphaGo, победившую человека в Го).
Нейронная сеть
Один из методов Machine Learning. Алгоритм, вдохновленный структурой человеческого мозга, в основе которой лежат нейроны и связи между ними. В процессе обучения происходит подстройка связей между нейронами таким образом, чтобы минимизировать ошибки всей сети.
Особенностью нейронных сетей является наличие архитектур, подходящих практически под любой формат данных: сверточные нейросети для анализа картинок, рекуррентные нейросети для анализа текстов и последовательностей, автоэнкодеры для сжатия данных, генеративные нейросети для создания новых объектов и т. д.
В то же время практически все нейросети обладают существенным ограничением — для их обучения нужно большое количество данных (на порядки большее, чем число связей между нейронами в этой сети). Благодаря тому, что в последнее время объемы готовых для анализа данных значительно выросли, растет и сфера применения. С помощью нейросетей сегодня, например, решаются задачи распознавания изображений, такие как определение по видео возраста и пола человека, или наличие каски на рабочем.
Интерпретация результата
Раздел Data Science, позволяющий понять причины выбора ML-моделью того или иного решения.
Существует два основных направления исследований:
Естественно, производство интересует не только прогноз самого брака, но и интерпретация результата, т. е. причины брака для их последующего устранения. Это может быть долгое отсутствие тех.обслуживания станка, качество сырья, или просто аномальные показания некоторых датчиков, на которые технологу стоит обратить внимание.
Потому в рамках проекта прогноза брака на производстве должна быть не просто создана ML-модель, но и проделана работа по её интерпретации, т. е. по выявлению факторов, влияющих на брак.
Когда эффективно применение машинного обучения?
Когда есть большой набор статистических данных, но найти в них зависимости экспертными или классическими математическими методами невозможно или очень трудоемко. Так, если на входе есть более тысячи параметров (среди которых как числовые, так и текстовые, а также видео, аудио и картинки), то найти зависимость результата от них без машины невозможно.
Например, на химическую реакцию кроме самих вступающих во взаимодействие веществ влияет множество параметров: температура, влажность, материал емкости, в которой она происходит, и т. д. Химику сложно учесть все эти признаки, чтобы точно рассчитать время реакции. Скорее всего, он учтет несколько ключевых параметров и будет основываться на своем опыте. В то же время на основании данных предыдущих реакций машинное обучение сможет учесть все признаки и дать более точный прогноз.
Как связаны Big Data и машинное обучение?
Для построения моделей машинного обучения требуются в разных случаях числовые, текстовые, фото, видео, аудио и иные данные. Для того чтобы эту информацию хранить и анализировать существует целая область технологий — Big Data. Для оптимального накопления данных и их анализа создают «озера данных» (Data Lake) — специальные распределенные хранилища для больших объемов слабоструктированной информации на базе технологий Big Data.
Цифровой двойник как электронный паспорт
Цифровой двойник — виртуальная копия реального материального объекта, процесса или организации, которая позволяет моделировать поведение изучаемого объекта/процесса. Например, можно предварительно увидеть результаты изменения химического состава на производстве после изменений настроек производственных линий, изменений продаж после проведения рекламной кампании с теми или иными характеристиками и т. д. При этом прогнозы строятся цифровым двойником на основе накопленных данных, а сценарии и будущие ситуации моделируются в том числе методами машинного обучения.
Что нужно для качественного машинного обучения?
Data Scientiest’ы! Именно они создают алгоритм прогноза: изучают имеющиеся данные, выдвигают гипотезы, строят модели на основе Data Set. Они должны обладать тремя основными группами навыков: IT-грамотностью, математическими и статистическими знаниями и содержательным опытом в конкретной области.
Машинное обучение стоит на трех китах
Получение данных
Могут быть использованы данные из смежных систем: график работ, план продаж. Данные могут быть также обогащены внешними источниками: курсы валют, погода, календарь праздников и т. д. Необходимо разработать методику работы с каждым типом данных и продумать конвейер их преобразования в формат модели машинного обучения (набор чисел).
Построение признаков
Проводится вместе с экспертами из необходимой области. Это помогает вычислить данные, которые хорошо подходят для прогнозирования целей: статистика и изменение количества продаж за последний месяц для прогноза рынка.
Модель машинного обучения
Метод решения поставленной бизнес-задачи выбирает data scientist самостоятельно на основании своего опыта и возможностей различных моделей. Под каждую конкретную задачу необходимо подобрать отдельный алгоритм. От выбранного метода напрямую зависят скорость и точность результата обработки исходных данных.
Процесс создания ML-модели.
От гипотезы до результата
1. Всё начинается с гипотезы
Гипотеза рождается при анализе проблемного процесса, опыта сотрудников или при свежем взгляде на производство. Как правило, гипотеза затрагивает такой процесс, где человек физически не может учесть множество факторов и пользуется округлениями, допущениями или просто делает так, как всегда делал.
В таком процессе применение машинного обучения позволяет использовать существенно больше информации при принятии решений, поэтому, возможно, удается достичь существенно лучших результатов. Плюс ко всему, автоматизация процессов с помощью ML и снижение зависимости от конкретного человека существенно минимизируют человеческий фактор (болезнь, низкая концентрация и т. д.).
2. Оценка гипотезы
На основании сформулированной гипотезы выбираются данные, необходимые для разработки модели машинного обучения. Осуществляется поиск соответствующих данных и оценка их пригодности для встраивания модели в текущие процессы, определяется, кто будет ее пользователями и за счет чего достигается эффект. При необходимости вносятся организационные и любые другие изменения.
3. Расчет экономического эффекта и возврата инвестиций (ROI)
Оценка экономического эффекта внедряемого решения производится специалистами совместно с соответствующими департаментами: эффективности, финансов и т. д. На данном этапе необходимо понять, что именно является метрикой (количество верно выявленных клиентов / увеличение выпуска продукции / экономия расходных материалов и т. п.) и четко сформулировать измеряемую цель.
4. Математическая постановка задачи
После понимания бизнес-результата его необходимо переложить в математическую плоскость — определить метрики измерений и ограничения, которые нельзя нарушать. Данные этапы data
scientist выполняет совместно с бизнес-заказчиком.
5. Сбор и анализ данных
Необходимо собрать данные в одном месте, проанализировать их, рассматривая различные статистики, понять структуру и скрытые взаимосвязи этих данных для формирования признаков.
6. Создание прототипа
Является, по сути, проверкой гипотезы. Это возможность построения модели на текущих данных и первичной проверки результатов ее работы. Обычно прототип делается на имеющихся данных без разработки интеграций и работы с потоком в реальном времени.
Создание прототипа — быстрый и недорогой способ проверить, решаема ли задача. Это весьма полезно в том случае, когда невозможно заранее понять, получится ли достичь нужного экономического эффекта. К тому же процесс создания прототипа позволяет лучше оценить объем и подробности проекта по внедрению решения, подготовить экономическое обоснование такого внедрения.
DevOps и DataOps
В процессе эксплуатации может появится новый тип данных (например, появится ещё один датчик на станке или же на складе появится новый тип товаров) тогда модель нужно дообучить. DevOps и DataOps — методологии, которые помогают настроить совместную работу и сквозные процессы между командами Data Science, инженерами по подготовке данных, службами разработки и эксплуатации ИТ-систем, и помогают сделать такие дополнения частью текущего процесса быстро, без ошибок и без решения каждый раз уникальных проблем.
7. Создание решения
В тот момент, когда результаты работы прототипа демонстрируют уверенное достижение показателей, создается полноценное решение, где модель машинного обучения является лишь составляющей изучаемых процессов. Далее производится интеграция, установка необходимого оборудования, обучение персонала, изменение процессов принятия решений и т. Д.
8. Опытная и промышленная эксплуатация
Во время опытной эксплуатации система работает в режиме советов, в то время как специалист еще повторяет привычные действия, каждый раз давая обратную связь о необходимых улучшениях системы и увеличении точности прогнозов.
Финальная часть — промышленная эксплуатация, когда налаженные процессы переходят на полностью автоматическое обслуживание.
Шпаргалку можно скачать по ссылке.
Завтра на форуме по системам искусственного интеллекта RAIF 2019 в 09:30 — 10:45 состоится панельная дискуссия: «AI для людей: разбираемся простыми словами».
В этой секции в формате дебатов спикеры объяснят простыми словами на жизненных примерах сложные технологии. А также подискутируют на следующие темы:
Николай Марин, директор по технологиям, IBM в России и СНГ
Алексей Натекин, основатель, Open Data Science x Data Souls
Алексей Хахунов, технический директор, Dbrain
Евгений Колесников, директор Центра машинного обучения, Инфосистемы Джет
Павел Доронин, CEO, AI Today
Дискуссия будет доступна на канале YouTube «Инфосистемы Джет» в конце октября.
