Джон Сендс: «У нас много данных, но мало информации»
Только треть решений, которые самостоятельно принимает человек, можно считать идеальными. Оставшиеся как минимум вызывают сомнения относительно оптимальности и правильности. Исправить статистику помогает все более широкий набор технологий, особо значимой из которых сегодня становится дополненная аналитика или дополненный интеллект (Augmented Intelligence, AI). О том, как дополненная аналитика может изменить бизнес и вытеснит ли она человека окончательно из области принятия решений, рассказал Джон Сендс (John Sands), евангелист и директор по продуктам и решениям компании Qlik. Компания седьмой год подряд входит в число лидеров магического квадранта (отчета — ред.) по бизнес-аналитике компании Gartner, а предлагаемые ею опции визуализации во многом определили вектор развития отрасли. Среди российских клиентов компании — ТВЭЛ, Сибур, Volkswagen, «Модный Континент» и Министерство сельского хозяйства РФ.
Работа человека станет проще
— Расскажите, пожалуйста: что такое дополненная аналитика, чем она отличается от традиционного анализа данных?
— Дополненную аналитику (Augmented Intelligence) также можно назвать дополненным интеллектом, дополненным знанием. Речь в данном случае идет о совместном использовании потенциала человеческого разума, технологии машинного обучения и возможностей искусственного интеллекта. Это, если хотите, комбинация машинного и человеческого подходов к анализу, позволяющая получить более глубокое понимание бизнес-процессов. Если вести речь о смысле этого понятия, все же нужно говорить об открытии новой, до этого не известной информации в процессе анализа. При этом неважно, откуда поступают данные — из социальных сетей или отдела продаж. Дополненная аналитика позволяет не только объединить и проанализировать их, но и оперативно представить результаты — в понятной форме.
— Какие задачи решает дополненная аналитика?
— Я часто говорю: мы богаты данными, но очень бедны информацией. У компаний, да и частных лиц, накапливаются огромные массивы данных, но зачастую они лежат, скажем так, в разных «карманах» и обычно никак между собой не связаны — более того, могут быть жестко изолированы. Как, например, данные о заказах и продажах. В результате очень сложно получить необходимые ответы, если те требуют совместного анализа нескольких массивов данных. Чтобы получить полезную информацию, реальные знания на основе накопленных данных, компаниям нужно научиться их совмещать, объединять и анализировать. В этом помогает дополненный интеллект, или дополненная аналитика.
— Дополненная аналитика — следующий уровень бизнес-аналитики (BI). А с чем связан растущий интерес к последней, к многомерному анализу данных?
— Сегодня нужно принимать решения очень быстро; делать так позволяет только всесторонний анализ данных о работе компании. Мы не можем тратить месяцы на обсуждения и поиски решений; получить ответ все хотят здесь и сейчас, причем независимо от того, находитесь вы в офисе или дома, в самолете или поезде, пользуетесь вы стационарным компьютером или мобильным телефоном. Например, Qlik предлагает средства предоставления отчетности и самостоятельного визуального анализа, а также средства управляемой, встраиваемой и специализированной аналитики для данных из любых источников с решениями Qlik Sense®, QlikView® и Qlik® Cloud.
— Довольно долго считалось, что искусственный интеллект может заменить человека. Как будет в случае с дополненным интеллектом?
— Дополненная аналитика — не исключение человека из процесса анализа. Наоборот, система своими рекомендациями и предложениями на основе машинного обучения помогает человеку делать выводы. Речь все же идет о том, чтобы помогать человеку, а не заменять его полностью.
— Как новые технологии и подходы меняют бизнес-анализ, становится ли работа человека проще?
— Согласно прогнозу Gartner, всего через три года почти половина всех запросов в области бизнес-аналитики будет происходить с помощью голосовых команд, в том числе на естественном языке или через поисковую форму. Пользователи систем будут как бы «гуглить» нужные данные для принятия бизнес-решений. Не знаю, будет ли все так, но, похоже, мы и правда идем по пути упрощения. Да, сегодня по-прежнему, говоря о бизнес-аналитике, подразумевают возможности по анализу больших массивов данных для получения новой, до того скрытой информации. При этом компании предпочитают делать все в режиме самообслуживания и в режиме визуализации — графиков, схем, диаграмм. Большие непонятные массивы цифр не нужны; все должно быть наглядно.
В России таких компаний нет
— Огромные массивы данных, которые компании зачастую не способны проанализировать, — общемировая проблема?
— Да, это глобальная проблема, общемировое явление. Мы работаем со сбором и анализом данных много лет подряд и не видим здесь для стран особой разницы. В том числе это касается и России. Qlik работает в России уже около 7 лет, и мой опыт говорит: российские компании сталкиваются с теми же вызовами, что и все мировые.
— С точки зрения применения методов бизнес-анализа Россия сегодня отстает от уровня мировых компаний?
— Я бы не сказал, что Россия в начале пути. Ваши компании довольно сильно продвинулись в данном направлении, Россия ушла очень далеко вперед за последнее время, и в технологическом аспекте она живет в том же мире, что и все остальные компании. Кстати, российские компании все чаще конкурируют с американскими, немецкими и другими компаниями на рынке.
— Где в мире больше всего развита бизнес-аналитика?
— Впереди рынка, конечно же, находятся США. Это определяется в том числе тем, что там находится больше заказчиков. Но разрыв между американскими компаниями и компаниями из других стран сегодня не так уж и велик. Очень продвинут в плане технологий Китай: сегодня уже в этом плане нет большого разрыва между США и Китаем.
— Насколько конкурентен рынок для вендоров?
— Это крайне, крайне конкурентный рынок. На мировом рынке работают сотни компаний, это очень много. Они, кстати, из разных стран. Если посмотреть на магический квадрат Gartner по бизнес-аналитике, вы найдете в нем компании, например, из Израиля, из Скандинавии и Германии. В России, правда, таких компаний нет.
— Но появиться могли бы, как считаете? И смогут ли они конкурировать с крупными мировыми вендорами?
— Зато в России есть системные интеграторы, и мы активно с ними работаем. Вообще, я убежден: инновации могут порождаться как крупными, так и мелкими компаниями — часто рождение новых идей начинается с мелких компаний и уже потом распространяется через крупные. Так было, к примеру, с технологией искусственного интеллекта. Да и наша компания когда-то была небольшим шведским стартапом, а теперь у нас более 40 000 заказов по миру.
— Одна из ключевых тенденций сегодня для продуктов рынка бизнес-аналитики — облачные решения. Какие они дают преимущества?
— В чем прелесть облака — его модель такова, что пользователь не владеет оборудованием для решения своих задач. По сути, такая модель аренды. Вы платите каждый месяц или год — как долго хотите. Модель подходит в том числе небольшим компаниям, поскольку позволяет начать работу с небольших инвестиций. Мы активно инвестируем в облачную инфраструктуру, наше облако доступно по всему миру.
Augmented Intelligence для рыбаков и врачей
— Какие компании сегодня прибегают к помощи дополненного интеллекта?
— Это могут быть компании из самых разных сфер, причем иногда из самых неожиданных. Например, среди компаний, использующих наши разработки, есть рыболовы из Перу. Они используют Qlik, чтобы точнее прогнозировать местонахождение косяков рыб в океане. А шведская полиция использовала наши продукты для того, чтобы вычислить маньяка-убийцу. Они загрузили в Qlik данные о том, где происходили нападения, и смогли предсказать, где то может случиться снова.
— Какие задачи решает технология дополненного интеллекта?
— В основном в первую очередь компании занимаются анализом внутренних данных для повышения собственной эффективности. На самом деле, все вызовы сегодня сводятся к тому, чтобы быть способными находить ответы на нужные вопросы с той скоростью, с которой необходимо заказчику — и сделать это на основе использования самой разнородной информации, которой компания обладает. Например, в одном из госпиталей Великобритании была решена задача оценки эффективности работы хирургов. Собрали данные по операциям, которые выполняли врачи, данные о стоимости оборудования, которое они использовали, а также медицинскую информацию о пациентах, в том числе статистику повторных обращений. Скомбинировав все данные, вычислили, какие хирурги работали лучше, эффективнее всего. Кстати, в госпитале в итоге составили сравнительный табель и предоставили к нему доступ всем врачам, чтобы те могли оценить свои результаты и соревноваться между собой.
Был и другой пример, когда анализировалась работа центров скорой помощи (тоже, кстати, в Великобритании): разработанное приложение фиксировало загруженность отделения для руководящего состава. Можно было, к примеру, увидеть, сколько времени уходило у пациентов на ожидание приема и на лечение. И в случае необходимости руководство отправляло на работу дополнительный персонал.
— Значит ли это, что с приходом на рынок дополненной аналитики человечество решит проблему растущего массива Big Data?
— Один японский ресторан, который подает все блюда по специальному транспортеру, откуда посетители уже сами берут их на столы, анализировал с помощью сенсоров на тарелках популярность того или иного продукта. А компания по борьбе с грызунами оснащает сенсорами мышеловки и, когда те срабатывают, получает соответствующий сигнал. К чему я привожу эти примеры? Просто датчики можно прикрепить к чему угодно. Мы научились отлично собирать данные, то есть можем осуществлять технический сбор данных. Дальше будет все больше и больше сенсоров, они будут везде и всюду! Уже, например, изобретена краска, где каждая капля выполняет функцию датчика. Когда ее наносят на здание, появляется возможность контролировать деформацию конструкции, например. Но иногда стоит остановиться и подумать: а стоит ли это в каждом случае делать?
Беседовала Ольга Блинова
Подписывайтесь на канал «Инвест-Форсайта» в «Яндекс.Дзене»
Что такое дополненная аналитика?
Ваша команда постоянно растет и, возможно, сейчас самыми стремительными темпами. Ваши коллеги по ИТ-отделу могут оценивать инструменты дополненной аналитики как для измерений, так и для монетизации. На данном этапе они стремятся определить требования пользователей, потенциальную ценность решений, а также понять, как данные ускорят рост бизнеса. Однажды получившая титул «инструмента будущего», дополненная аналитика помогает понимать данные, находить ответы и принимать меры с той скоростью, которая так необходима в динамичной и переменчивой цифровой среде.
Понимание дополненной аналитики
Дополненная аналитика помогает преобразовывать большие наборы данных в понятные и компактные выводы благодаря статистическим и лингвистическим технологиям. Сочетание машинного обучения, искусственного интеллекта (ИИ), аналитики данных и аугментации расширяет представление о том, как аналитику можно создавать, потреблять и предоставлять пользователям.
Существуют три ключевые компонента дополненной аналитики, которые появились в 2017 году и которые должен понимать бизнес:
Вместе эти три компонента выявляют глубинные закономерности и предоставляют целостную картину того, что ваши необработанные данные и аналитика могут предоставить вашим пользователям, а также как ваша команда может подсказывать бизнесу следующие шаги.
Преимущества дополненной аналитики
Дополненная аналитика кардинально повысила удобство пользователей, максимально эффективно объединив искусственный интеллект и человеческую любознательность. К ее основным преимуществам относятся:
Ускоренная подготовка данных. Поскольку дополненная подготовка данных быстрее объединяет данные из разных источников, вы сможете оперативно выявлять повторяющиеся действия, ускорять аналитику и повышать эффективность, чтобы создавать полностью автоматизированные и качественные рекомендации, которые помогут персонализировать работу пользователей.
Снижение предвзятости в аналитике. Предвзятость, вызванная неполными наборами данных и нехваткой контекста, только вредит результатам пользователей. Переложив на ИИ анализ, который обычно выполняли средства аналитики данных, вы сократите потенциальную предвзятость за счет использования более широкого спектра данных, имеющих исключительную статистическую значимость.
Укрепление доверия. Каждый раз, когда пользователь взаимодействует с данными, он направляет алгоритмы машинного обучения, которые со временем предоставляют все более релевантные и точные рекомендации вашим сотрудникам. Эти предложения помогают завоевать доверие пользователей, они получают более релевантные данные с учетом бизнес-контекста, намерений и многих других факторов. Получая стабильно релевантную аналитику, пользователи начинают доверять вашей стратегии и компании в целом.
Повышение грамотности работы с данными. По мере того как вы продолжаете собирать данные, у вашей команды и пользователей появляется возможность извлекать из них пользу. Опираясь на автоматический анализ результатов, пользователи могут легко искать и визуализировать аналитику с минимумом усилий благодаря возросшей грамотности работы с данными. Это укрепит позиции как ваших сотрудников, так и вашей компании, поскольку в коллективе, умеющем грамотно работать с данными, их доступность перестает быть проблемой.
Больше времени для ИТ-отдела. Поскольку ИТ-специалистам не придется тратить массу времени на сбор и анализ огромных наборов данных и преобразование их в практически применимую аналитику, у них появится больше времени на бизнес-стратегии и специальные проекты. Это также откроет новые возможности для всего коллектива: сотрудники смогут сами в рамках своих ежедневных обязанностей использовать ресурсы, все более насыщенные данными, не перекладывая эти задачи на специалистов по обработке данных.
Топ-10 технологических трендов в обработке данных и аналитике в 2019 году по мнению Gartner
Добрый вечер. Перевод следующей статьи подготовлен специально для студентов курса «Аналитик BI». Приятного прочтения.
В центре внимания на саммите Gartner Data & Analytics 18-19 февраля в Сиднее были расширенная аналитика (Augmented Analytics) и искусственный интеллект.
Расширенная аналитика, непрерывный интеллект (continuous intelligence) и объяснимый искусственный интеллект (explainable artificial intelligence) являются одними из самых громких тенденций в области технологий обработки данных и аналитики, которые будут иметь разрушительный потенциал в последующие 3-5 лет, по мнению Gartner, Inc.
Выступая на саммите Gartner Data & Analytics в Сиднее, Рита Саллам, вице-президент по исследованиям Gartner, отметила, что лидеры в области данных и аналитики должны изучить потенциальное влияние этих тенденций на бизнес и соответствующим образом скорректировать бизнес-модели и производимые операции, в противном случае они рискуют потерять конкурентные преимущества перед теми, кто уделил этому достаточно внимания.
«История обработки данных аналитики продолжает развиваться, начиная от поддержки внутреннего принятия решений до непрерывного интеллекта, информационных продуктов и найма специалистов по данным», — сказала Рита Саллам. «Очень важно получить более глубокое понимание технологических тенденций, лежащих в основе создания и развития этой истории, а также расставить определенные приоритеты относительно них, в зависимости от ценности для конкретного бизнеса.»
По словам Дональда Файнберга, вице-президента и выдающегося аналитика Gartner, основная проблема, вызванная цифровым сбоем (слишком большое количество данных), открыла еще и беспрецедентную возможность. Громадный объем данных вкупе с растущей мощью средств обработки, которую обеспечивают облачные технологии, дает четкое понимание, что теперь можно обучать и выполнять алгоритмы в больших масштабах, необходимых для полной реализации потенциала ИИ.
«Размер, сложность, распределенный характер данных, скорость работы и непрерывный интеллект, необходимые для цифрового бизнеса, дают понять, что жесткие и централизованные архитектуры и инструменты больше не справляются,» — говорит Файнберг. «Дальнейшее выживание любого бизнеса будет зависеть от гибкой архитектуры, ориентированной на данные, которая отвечает постоянно растущим темпам изменений.»
Компания Gartner рекомендует лидерам в области обработки данных и аналитики обсудить с представителями бизнеса основные приоритеты компании и подумать о том, как они смогут интегрировать в работу следующие тенденции.
Тренд №1. Расширенная аналитика
Расширенная аналитика – это следующая волна прорыва на рынке обработки данных и аналитики. Она использует машинное обучение и технологии искусственного интеллекта для преобразования методов разработки, потребления и совместного использования аналитического контента.
К 2020 году расширенная аналитика станет основным двигателем новых покупок в аналитике и BI, а также Data Science, ML платформ и встроенной аналитики. Лидеры в области обработки данных и аналитики обязаны планировать внедрение расширенной аналитики по мере развития возможностей платформы.
Тренд №2. Расширенное управление данными
Технология расширенного управления данными (Augmented Data Management) использует возможности ML и механизмы ИИ, чтобы создать категории управления информацией компании, включая качество данных, управление метаданными, управление основными данными, их интеграцию, а также самонастройку и самонастройку систем управления базами данных (СУБД). Она автоматизирует многие задачи и позволяет менее квалифицированным пользователям самостоятельно использовать данные. Таким образом высококвалифицированные технические специалисты могут сосредоточиться на более важных задачах.
Расширенное управление данными преобразует метаданные из используемых только для аудита, родословной и отчетности, в итоге поставляя их динамическим системам. Метаданные меняются с пассивных на активные и становятся основным двигателем для всего ИИ/ML.
К концу 2022 года количество задач, выполняемых вручную в области управления данными, уменьшится на 45% за счет внедрения машинного обучения и автоматизированного управления уровнем обслуживания.
Тренд №3. Непрерывный интеллект
К 2022 году более половины новых крупных бизнес-систем будут использовать непрерывный интеллект, который в свою очередь использует контекстные данные в режиме реального времени для улучшения решений.
Непрерывный интеллект – это паттерн проектирования, в котором аналитика в реальном времени интегрируется в бизнес-операции, обрабатывая текущие и исторические данные для предложения действий в ответ на событие. Он обеспечивает автоматизацию или поддержку принятия решений. Непрерывный интеллект использует несколько технологий, таких как расширенная аналитика, обработка потока событий, оптимизация, управление бизнес-правилами и машинное обучение.
«Непрерывный интеллект – это серьезное нововведение в работе команд, занимающихся данными и аналитикой,» — говорит Саллам. «Это грандиозная задача и прекрасная возможность для команд аналитиков и BI-специалистов помочь компаниям принимать более разумные решения в режиме реального времени уже в 2019 году. Его можно рассматривать, как окончательный вариант оперативного BI.»
Тренд №4. Объяснимый ИИ
Модели ИИ чаще всего используются для улучшения или полного замещения человека в вопросах принятия решений. Однако в некоторых сценариях компании должны обосновать, как эти модели приходят к конкретным решениям. Для укрепления доверия пользователей или заинтересованных сторон, архитекторы приложений должны сделать эти модели более понятными и объяснимыми.
К сожалению, большинство продвинутых моделей ИИ являются сложными черными ящиками, которые не в состоянии объяснить, как они вывели конкретную рекомендацию или решение. Объяснимый ИИ в data science и ML платформах, например, автоматически генерирует объяснение моделей с точки зрения точности, атрибутов, статистики моделей и функций на естественном языке.
Тренд №5. Графика
Графическая аналитика (Graph analytics) – это набор аналитических методов, позволяющих исследовать отношения между интересующими объектами, такими как организации, люди и транзакции.
Применение графической обработки и графических СУБД будет увеличиваться на 100% с каждым годом до 2022 года, что позволит ускорить подготовку данных и обеспечивать более сложную и адаптивную data science.
Графические хранилища данных могут эффективно моделировать, исследовать и запрашивать данные со сложными взаимосвязями между хранилищами данных, но потребность в специализированных навыках для работы с ними является их основным ограничителем на сегодняшний день.
Графическая аналитика в ближайшие несколько лет будет неуклонно расти, поскольку существует необходимость задавать сложные вопросы сложным данным, что не всегда практично или хотя бы осуществимо в масштабе, в котором можно использовать SQL-запросы.
Тренд №6. Ткань данных
Ткань данных (Data fabric) обеспечивает беспрепятственный доступ к данным и их совместному использованию в распределенной среде данных. Она представляет собой единый и согласованный фреймворк для управления данными, который предоставляет беспрепятственный доступ к данным и возможность их архитектурной обработки в любом другом хранилище.
До 2022 года заказные проекты ткани данных будут развернуты в основном как статическая инфраструктура, заставляя организации вкладываться в новую волну затрат на полную реорганизацию для обеспечения более динамических подходов к сетке данных (data mesh).
Тренд №7. NLP/Разговорная аналитика
К 2020 году 50 процентов аналитических запросов будут генерироваться с помощью поиска, обработки естественного языка (natural language processing (NLP)) или голоса, или же будут генерироваться автоматически. Необходимость анализировать сложные комбинации данных и делать аналитику доступной для всех в организации приведет к более широкому ее использованию, что позволит инструментам аналитики быть такими же легкими, как интерфейс поиска или разговор с виртуальным помощником.
Тренд №8 Коммерческий ИИ и ML
Gartner прогнозирует, что к 2022 году, 75% новых решений для конечных пользователей, в которых используются методы ИИ и ML, будут построены на коммерческих решениях, а не на платформах с открытым исходным кодом.
Коммерческие вендоры встраивают коннекторы в экосистему с открытым исходным кодом, тем самым предоставляя корпоративные функции, необходимые для масштабирования и демократизации ИИ и ML, такие как управление проектами и моделями, повторное использование, прозрачность, происхождение (lineage) данных, а также согласованность и интеграция с иными платформами, чего так не хватает открытым платформам.
Тренд №9: Блокчейн
Основная ценность блокчейна и распределенного реестра (distributed ledger technologies) заключается в обеспечении децентрализованного доверия в сети недоверенных участников. Появляется значительный потенциал вариантов использования аналитики, особенно тех, в которых фигурируют отношения и взаимодействия участников.
Однако, пройдет несколько лет, прежде чем четыре или пять основных блокчейн-технологий начнут доминировать. Пока это время не настанет, конечные пользователи технологий будут вынуждены подстраиваться под технологии и стандарты блокчейна, которые диктуются преобладающими клиентами или сетями. Это включает в себя интеграцию с существующей инфраструктурой данных и аналитики. Затраты на интеграцию могут превысить любую потенциальную выгоду. Блокчейн является источником данных, а не базой данных, и не заменяет существующие технологии управления данными.
Тренд №10. Серверы постоянной памяти
Новые технологии с использованием постоянной памяти (persistent-memory technologies) помогут снизить затраты и сложность внедрения архитектур с поддержкой вычислений в оперативной памяти (IMC). Постоянная память представляет собой новый уровень памяти между DRAM и NAND флэш-памятью, который может послужить экономичным запоминающим устройством для высокопроизводительных нагрузок. Он имеет определенный потенциал, который может быть использован для повышения производительности приложений, их доступности, времени загрузки, методов кластеризации и методов безопасности, сохраняя при этом затраты под контролем. Он также поможет организациям снизить сложность их прикладных программ и архитектур данных за счет снижения необходимости дублирования данных.
«Объем данных быстро растет, и актуальность преобразования обычных данных в ценные в режиме реального времени растет вместе с ним» — сказал Файнберг. «Новые серверные нагрузки требуют не просто более высокой производительности процессора, но и большего объема памяти и более быстрого сохранения данных.”
Более подробную информацию об использовании данных и аналитики для получения конкурентных преимуществ можно найти в Gartner Data & Analytics Insight Hub.
Саммит Gartner Data & Analytics
О Gartner
Gartner, Inc. является ведущей мировой научной консалтинговой компанией и членом S&P 500. Мы снабжаем лидеров бизнеса необходимыми данными, советами и инструментами для достижения их целей сегодня и создания успешных организаций завтра.
Наша непревзойденная комбинация экспертных, практических исследований данных помогает клиентам принимать правильные решения по наиболее важным вопросам. Мы являемся надежным консультантом и объективным ресурсом для более чем 15 000 организаций в более чем 100 странах — по всем основным функциям, в любой отрасли и для компаний любого размера.
Чтобы узнать больше о том, как мы помогаем людям, принимающим решения, строить будущее их бизнеса, посетите gartner.com.
На этом все. Пишите комментарии и до встречи на курсе!
