Что такое Big Data простыми словами? Применение и перспективы больших данных
Через 10 лет мир перейдет в новую эпоху — эпоху больших данных. Вместо виджета погоды на экране смартфона, он сам подскажет вам, что лучше одеть. За завтраком телефон покажет дорогу, по которой вы быстрее доберетесь до работы и когда нужно будет выехать.
Под влиянием Big Data изменится все, чего бы не коснулся человек. Разберемся, что это такое, а также рассмотрим реальное применение и перспективы технологии.
Навигация по материалу:
Что такое Big data?
Большие данные — технология обработки информации, которая превосходит сотни терабайт и со временем растет в геометрической прогрессии.
Такие данные настолько велики и сложны, что ни один из традиционных инструментов управления данными не может их хранить или эффективно обрабатывать. Проанализировать этот объем человек не способен. Для этого разработаны специальные алгоритмы, которые после анализа больших данных дают человеку понятные результаты.
В Big Data входят петабайты (1024 терабайта) или эксабайты (1024 петабайта) информации, из которых состоят миллиарды или триллионы записей миллионов людей и все из разных источников (Интернет, продажи, контакт-центр, социальные сети, мобильные устройства). Как правило, информация слабо структурирована и часто неполная и недоступная.
Как работает технология Big-Data?
Пользователи социальной сети Facebook загружают фото, видео и выполняют действия каждый день на сотни терабайт. Сколько бы человек не участвовало в разработке, они не справятся с постоянным потоком информации. Чтобы дальше развивать сервис и делать сайты комфортнее — внедрять умные рекомендации контента, показывать актуальную для пользователя рекламу, сотни тысяч терабайт пропускают через алгоритм и получают структурированную и понятную информацию.
Сравнивая огромный объем информации, в нем находят взаимосвязи. Эти взаимосвязи с определенной вероятностью могут предсказать будущее. Находить и анализировать человеку помогает искусственный интеллект.
Нейросеть сканирует тысячи фотографий, видео, комментариев — те самые сотни терабайт больших данных и выдает результат: сколько довольных покупателей уходит из магазина, будет ли в ближайшие часы пробка на дороге, какие обсуждения популярны в социальной сети и многое другое.
Методы работы с большими данными:
Машинное обучение
Вы просматриваете ленту новостей, лайкаете посты в Instagram, а алгоритм изучает ваш контент и рекомендует похожий. Искусственный интеллект учится без явного программирования и сфокусирован на прогнозировании на основе известных свойств, извлеченных из наборов «обучающих данных».
Машинное обучение помогает :
Анализ настроений
Анализ настроений помогает :
Анализ социальных сетей
Анализ социальных сетей впервые использовали в телекоммуникационной отрасли. Метод применяется социологами для анализа отношений между людьми во многих областях и коммерческой деятельности.
Этот анализ используют чтобы :
Изучение правил ассоциации
Люди, которые не покупают алкоголь, берут соки чаще, чем любители горячительных напитков?
Изучение правил ассоциации — метод обнаружения интересных взаимосвязей между переменными в больших базах данных. Впервые его использовали крупные сети супермаркетов для обнаружения интересных связей между продуктами, используя информацию из систем торговых точек супермаркетов (POS).
С помощью правил ассоциации :
Анализ дерева классификации
Статистическая классификация определяет категории, к которым относится новое наблюдение.
Статистическая классификация используется для :
Генетические алгоритмы
Генетические алгоритмы вдохновлены тем, как работает эволюция, то есть с помощью таких механизмов, как наследование, мутация и естественный отбор.
Генетические алгоритмы используют для :
Регрессионный анализ
Как возраст человека влияет на тип автомобиля, который он покупает?
На базовом уровне регрессионный анализ включает в себя манипулирование некоторой независимой переменной (например, фоновой музыкой) чтобы увидеть, как она влияет на зависимую переменную (время, проведенное в магазине).
Регрессионный анализ используют для определения:
Data Mining — как собирается и обрабатывается Биг Дата
Загрузка больших данных в традиционную реляционную базу для анализа занимает много времени и денег. По этой причине появились специальные подходы для сбора и анализа информации. Для получения и последующего извлечения информацию объединяют и помещают в “озеро данных”. Оттуда программы искусственного интеллекта, используя сложные алгоритмы, ищут повторяющиеся паттерны.
Хранение и обработка происходит следующими инструментами :
Реальное применение Big Data
Самый быстрый рост расходов на технологии больших данных происходит в банковской сфере, здравоохранении, страховании, ценных бумагах и инвестиционных услугах, а также в области телекоммуникаций. Три из этих отраслей относятся к финансовому сектору, который имеет множество полезных вариантов для анализа Big Data: обнаружение мошенничества, управление рисками и оптимизация обслуживания клиентов.
Банки и компании, выпускающие кредитные карты, используют большие данные, чтобы выявлять закономерности, которые указывают на преступную деятельность. Из-за чего некоторые аналитики считают, что большие данные могут принести пользу криптовалюте. Алгоритмы смогут выявить мошенничество и незаконную деятельность в крипто-индустрии.
Благодаря криптовалюте такой как Биткойн и Эфириум блокчейн может фактически поддерживать любой тип оцифрованной информации. Его можно использовать в области Big Data, особенно для повышения безопасности или качества информации.
Например, больница может использовать его для обеспечения безопасности, актуальности данных пациента и полного сохранения их качества. Размещая базы данных о здоровьи в блокчейн, больница обеспечивает всем своим сотрудникам доступ к единому, неизменяемому источнику информации.
Также, как люди связывают криптовалюту с волатильностью, они часто связывают большие данные со способностью просеивать большие объемы информации. Big Data поможет отслеживать тенденции. На цену влияет множество факторов и алгоритмы больших данных учтут это, а затем предоставят решение.
Перспективы использования Биг Дата
Blockchain и Big Data — две развивающиеся и взаимодополняющие друг друга технологии. С 2016 блокчейн часто обсуждается в СМИ. Это криптографически безопасная технология распределенных баз данных для хранения и передачи информации. Защита частной и конфиденциальной информации — актуальная и будущая проблема больших данных, которую способен решить блокчейн.
Аналитика Big Data будет важна для отслеживания транзакций и позволит компаниям, использующим блокчейн, выявлять скрытые схемы и выяснять с кем они взаимодействуют в блокчейне.
Рынок Big data в России
Весь мир и в том числе Россия используют технологию Big Data в банковской сфере, услугах связи и розничной торговле. Эксперты считают, что в будущем технологию будут использовать транспортная отрасль, нефтегазовая и пищевая промышленность, а также энергетика.
Аналитики IDC признали Россию крупнейшим региональным рынком BDA. По расчетам в текущем году выручка приблизится к 1,4 миллиардам долларов и будет составлять 40% общего объема инвестиций в секторе больших данных и приложений бизнес-аналитики.
Где можно получить образование по Big Data (анализу больших данных)?
GeekUniversity совместно с Mail.ru Group открыли первый в России факультет Аналитики Big Data.
Для учебы достаточно школьных знаний. У вас будут все необходимые ресурсы и инструменты + целая программа по высшей математике. Не абстрактная, как в обычных вузах, а построенная на практике. Обучение познакомит вас с технологиями машинного обучения и нейронными сетями, научит решать настоящие бизнес-задачи.
После учебы вы сможете работать по специальностям:
Особенности изучения Big Data в GeekUniversity
Через полтора года практического обучения вы освоите современные технологии Data Science и приобретете компетенции, необходимые для работы в крупной IT-компании. Получите диплом о профессиональной переподготовке и сертификат.
Обучение проводится на основании государственной лицензии № 040485. По результатам успешного завершения обучения выдаем выпускникам диплом о профессиональной переподготовке и электронный сертификат на портале GeekBrains и Mail.ru Group.
Проектно-ориентированное обучение
Обучение происходит на практике, программы разрабатываются совместно со специалистами из компаний-лидеров рынка. Вы решите четыре проектные задачи по работе с данными и примените полученные навыки на практике. Полтора года обучения в GeekUniversity = полтора года реального опыта работы с большими данными для вашего резюме.
Наставник
В течение всего обучения у вас будет личный помощник-куратор. С ним вы сможете быстро разобраться со всеми проблемами, на которые в ином случае ушли бы недели. Работа с наставником удваивает скорость и качество обучения.
Основательная математическая подготовка
Профессионализм в Data Science — это на 50% умение строить математические модели и еще на 50% — работать с данными. GeekUniversity прокачает ваши знания в матанализе, которые обязательно проверят на собеседовании в любой серьезной компании.
GeekUniversity дает полтора года опыта работы для вашего резюме
В результате для вас откроется в 5 раз больше вакансий:
Для тех у кого нет опыта в программировании, предлагается начать с подготовительных курсов. Они позволят получить базовые знания для комфортного обучения по основной программе.
Поделитесь этим материалом в социальных сетях и оставьте свое мнение в комментариях ниже.
📊 Что такое Big Data простыми словами
О тенденция развития больших данных мы писали в статье « Почему Big Data так быстро развивается? ». В новой статье расскажем о применениях больших данных простыми словами.
Что такое большие данные?
Big Data – область, в которой рассматриваются различные способы анализа и систематического извлечения больших объемов данных. Она включает применение механических или алгоритмических процессов получения оперативной информации для решения сложных бизнес-задач. Специалисты по Big Data работают с неструктурированными данными, результаты анализа которых используются для поддержки принятия решений в бизнесе.
Источник
Одно из определений больших данных звучит следующим образом: «данные можно назвать большими, когда их размер становится частью проблемы». Такие объемы информации не могут быть сохранены и обработаны с использованием традиционного вычислительного подхода в течение заданного периода времени. Но насколько огромными должны быть данные, чтобы их можно было назвать большими? Обычно мы говорим о гигабайтах, терабайтах, петабайтах, эксабайтах или более крупных единицах измерения. Тут и возникает неправильное представление. Даже данные маленького объема можно назвать большими в зависимости от контекста, в котором они используются.
Например, почтовый сервер может не позволить отправить письмо с вложением на 100 мегабайт, или, допустим, у нас есть около 10 терабайт графических файлов, которые необходимо обработать. Используя настольный компьютер, мы не сможем выполнить эту задачу в течение заданного периода времени из-за нехватки вычислительных ресурсов.
Как классифицируются большие данные?
Выделим три категории:
Характеристики больших данных
Большие данные характеризуются четырьмя правилами (англ. 4 V’s of Big Data: Volume, Velocity, Variety, Veracity) :
Традиционный подход к хранению и обработке больших данных
По мере роста объема данных, становится сложнее ими управлять и тяжелее обрабатывать их с помощью традиционного подхода. К его основным недостаткам относятся:
Термины
Облачные Вычисления
Облачные вычисления или облако можно определить, как интернет-модель вычислений, которая в значительной степени обеспечивает доступ к вычислительным ресурсам. Эти ресурсы включают в себя множество вещей, вроде прикладного программного обеспечение, вычислительных ресурсов, серверов, центров обработки данных и т. д.
Прогнозная Аналитика
Технология, которая учится на опыте (данных) предсказывать будущее поведение индивидов с помощью прогностических моделей. Они включают в себя характеристики (переменные) индивида в качестве входных данных и производит оценку в качестве выходных. Чем выше объясняющая способность модели, тем больше вероятность того, что индивид проявит предсказанное поведение.
Описательная Аналитика
Описательная аналитика обобщает данные, уделяя меньше внимания точным деталям каждой их части, вместо этого сосредотачиваясь на общем повествовании.
Базы данных
Данные нуждаются в кураторстве, в правильном хранении и обработке, чтобы они могли быть преобразованы в ценные знания. База данных – это механизм хранения, облегчающий такие преобразования.
Хранилище Данных
Хранилище данных определяется как архитектура, которая позволяет руководителям бизнеса систематически организовывать, понимать и использовать свои данные для принятия стратегических решений.
Бизнес-аналитика
Apache Hadoop
Apache Hadoop – это фреймворк с открытым исходным кодом для обработки больших объемов данных в кластерной среде. Он использует простую модель программирования MapReduce для надежных, масштабируемых и распределенных вычислений.
Apache Spark
Apache Spark – это мощный процессорный движок с открытым исходным кодом, основанный на скорости, простоте использования и сложной аналитике, с API-интерфейсами на Java, Scala, Python, R и SQL. Spark запускает программы в 100 раз быстрее, чем Apache Hadoop MapReduce в памяти, или в 10 раз быстрее на диске. Его можно использовать для создания приложений данных в виде библиотеки или для выполнения специального анализа в интерактивном режиме. Spark поддерживает стек библиотек, включая SQL, фреймы данных и наборы данных, MLlib для машинного обучения, GraphX для обработки графиков и потоковую передачу.
Интернет вещей
Интернет вещей (IoT) – это растущий источник больших данных. IoT – это концепция, позволяющая осуществлять интернет-коммуникацию между физическими объектами, датчиками и контроллерами.
Машинное Обучение
Машинное обучение может быть использовано для прогностического анализа и распознавания образов в больших данных. Машинное обучение является междисциплинарным по своей природе и использует методы из области компьютерных наук, статистики и искусственного интеллекта. Основными артефактами исследования машинного обучения являются алгоритмы, которые облегчают автоматическое улучшение на основе опыта и могут быть применены в таких разнообразных областях, как компьютерное зрение и интеллектуальный анализ данных.
Интеллектуальный Анализ Данных
Интеллектуальный анализ данных – это применение специфических алгоритмов для извлечения паттернов из данных. В интеллектуальном анализе акцент делается на применении алгоритмов в ходе которых машинное обучение используются в качестве инструмента для извлечения потенциально ценных паттернов, содержащихся в наборах данных.
Источник
Где применяются большие данные
Аналитика больших данных применяется в самых разных областях. Перечислим некоторые из них:
Что такое «Big Data»?
Термин «большие данные» или «big data» начал набирать популярность с 2011 года. Сегодня его хотя бы раз слышал каждый. Проблема в том, что часто понятие используют не по определению. Поэтому давайте подробно разберемся, что это такое.
С развитием технологий количество данных стало увеличиваться в геометрической прогрессии. Традиционные инструменты перестали покрывать потребность в обработке и хранении информации. Для обработки данных, объем которых превышает сотни терабайт и постоянно увеличивается, были созданы специальные алгоритмы. Их принято называть «big data».
Сегодня информация собирается огромными объемами из разных источников: интернет, контакт-центры, мобильные устройства и т.д. Чаще всего такие данные не имеют четкой структуры и упорядоченности, поэтому человек не может использовать их для какой-либо деятельности. Для автоматизации анализа применяют технологии «big data».
Когда появились первые большие данные?
Большие данные появились в 60-70 годах прошлого столетия вместе с первыми ЦОД (центры обработки данных). В 2005 году компании начали понимать масштабы создаваемого контента пользователями интернет-сервисов (Facebook, YouTube и др.). Тогда же начала работу первая платформа, предназначенная для взаимодействия с большими наборами данных, — Hadoop. Сегодня она представляет собой большой стек технологий для обработки информации. Чуть позже популярность начала набирать NoSQL — совокупность методов для создания систем управления большими данными.
Объем генерируемой информации стал увеличиваться с появлением крупных интернет-сервисов. Пользователи загружают фотографии, просматривают контент, ставят «лайки» и т.п. Вся эта информация собирается в больших объемах для дальнейшего анализа, после которого можно вносить улучшения в работу сервисов. Например, социальные сети используют большие данные для показа пользователям релевантной рекламы (то есть той, которая соответствует их потребностям и интересам) в таргете. Это позволяет соцсетям продавать бизнесу возможность проведения точных рекламных кампаний.
Основные свойства больших данных
В самом начале статьи мы определили три основных свойства больших данных из общепринятого определения. Давайте раскроем их более подробно:
Как с ними работают?
Большие данные несут в себе много полезной информации, на основе которой компании создают новые возможности и формируют бизнес-модели. Работа с большими данными делится на 3 этапа: интеграция, управление и анализ.
На этом этапе компания интегрирует в свою работу технологии и системы, позволяющие собирать большие объемы информации из разных источников. Внедряются механизмы обработки и форматирования данных для упрощения работы аналитиков с «big data».
Полученные данные нужно где-то хранить, этот вопрос решается до начала работы с ними. Решение принимается на основе множества критериев, главными из которых считаются предпочтения по формату и технологии обработки. Как правило, для хранения компании используют локальные хранилища, публичные или частные облачные сервисы.
Большие данные начинают приносить пользу после анализа. Это заключительный этап взаимодействия с ними. Для этого применяют машинное обучение, ассоциацию правил обучения, генетические алгоритмы и другие технологии. После анализа данных остается только самое ценное для бизнеса.
Примеры использования больших данных
В общих чертах с «big data» разобрались. Но остался важный вопрос — где их можно применять практически? Ответ: в любой сфере деятельности, которая оперирует необходимыми для анализа данными. Давайте рассмотрим несколько реальных примеров. Это позволит лучше понять, для чего нужны большие данные и как от них можно получить пользу.
В российской банковской сфере большие данные первым начал использовать «Сбербанк». На основе «big data» и биометрической системы в 2014 году они разработали систему идентификации личности клиента по фотографии. Принцип работы очень простой: сравнение текущего снимка с фотографией из базы, которую делают сотрудники при выдаче банковской карты. Новая система сократила случаи мошенничества в 10 раз.
Сегодня «Сбербанк» продолжает использовать большие данные в работе: сбор и анализ информации позволяет управлять рисками, бороться с мошенничеством, оценивать кредитоспособность клиентов, управлять очередями в отделениях и многое другое.
Еще один пример из российского банковского сектора — ВТБ24. Внедрять «big data» компания начала чуть позже «Сбербанка». Сегодня они используют большие данные для сегментации и управления оттоком клиентов, формирования финансовой отчетности, анализа отзывов в интернете и многого другого.
«Альфа-Банку» большие данные помогают контролировать репутацию бренда в интернете, оценивать кредитоспособность новых клиентов, персонализировать контент, управлять рисками и т.п.
Большие данные в бизнесе
Многие ошибочно полагают, что работа с большими данными актуальна только для банковского сектора и ИТ-компаний. Это опровергает пример «Магнитогорского металлургического комбината», который разработал сервис «Снайпер» для снижения расходов сырья в производстве. Технология собирает большие объемы информации, анализирует их и дает рекомендации по оптимизации расходов материалов.
«Сургутнефтегаз» использует специальную систему для отслеживания основных бизнес-процессов в режиме реального времени. Это помогает в автоматизации учета продукции, ценообразовании, обеспечении персонала нужными данными и т.п.
Big Data в маркетинге
Маркетологи используют большие данные для прогнозирования результатов рекламных кампаний. Также анализ помогает в определении наиболее заинтересованной аудитории. Яркий пример «big data» в маркетинге — Google Trends. В систему поступает огромное количество данных, а после анализа пользователь может оценить сезонность того или иного товара (работы, услуги).
Сложности при использовании
Где есть большие возможности, там поджидают и большие трудности. Это правило не обошло стороной big data.
Первая сложность, с которой сталкиваются компании, — большие данные занимают много места. Да, технологии хранения постоянно улучшаются, но при этом и объем данных неуклонно растет (в среднем в два раза каждые два года).
Приобретение огромного хранилища не решает всех проблем. От простого хранения данных толку не будет, с ними нужно работать для получения выгоды. Отсюда вытекает другая сложность — налаживание обработки получаемых больших данных.
Сейчас аналитики тратят 50-80% рабочего времени для приведения информации в приемлемый для клиента вид. Компаниям приходится нанимать больше специалистов, что увеличивает расходы.
И еще одна проблема — стремительное развитие больших данных. Регулярно появляются новые инструменты и сервисы для работы (например, Hbase). Бизнесу приходится тратить много времени и средств, чтобы «быть в тренде» и не отставать от развития.
Таким образом, big data — это совокупность технологий обработки больших объемов информации (сотни терабайтов и более) и сегодня мало кто отрицает их важность в будущем. Их популярность будет расти и распространение в бизнесе увеличиваться. Впоследствии разработают технологии по автоматизации анализа и с big data будут работать не только крупные компании, но и средние с маленькими.
Где применяются технологии Big Data уже сегодня?
Ежедневно в мире создаётся 2,5 квинтиллиона байтов новых данных — это десять миллионов Blu-Ray-дисков общим весом в четыре Эйфелевы башни.
С ростом количества гаджетов, развитием пропускной возможности сотовых и проводных сетей и появлением всё новых информационных технологий, объём экономики данных растёт по экспоненте. А вместе с ней — и возможности, которые работа с большими данными открывает. Работа с биг датой меняет на глазах абсолютно каждую сферу человеческой активности — от развлечений до здравоохранения, от безопасности до продуктов питания.
Сейчас, когда значительная часть человечества в той или иной форме на карантине, самоизоляции, а то и в ситуации экономической неопределённости, самое время взглянуть на то, какую роль большие данные уже играют в нашей жизни, а главное — какую роль они будут играть в ближайшем будущем.
Контент и развлечения
Большие данные определяют не только какой фильм или сериал вам предложить посмотреть следующим, но и какие фильмы для вас снимать. Голливуд уже вплотную приблизился к применению биг даты при написании сценариев и кастинге актёров, но пока находится только в начале пути.
«Только представьте, что будет, когда Голливуд по-настоящему начнёт пользоваться большими данными», — говорит Ричард Мараши, руководитель аналитики в IBM. Традиционная кино-индустрия, по словам Мараши, пользуется четверной моделью, деля аудиторию по полу и возрасту — моложе 25 и старше 25. Но это уже меняется. Большие данные позволяют делить аудиторию на небывало точные сегменты — вроде домохозяек из регионов, которым нравятся фильмы по комиксам.
И совершенно необязательно ограничиваться только сегментированием и анализом аудитории. Big Data позволяет работать таким образом и с самим контентом. К примеру, Netflix анализирует и сортирует свою огромную библиотеку контента по более, чем 70 тысячам характеристик.
Совмещение этих подходов — детализированного анализа как аудитории, так и контента, который она потребляет, открывает небывалые возможности по созданию нового контента. Это данные, которые производители фильмов, сериалов и игр по всему миру могут использовать при создании новых миров, написании новых сценариев и кастинге актёров.
Консультанты по сценариям, на голливудском сленге известные как Script Doctors, используют не только литературное образование, но и аналитику данных как от кассовых успехов, так и кассовых провалов, взвешивая инвестиционные риски отправляемых им студиями новых сценариев.
Вслед за кино и телеиндустрией большие данные меняют и мир музыки. Облачные сервисы, от эппловского iTunes до YouTube Music оперируют огромными массивами данных о пользовательских предпочтениях и привычках.
Знаете ли вы, например, что, по данным сервиса SoundCloud, средний возраст, когда люди перестают интересоваться новой музыкой — 33 года?
Впрочем, помимо занятных фактов для самокопания, большие данные открывают новые возможности и для бизнеса, позволяя быстрее находить новые дарования и давать им пропуск в мир больших звёзд.
По мнению многих аналитиков, цель дорогостоящей «покупки» как раз-таки доступ к данным многомиллионой аудитории слушателей шоу: их вкусам, интересам, предпочтениям и привычкам.
Спорт — ещё одно направление в мире развлечений, находящееся на пороге информационной революции. Футбольные команды в Великобритании «оказались замечены» в использовании умных датчиков для замера положения их игроков на поле и их пульса. Но это только начало: многие баскетбольные и бейсбольные команды анализируют данные видеозаписей и датчиков как своих игроков, так и команд-соперников, превращая поле битвы мышц и духа ещё и в поле боя данных.
Moneyball — это только начало
Данными сыт будешь: биг дата в сельском хозяйстве
Сенсоры и датчики, видеонаблюдение и носимые устройства становятся реальностью не только человеческой жизни, но и сельского хозяйства. The Climate Corporation, подразделение агрогиганта Monsanto ведёт работу с агрохолдингами, фермерскими хозяйствами и разработчиками софта для ретейла, объединяя их в единую мощную сеть Climate FieldView, основанную на больших данных. Climate FieldView даёт фермерам детализированную визуализацию процессов сельскохозяйственного производства, объединённую с данными о потребностями рынка продовольствия, которые позволяют им принимать эффективные информированные решения.
Фермерам доступны данные о погоде, состоянии почвы, влажности, созревании плодов, ходе роста и условиях для скота. Эта информация позволяет максимизировать и оптимизировать производство продукции под потребности рынка в реальном времени.
В Великую депрессию 1930-х годов фермерским хозяйствам зачастую приходилось уничтожать собранный хлеб и выливать надоенное молоко. С помощью технологий больших данных XXI веке подобных проблем можно будет избежать и нужды в таких драматичных мерах уже не останется.
Благодаря большим данным, интернету вещей и облачным технологиям более качественные продукты становятся доступны всё большему числу людей.
Торговля и реклама
Онлайн-шоппинг можно считать уже традиционным и предсказуемым способом применения больших данных. Компания Amazon была одним из пионеров использования больших данных в интернет-продажах, сравнивая покупки сделанные их пользователями, сравнивая их с тем, что покупали другие и пытаясь предсказать, что их клиенту может понадобиться или захочется приобрести следом. Сейчас эти технологии применяются практически в любом крупном интернет-магазине.
Онлайн-реклама — другое важное применение больших данных. Возможно, большие данные смогут «убить» рекламу в её привычном понимании. Ведь что люди обычно называют рекламой? Навязчивое информирование о чём-то ненужном. Но при этом у всех людей есть потребности и проблемы, на поиски решения для которых мы тратим огромное количество времени и сил. Реклама, отвечающая точно существующим потребностям пользователя — это уже не реклама, а полезный совет.
Но для того, чтобы дойти до такого уровня полезности (утратив по пути неприятную «рекламность») маркетологам нужно знать своих клиентов лучше, чем они знают сами себя. Бизнесы ищут своих покупателей и пытаются в буквальном смысле угадать их желания, основываясь на посещаемых ими сайтах, истории их покупок и поиска.
Результат этого будет немного парадоксальным: став, благодаря большим данным, интуитивной, реклама перестанет восприниматься как нечто негативное — просто окружающий мир станет восприниматься чуть-чуть добрее к людям, всегда готовый прийти на помощь и предложить именно то, что нужно или понадобится человеку здесь и сейчас или в обозримом будущем.
Геймификация — ещё один важный тренд современного маркетинга. Геймификация включает в повседневные, неигровые действия элементы игрового поведения, позволяя вовлекать людей в, казалось бы, не самые интересные процессы, побуждая их участвовать в них глубже и добиваться большего. Один из самых старых примеров геймификации — программы накопления лётных миль, призванные накапливать и удерживать постоянных клиентов авиакомпаний.
Чтобы делать программы лояльности эффективнее, компаниям нужно больше данных о потребностях и намерениях своих клиентов и их поведении. Зато, как результат, компании учатся предлагать своим клиентам не только то, что им нужно, но и в наиболее дружелюбной и увлекательной форме.
Безопасность
Приходилось ли вам когда-либо при попытке оплатить покупку онлайн картой получать звонок от службы безопасности вашего банка?
Разумеется, это положительный сигнал — ведь это означает, что службы безопасности действительно работают. Однако безопасность, какой бы желанной она ни была, имеет свою цену.
Как показал анализ поведения 20 миллионов держателей карт, в случае двух подобных инцидентов в течение полугода, когда транзакция, совершаемая пользователем, принималась за подозрительную, расходы с «подозрительной» карты в следующие шесть месяцев снижались, в среднем, на 15%, а каждый пятый держатель и вовсе переставал ей пользоваться.
Для бизнесов важно не только бороться со фродом, но и сделать эту борьбу как можно менее заметной для пользователей. Анализ больших данных с помощью машинного обучения позволяет создавать модели «добропорядочного» поведения пользователей, рассказывает Курт Лонг, основатель компании защиты данных FairWarning.
Чем больше данных — тем эффективнее сети ловят хищную рыбёшку, позволяя обычным пользователям наслаждаться безопасной навигацией в океане финансовых транзакций. Благодаря работе с биг датой, современные банки ловят не только мошеннические транзакции, но даже кражи личности до того, как они произойдут.
Впрочем, потребности людей в безопасности онлайном не ограничиваются. Работа с большими данными делает в прямом смысле улицы городов и дома безопаснее. Жители мегаполисов от Лондона до Москвы уже привыкли, что виртуальные полицейские через камеры приглядывают за происходящим буквально буквально на каждом углу.
Разумеется, это порождает много проблем нового времени, включая опасения о защите персональных данных и всевозможных злоупотреблениях. Но нельзя отрицать и того, что просто так напасть на мирного гражданина и скрыться в темноте теперь стало намного сложнее.
Будущее безопасности с использованием больших данных — предсказательный правопорядок. Не так, как в фильме «Особое мнение», конечно — куда масштабнее. И эффективнее.
«Прекрайм — это работает»
«Большой брат» помогает определить наиболее криминогенные районы, время и место повышенной криминальной угрозы — и предпринять все необходимые меры: от банального «полицейского на углу» до инвестиций в социалку и образование неблагополучных регионов.
Здоровье и медицина
В разгар пандемии коронавируса и вызванного экономического кризиса по всему миру эта тема особенно актуальна.
Биг дата уже обеспечила существенные прорывы в здравоохранении: сбор, обмен и изучение накопленных учёными и практикующими врачами данных двигает вперёд исследования, позволяет совершенствовать медицинскую разработку, диагностику, лечение и уход за пациентами. По всему миру, включая Россию, на смену толстым бумажным медицинским картам приходят цифровые облачные. Но сбор и обработка данных уже обратившихся за медицинской помощью — не самое главное изменение, которое работа с большими данными привносит в заботу о здоровье людей.
Лучшее лечение — это профилактика. И здесь работа с большими данными ведётся на двух больших фронтах: индивидуальном и государственном.
На индивидуальном уровне аккумуляция как данных исследователей, так и статистических данных носимых устройств позволяет отслеживать риски заболеваний и рекомендовать необходимые чекапы и физическую активность.
На уровне государства вклад и значение больших данных в здравоохранении ещё больше, позволяя отслеживать риск и угрозы для целых популяций, планируя развитие медицинской инфраструктуры и даже социальной и экономической политик.
Однако в разгар пандемии важность больших данных выросла на порядок.
Победить эпидемию, не дожидаясь, пока переболеет большая часть человечества, можно двумя путями: разработав вакцину или лекарство против коронавируса — или взяв под контроль его распространение.
В обоих случаях огромную роль играет работа с большими объёмами данных.
Разработка вакцины, потенциальный спрос на которую — миллиарды людей — очень масштабная задача, включающая в себя многие раунды клинических испытаний, начиная с небольших групп добровольцев до многих тысяч людей на финальных этапах испытаний. В ситуации пандемии это требует координации усилий лабораторий по всей планете, подразумевая обмен и обработку огромного количества данных.
Ещё важнее роль биг даты в контроле распространения коронавируса. Как показывает уже накопленный опыт, многие случаи вспышек связаны с супер-ивентами, когда массовое заражение началось в определённом месте или во время некого большого события. К примеру, последняя заметная вспышка заболеваний в Южной Корее была вызвана всего одним человеком, который, являясь бессимптомным носителем, за одни выходные тусовок в клубном квартале Сеула заразил сотни человек.
Поэтому многие страны мира, от Германии до Индии уже выпускают приложения, которые позволяют в том или ином виде отслеживать перемещение и социальные контакты пользователей, чтобы в случае обнаружения заболевания у одного из них вовремя предупредить о необходимости самоизоляции других людей.
Фактически, работа с большими данными позволяет сделать карантин умным, минимизируя последствия пандемии как для здоровья людей, так и для экономик.
Сложность, масштабность и длительность разработки вакцины, её вывода на рынок и вакцинирования миллиардов людей по всему миру означает, что угроза коронавируса не минует быстро. По прогнозам учёных, до массового вакцинирования ещё не меньше года. Но посадить экономику всего мира на самоизоляцию на год с лишним не получится. Умный карантин с контролем распространения вируса через работу с большими данными — главное, что поможет человечеству пережить время, оставшееся до появления эффективного средства борьбы уже с самим коронавирусом.
Физическое воплощение больших данных
Большие данные — это, в первую очередь, математика, но работа с ними не обязательно должна ограничиваться только абстрактным мышлением. Другие способы восприятия тоже могут помочь. Большие данные уже тесно связаны с другими мощными новинками: облачными технологиями, интернетом вещей, робототехникой, набирающими силу AR и VR-технологиями.
И визуализация больших данных — отдельное интересное направление работы с ними. На помощь здесь приходит технология 3D-печати. Вот, например, как выглядит визуализация клавиш по частоте использования:
Это, конечно, пока, в прямом смысле, игрушки. Но, как и у многих других технологий этого обзора, у них большое будущее.
А как вы думаете, какие применения у больших данных ещё впереди?
