Граничные вычисления «Edge computing» — будущее индустрии
Граничные вычисления «Edge computing» — одна из самых важных технологических тенденций, которая, по мнению института Gartner, будет доминировать на рынке Интернета вещей (IoT) в этом году. С ростом популярности интеллектуальных устройств, подключенных к сети, а также развитием IoT, различные отрасли включая: производство, торговлю и автотранспорт начинают генерировать огромные объемы данных, целевым местом хранения которых являются серверы в «Облаке».
Согласно прогнозам глобальной исследовательской компании Markets & Markets, стоимость рынка Граничных вычислений «Edge computing» будет иметь годовой темп роста более 35% и возрастёт с 1,47 млрд. в 2017 году до 6,72 млрд. в 2022 году. В свою очередь, согласно отчету IDC FutureScape: Worldwide IoT 2017 Predictions, к 2019 году не менее 40% данных IoT будут храниться, обрабатываться и анализироваться с помощью граничных вычислений. Более того, количество интеллектуальных устройств будет расти из года в год, а использование искусственного интеллекта и машинного обучения позволит им непрерывно развиваться. Что такое Граничные вычисления «Edge computing»? — это одна из 10 стратегических технологических тенденций этого года
*Применительно к мобильной связи, чаще применяется термин Mobile Edge Computing (MEC). МЕС это своего рода аппаратурные (Hardware) решения для программных решений (Software) NFV (Network Functions Virtualization, виртуализация сетевых функций). Можно сказать, что МЕС является инфраструктурой для NFV. В данной статье мы созредоточимся на граничных вычислениях «Edge computing», но не стоит забывать что их работа не возможна без NFV.
Концепция граничной аналитики «Edge Analytics»
Концепция граничной аналитики «Edge Analytics» основана на сборе, обработке и анализе данных на периферийных устройствах сети, рядом с датчиками, сетевым коммутаторами или другими подключенным устройствами, т. е. рядом с источником информации и исполняемыми элементами, например на производстве. Сам термин «Edge Сomputing» означает, что часть работы происходит на самом конце сети, в том месте где в системах IoT мир физических объектов связывается с Интернетом. Однако граничные вычисления Edge Computing — это гораздо больше, чем просто расчет и обработка данных. Его основная функция — плавная интеграция периферийных устройств и облачных вычислений, а также двусторонний обмен информацией.
Решение подразумевающее граничные вычисления дают возможность анализировать ключевые данные в режиме реального времени «на месте», не отправляя их на центральный сервер. «Граница сети» («Edge») разделена, и включает в себя модули принятие решений и модули временного хранения тех данных, которые настолько незначительны, что нужны только сейчас и нет смысла их хранить и использовать их в будущем.
Согласно прогнозу Института Gartnera, 90% собранных данных на первых порах будут бесполезны, потому что компании не знают, как их правильно анализировать и использовать. Но эти данные могут очень пригодится в будещем для различных отраслей, в которых получение данных и реагирование на них в режиме реального времени имеет решающее значение для правильного функционирования. Эта будет критично для промышленных предприятий, для которых каждый час простоя может быть связан с потерями от нескольких сотен до даже нескольких миллионов евро, поэтому так важно, чтобы аналитики могли использовать потенциал данных, полученных с помощью устройств IoT.
Основные преимущества граничных вычислений «Edge computing»
Основными преимуществами решения «Edge computing», упоминаемыми экспертами, являются конфиденциальность, уменьшение задержек и минимизация проблем со связью. Для первого преимущества конфиденциальная информация предварительно обрабатывается на месте, и только данные, соответствующие политике конфиденциальности, передаются в облако для дальнейшего анализа. Второе преимущество, заключается в ограничении задержек и является наиболее часто упоминаемым преимуществом, связанным с использованием решений граничных вычислений Edge Computing. В настоящее время из-за огромного количества данных, отправляемых в облако, обрабатываемых там и передаваемых обратно на периферийные устройства, могут возникать задержки в получении выводов из анализа, что может иметь серьезные последствия для функционирования предприятия. В третьих, в случае Edge Computing, часть вычислений выполняется на периферийных устройствах, что не только снижает риск задержек, но и дает «потенциальную» гарантию того, что работа не будет прервана в случае ограниченного или прерывистого сетевого подключения. Это особенно важно, когда решения внедряются в труднодоступных местах, где охват сетями связи весьма ограничен.
Применение граничных вычислений «Edge computing» в промышленности
Концепция граничных вычислений Edge Computing играет значительную роль, среди прочего и в современной промышленности.
Реализация диагностических алгоритмов на периферийных устройствах позволяет осуществлять постоянный мониторинг и обнаружение отклонений от «нормальной» работы промышленных машин на основе автоматически запоминаемого рабочего профиля. Например, если данные от датчиков, подключенных к системе, укажут на риск потенциального отказа, благодаря их быстрой интерпретации с помощью аналитического алгоритма, эта информация будет передана тем, кто отвечает за поддержание движения на заводе. в форме сообщения о необходимости замены определенной детали
Благодаря использованию данных, полученных от датчиков, мы можем контролировать работу машин в режиме реального времени. Пограничные «Edge» устройства постоянно анализируют временные графики выбранных параметров и предупреждают о нарушениях. Поэтому мы можем реагировать на событие до того, как произойдет сбой или остановка всей производственной линии, что дает огромную экономию для промышленных предприятий.
Важным преимуществом граничных вычислений является масштабируемость. Передача аналитических алгоритмов интеллектуальным датчикам и сетевым устройствам снижает нагрузку сети на обрабатываемые данные. Благодаря этому, когда количество подключенных устройств, внедряемых организацией увеличивается, объем генерируемых данных растёт, вычислительное «облако» нагружается меньше, чем в случае сбора данных только в вычислительном «облаке».
Граничные вычисления «Edge computing» не являются альтернативой ЦОД
Хотя «Edge Computing» обладает огромным потенциалом, его не следует рассматривать как альтернативу централизованному анализу данных. Это подход, который должен дополнять или расширять аналитические возможности в конкретных ситуациях, особенно когда быстрая реакция на нарушения может быть чрезвычайно важна для функционирования и экономии бюджета компании. Хотя это не идеальное решение, потому что, собирая часть объема данных локально, мы можем опустить некоторую информацию в самом «облаке». С другой стороны, граничные вычисления «Edge Analytics» позволяют нам справляться с потоком огромных объемов данных, соответствующим образом анализировать их и быстро делать самые полезные выводы для бизнеса.
Интересуетесь Умным городом, Умными домами, IoT, 5G и технологиями будущего? Почитайте наши статьи:
Edge-ик в тумане и другие приключения периферийных вычислений
Меня зовут Игорь Хапов. Я руководитель разработки в Научно-техническом центре IBM. И сегодня я хотел бы вам помочь окунуться в мир периферийных вычислений, или edge computing, как его ещё называют. Я расскажу о том, что же такое edge computing и как он может повлиять на наш с вами мир. Также хотелось бы пояснить различия между edge computing и fog computing, какие преимущества даёт этот подход. В статье я также описал референсную архитектуру приложения на edge computing. И под конец немного расскажу о проекте с открытым исходным кодом Open Horizon, который совсем недавно присоединился к Linux Foundation.
Что же такое edge computing
Согласно определению Гартнера, edge computing — это подвид распределенных вычислений, в котором обработка информации происходит в непосредственной близости к месту, где данные были получены и будут потребляться. Это основное отличие edge computing от облачных вычислений, при которых информация собирается и обрабатывается в публичных или частных датацентрах. Основным отличием от локальных вычислений является то, что обычно edge computing — это часть большей системы, которая включает в себя сбор статистики, централизованное управление и удаленное обновление приложений на edge устройствах.
Что же такое edge устройство? Многие считают, что edge computing — это когда приложение работает на Raspberry Pi или других микрокомпьютерах. На самом деле edge computing может быть и на мобильных устройствах, персональных ноутбуках, умных камерах и других устройствах, на которых можно запустить приложение по обработке данных.
Edge computing и IoT
Довольно часто звучит вопрос — «Чем же отличается edge computing от IoT». IoT можно назвать дедушкой edge computing. IoT — это множество устройств, связанных между собой, и способных передавать информацию друг другу. А edge computing это скорее подход к организации вычислений и управлению edge устройствами. Как вы отлично понимаете, любое приложение необходимо обновлять, мониторить и осуществлять прочие обслуживающие функции. В результате edge computing подразумевает использование определенных подходов и фреймворков, о которых я расскажу чуть позже.
edge computing vs fog computing
Когда я однажды рассказал коллеге про edge computing, он ответил — ”так это же fog computing”. Давайте попробуем разобраться, в чём же разница. С одной стороны, edge computing и fog computing часто используются как синонимы, однако fog computing, или «туманные вычисления», все-таки немного отличаются.
И edge computing, и fog computing — это вычисления, которые находятся в непосредственной близости к получаемым данным. Различие заключается в том, что при туманных вычислениях обработка осуществляется на устройствах, которые постоянно подключены к сети. В edge computing вычисления осуществляются как на сенсорах, умных устройствах – без передачи на уровень gateway, так и на уровне gateway и на микрокластерах.
Для меня было открытием, что edge computing может работать в кластерах Kubernetes или OpenShift. Оказывается, что существует достаточно много задач, где кроме оконечных устройств необходимо выполнять обработку информации в локальном кластере и передавать в централизованные дата центры только результирующие данные. И такие вычисления — тоже edge computing.
Преимущества и недостатки edge computing
При выборе технологий для своего проекта я в первую очередь основываюсь на двух критериях — «Что я от этого получу?» и «Какие проблемы я от этого получу?».
Начнём с преимуществ:
Хотя, конечно, проектируя систему с edge computing, не стоит забывать, что как и любую другую технологию её стоит использовать в зависимости от требований к системе, которую вам необходимо реализовать.
Среди недостатков edge computing можно выделить следующие:
С одной стороны, последний пункт является наиболее критичным, но, к счастью, консорциум Linux Foundation Edge (LF EDGE) включает в себя всё больше и больше проектов с открытым исходным кодом, а их зрелость стремительно растет.
Принципы компании IBM при создании платформы edge computing
Компания IBM, являясь одним из лидеров в области гибридных облаков, использует определённые принципы при разработке решений для edge computing:
IBM применяет эти принципы при декомпозиции задачи построения фреймворка edge computing.
Как вы можете видеть, всё решение разбито на 4 сегмента использования:
Помимо основных принципов и подходов, IBM разработала референсную архитектуру для решений, основанных на edge computing. Референсная архитектура — это шаблон, показывающий основные элементы системы и детализированный настолько, чтобы иметь возможность адаптировать его под конкретное решение для заказчика. Давайте рассмотрим такую архитектуру более подробно.
Референсная архитектура edge computing
Edge devices
В первую очередь, у нас есть какое-либо встроенное или дискретное edge-устройство, к которому подключены сенсоры, датчики или управляющие механизмы, например, для координации движения роборуки. Из сервисов/данных на таком устройстве могут находиться:
Hybrid multicloud
Если мы говорим об использовании ML-модели, которая будет запускаться на десятках или тысячах устройств, то нам необходимо облако, которое сможет отвечать за обучение такой модели, обработку статистики, отображение сводной информации (правая часть архитектуры).
Edge server and Edge micro data center
Как мы уже говорили, можно встретить промежуточные (близкие) кластеры обработки данных на уровне шлюзов или микро-датацентров с установленной поддержкой кластерных технологий.
Edge framework
Когда мы осознаем, что есть необходимость в управлении большим количеством сервисов на тысячах устройств и сотнями приложений в разных кластерах, наступает понимание, что надо бы использовать какой-то фреймворк для управления всем этим зоопарком и синхронизации между устройствами.
Именно наличие данного фреймворка раскрывает преимущества edge computing перед разнородными разнесёнными вычислениями.
Как мы видим, кроме центральной части по управлению сервисами и моделями в данном фреймворке присутствуют агенты, обеспечивающие контроль за управлением жизненным циклом сервисов на устройствах/кластерах на каждом из уровней использования.
Open Horizon и IBM Edge Application Manager
Именно для решения задач в области edge computing IBM разработала и выложила в open-source проект Open Horizon. Если вы помните, один из принципов, которые IBM заложила в edge computing – все компоненты должны быть основаны на open source технологиях. В мае 2020 года проект Open Horizon вошел в Linux Foundation Edge — Международный фонд open-source технологий для созданий edge-решений. Также Open Horizon является ядром нового продукта от RedHat и IBM — IBM Edge Application Manager, решения для управления приложениями на всех устройствах edge computing: от Raspberry Pi до промежуточных кластеров обработки данных.
Несмотря на то, что проект Open Horizon вошел в консорциум только в мае, он уже достаточно давно развивается как open-source проект. И мы в Научно-техническом центре IBM не только успели его попробовать, но и довести свое решение до промышленного использования. О том, как мы разрабатывали проект с использованием edge computing, и что у нас получилось — будет отдельная статья, которая выйдет в ближайшие несколько недель.
Сценарии использования
С одной стороны, edge computing framework — это специализированное решение для определённого круга задач, но оно нашло применение во многих индустриях.
В своё время, когда я изучал работу московских камер “Стрелка”, я понял, что это в чистом виде edge computing, с вычислениями «прямо на столбе» и промежуточной обработкой данных в раздельных вычислительных кластерах у различных ведомств.
Сценарии нашлись в финансовом секторе, в продажах при самообслуживании, в медицине и секторе страхования, торговле и конечно при производстве. Именно в создании решения для автоматизации и оценки качества произведённого оборудования, основанного на edge computing, мне с коллегами из Научно-технического центра IBM и посчастливилось принять участие. И на своем опыте попробовать, как создаются решения edge computing.
Если Вас заинтересовала данная тематика, следите за обновлениями в хабраблоге компании IBM и смотрите видео в разделе Ссылки. Наши зарубежные коллеги к настоящему моменту уже осветили многие технические вопросы и описали, какие сценарии уже работают и применяются в различных отраслях.
edge analytics
Edge analytics is an approach to data collection and analysis in which an automated analytical computation is performed on data at a sensor, network switch or other device instead of waiting for the data to be sent back to a centralized data store.
Analyzing data as it’s generated can also decrease latency in the decision-making process on connected devices. For example, if sensor data from a manufacturing system points to the likely failure of a specific part, business rules built into the analytics algorithm interpreting the data at the network edge can automatically shut down the machine and send an alert to plant managers so the part can be replaced. That can save time compared to transmitting the data to a central location for processing and analysis, potentially enabling organizations to reduce or avoid unplanned equipment downtime.
This article is part of
Download this entire guide for FREE now!
One of the most common use cases for edge analytics is monitoring edge devices. This is particularly true for IoT devices. A data analytics platform might be deployed for the purpose of monitoring a large collection of devices for the purpose of making sure that the devices are functioning normally. If a problem does occur, an edge analytics platform might be able to take corrective action automatically. If automatic remediation isn’t possible, then the platform might instead provide the IT staff with actionable insights that will help them to fix the problem.
Edge analytics delivers several compelling benefits:
Like any other technology, edge analytics has its limits. Those limitations include:
Edge analytics tend to be most useful in industrial environments that use many IoT sensors. In such environments, edge analytics can deliver benefits such as:
Edge computing is based on the idea that data collection and data processing can be performed near the location where the data is either being created or consumed. Edge analytics uses these same devices and the data that they have already produced. An analytics model performs a deeper analysis of the data than what was initially performed. These analytics capabilities enable the creation of actionable insights, often directly on the device.
Both cloud analytics and edge analytics are techniques for gathering relevant data and then using that data to perform data analysis. The key difference between the two is that cloud analytics requires raw data to be transmitted to the cloud for analysis.
Related Terms
Focus the role of data analytics in IoT on actionable insights
How to implement edge computing in 5 steps
Top experts and skills needed for IoT success
2 IoT technology trends reshape the edge
Think you’re ready for the AWS Certified Solutions Architect certification exam? Test your knowledge with these 12 questions, and.
Amazon said its van monitoring system is designed solely for driver safety. But many industry experts have concerns regarding the.
Amazon would like to strengthen its global footprint, but the e-commerce giant faces roadblocks and challenges today that did not.
SuccessFactors Opportunity Marketplace’s core functionality is providing recommendations for employees, such as a training course.
Google Analytics Edge
Вторая часть главы из моего электронного руководства Google Analytics 2019: Tutorial Book (скачать можно на главной странице), которая посвящена визуализации данных — тренду последних нескольких лет.
Google Analytics Edge позволяет импортировать данные из Google Analytics в Microsoft Excel, и работать с ними привычным способом.
У продукта есть и другие коннекторы (Google Ads, Google Search Console, Facebook Ads, Bing Ads), но нас интересует именно Google Analytics Edge. Переходим к скачиванию надстройки на сайте.
Install Basic Add-in
После установки в Excel у вас появится новая вкладка Analytics Edge:
Новая вкладка в Excel
Далее нам необходимо зарегистрироваться и активировать бесплатную лицензию. Для этого нажимаем на Register:
Затем принимаем пользовательское соглашение:
На следующем шаге активируем продукт по кнопке Active Free License:
Activate Free License
В случае успешной активации вы получите такое уведомление:
На вкладке License нам показывают какие у нас есть активированы инструменты и до какого года они доступны бесплатно. Free Google Analytics – до 1 января 2038 года.
Теперь при каждом заходе в Excel на вкладке Analytics Edge вы будете видеть значок активированной лицензии:
Первый этап завершен. Теперь добавим аккаунт Google Analytics, из которого хотим загружать данные. Для этого переходим в Free Google Analytics – Accounts.
Free Google Analytics – Accounts
В открывшемся окне Analytics Accounts в поле Reference name вводим название аккаунта от Google Analytics (почта Gmail) и нажимаем Add Account:
Добавление аккаунта через Reference name
Откроется окно, в котором необходимо ввести логин, пароль от аккаунта и разрешить приложению analyticsedge.com доступ:
После этого данный аккаунт отобразиться в списке Saved Google Analytics Logins, а при его выборе в полях ниже станут доступны все ваши аккаунты этой учетной записи:
Все аккаунты в Saved Google Analytics Logins
С помощью кнопки Make Default вы можете выбрать аккаунт, ресурс и представление по умолчанию, то есть тот проект, который вы будете использовать для работы и выгрузки данных на следующем шаге.
Закрываем диалоговое окно с помощью Cancel и идем в следующий раздел Free Google Analytics – Analytics Reporting, чтобы импортировать данные из Google Analytics.
Все аккаунты в Saved Google Analytics Logins
Откроется диалоговое окно с различными вкладками:
На вкладке Reports есть возможность выбора определенных метрик для кастомизированной выгрузки данных. В противном случае вы можете воспользоваться стандартными отчетами, что мы, собственно, и сделаем.
Вкладка Views позволяет выбрать аккаунт, ресурс и представление Google Analytics.
По умолчанию будут выбраны те настройки, которые мы указали на предыдущем шаге с помощью кнопки Make Default. Если представление не было выбрано, то из всех связанных аккаунтов будет выбрано первое по ID представление.
На вкладке Segments доступны все сегменты Google Analytics выбранного представления:
Сопоставление сегментов в Analytics Edge и Google Analytics
При выборе любого из них, например, yandex / cpc, в диалоговом окне справа будет определение сегмента в виде специальной конструкции:
sessions::condition::ga:sourceMedium==yandex / cpc;ga:goal1Completions>0
Он состоит из названия пространства имен (ga:), параметров и показателей (metrics & dimensions), разделенных запятой, которые представлены здесь, а также фильтра равно (==) и достигнутой цели 1, по условию >0. Все метрики в запросе разделяются запятой между собой. Подробнее об этом поговорим чуть ниже.
Если созданных сегментов недостаточно, вы можете в интерфейсе Excel создать свой собственный через DYNAMIC.
Настройки сегментов в Google Analytics Edge максимально приближены к интерфейсу Google Analytics. Сходство очевидно:
Создание сегмента – сравнение в Analytics Edge и Google Analytics
Вкладка Fields отвечает за выбор параметров (dimensions) и показателей (metrics).
Одновременно можно импортировать 7 параметров (dimensions, зеленые в Analytics) и 10 показателей (metrics, синие в Analytics). Давайте на реальном примере сделаем это. Выгрузим данные из Google Analytics стандартного отчета «Источник/канал» без каких-либо фильтров и сегментов за последние 7 дней, чтобы получилось следующее:
Будем выгружать отчет «Источник/канал»
Чтобы нам это сделать, необходимо знать, как называются параметры и показатели в API Google Analytics. Для этого переходим по ссылке и в соответствующих группах выбираем (ищем) нужные. У нас это будет 1 параметр (Источник или канал) и 9 показателей:
Добавляем эти метрики на вкладке Fields.
Добавление метрик в Analytics Edge
Не забываем, что параметры и показатели имеют разные области действия, и они не всегда могут сочетаться друг с другом. При выборе необходимых показателей и параметров часть пунктов в списке полей будет окрашено серым. Это означает, что данное поле не совместимо с выбранными вами ранее параметрами и показателями.
Перед выбором соответствующих метрик можно обновить все поля, что доступны в представлении выбранного ресурса. Для этого нажмите кнопку Update слева снизу:
На вкладке Filters можно наложить на выгружаемые данные пользовательский фильтр. Например, выбрать показатель Date (дата) и задать конкретный день (Exact Match – точное соответствие).
При такой настройке у нас отфильтруются все данные, кроме 7 декабря 2018 года. Мы же к своей выгрузке никаких фильтров применять не будем, поэтому просто переходим к разбору следующей вкладки.
Вкладка Dates позволяет указать период, за которой вы планируете выгрузить данные из Google Analytics.
Задать диапазон дат можно с помощью нескольких способов:
Выбрав период из выпадающего списка, например, LAST_7_DAYS, при каждом обновлении отчета данные будут выводиться именно за последние 7 дней, то есть всегда сдвигаться, без привязки к дате начала.
Можно указать статическую конечную дату отчета (End of). Для нашего примера мы выбираем Preset и LAST_7_DAYS.
На вкладке Sort/Count можно задать порядок сортировки данных по одному из выбранных параметров или показателей. Кнопка Ascending –по возрастанию, Descending – по убыванию.
В стандартных отчетах Google Analytics сортировка осуществляется по убыванию первого столбца в таблице. В отчете «Источник/канал» это «Пользователи». Поэтому выбираем Sort – Users и нажимаем Descending.
Опция Max results ограничивает выводимое количество строк на листе в Excel. Как вы уже знаете, в интерфейсе Google Analytics по умолчанию в отчетах выводится 10 строк на странице, но мы можем расширить их количество до 5000. Иногда бывает, что «большие» запросы требуют более длительного времени на их обработку. Чтобы лимитировать количество строк, укажите значение, отличное от 0, поскольку 0 – это отсутствие лимита, данные будут выгружены все.
Последняя вкладка в Google Analytics Edge – это Options. Она отвечает за формат передачи данных в Excel, а именно:
Опции Sampled data:
Дополнительные настройки сэмплов
Подробнее о том, что такое сэмплирование, читайте в соответствующей главе руководства.
Все, что осталось сделать, это нажать на кнопку Finish. В результате мы получили такую таблицу:
Импортированные данные в Excel
Contains Sampled Data – false означает, что в данном запросе не было сэмплированных данных. Отформатировав таблицу и удалив все лишнее, убедимся, что данные из Google Analytics выгружены верно:
Сравнение данных из отчета Google Analytics и импортированных в Excel
