Где и как применяются граничные серверы
При разработке сетевой инфраструктуры обычно рассматривают либо локальные вычисления, либо облачные. Но этих двух вариантов и их комбинаций мало. Например, что делать, если от облачных вычислений отказаться нельзя, а пропускной способности не хватает или трафик стоит слишком дорого?
Добавить промежуточное звено, которое выполнит часть вычислений на границе локальной сети или производственного процесса. Эта периферийная концепция называется Edge Computing — «граничные вычисления». Концепция дополняет текущую облачную модель использования данных, и в этой статье мы рассмотрим необходимое оборудование и примеры задач для него.
Уровни edge computing
Допустим, у вас дома установлена целая куча датчиков: термометр, гигрометр, датчик освещения, протечек и прочее. Логический контроллер обрабатывает поступающую от них информацию, реализует сценарии автоматизации, выдает облачному сервису обработанную телеметрию и получает от него обновленные сценарии автоматизации и свежие прошивки. Таким образом, непосредственно на объекте выполняются локальные вычисления, но оборудование контролируется из узла, объединяющего множество таких устройств.
Это пример очень простой системы граничных вычислений, но на нем уже видны все три уровня edge computing:
Особенности граничных серверов
На уровне периферийных узлов в Edge Computing используют граничные серверы, которые ставят непосредственно там, где производится информация. Обычно это производственные или технические помещения, в которых нельзя установить серверную стойку и обеспечить чистоту. Таким образом, граничные серверы выполняются в компактных пыле- и влагозащищенных корпусах с расширенным температурным диапазоном, их нельзя поставить в стойку. Да, такой сервер спокойно может висеть на двухстороннем скотче анкерах где-нибудь под лестницей или в подсобке.
Так как граничные серверы ставятся вне защищенных ЦОД, у них выше требования к физической безопасности. Для них предусматривают защитные контейнеры:
На уровне работы с данными в граничных серверах предусмотрено шифрование дисков и защищенная загрузка. Само шифрование отнимает 2-3% вычислительной мощности, но в граничных серверах обычно используют процессоры Xeon D со встроенным модулем ускорения AES, который минимизирует потери мощности.
Когда применяются граничные серверы
При Edge Computing в дата-центр поступают на обработку лишь те данные, которые невозможно или нерационально обрабатывать по-другому. Таким образом, граничные серверы применяют, когда требуется:
Edge computing для экономии трафика
Датская компания Maersk — один из лидеров морских грузовых перевозок в мире — решила сократить потребление топлива у своих судов и снизить выбросы загрязняющих веществ в атмосферу.
Для решения этой проблемы использовалась технология Siemens EcoMain Suite, датчики на двигателях и основных узлах корабля, а также локальный сервер BullSequana Edge для вычислений «на месте».
Благодаря датчикам система EcoMain Suite постоянно мониторит состояние критических узлов корабля и их отклонение от заранее вычисленной нормы. Это позволяет быстро диагностировать неисправность и локализовать ее вплоть до проблемного узла. Так как телеметрия постоянно передается «в центр», сервисный техник может выполнить анализ удаленно и дать рекомендации бортовой команде. И главный вопрос тут — сколько данных и в каком объеме передавать на центральный ЦОД.
Так как подключить дешевый проводной интернет к морскому контейнеровозу весьма проблематично, передача большого объема сырых данных на центральный сервер получается слишком дорогой. На центральном сервере BullSequana S200 просчитывается общая логическая модель корабля, а обработка данных и непосредственное управление передается локальному серверу. Как результат, внедрение этой системы окупилось за три месяца.
Edge computing для экономии ресурсов
Еще один пример граничных вычислений — это видеоаналитика. Так, у производителя оборудования для технических газов Air Liquide одной из локальных задач производственного цикла является контроль качества окраски газовых баллонов. Он осуществлялся вручную и составлял около 7 минут на один баллон.
Чтобы ускорить этот процесс, человека заменили блоком из 7 видеокамер высокого разрешения. Камеры снимают баллон с нескольких сторон, генерируя около 1 ГБ видео в минуту. Видео отправляется на граничный сервер BullSequana Edge c Nvidia T4 на борту, на котором нейронная сеть, натренированная на поиск дефектов, анализирует стрим в онлайн-режиме. В результате среднее время на осмотр сократилось с нескольких минут до нескольких секунд.
Edge computing в аналитике
Аттракционы в Диснейленде — это не только веселье, но и сложный технический объект. Так, на «Американской горке» установлено порядка 800 различных датчиков. Они постоянно отправляют на сервер данные о работе аттракциона, а локальный сервер обрабатывает эти данные, вычисляет вероятность выхода аттракциона из строя и сигнализирует об этом на центральный ЦОД.
На основе этих данных определяется вероятность технического отказа и запускается превентивный ремонт. Аттракцион продолжает работать до конца рабочего дня, а тем временем уже оформлен наряд на ремонт, и рабочие оперативно чинят аттракцион ночью.
BullSequana Edge
Серверы BullSequana Edge являются частью большой инфраструктуры для работы с «большими данными», они уже протестированы с платформами Microsoft Azure и Siemens MindSphere, VMware WSX и имеют сертификаты NVidia NGC/EGX. Эти серверы разработаны специально для граничных вычислений и выпускаются в корпусах форм-фактора U2 в вариантах для установки в стандартную стойку, на DIN-рейку, на стену и в напольном исполнении.
BullSequana Edge построены на материнской плате собственной разработки и процессоре Intel Xeon D-2187NT. Они поддерживают установку до 512 Гб оперативной памяти, 2 SSD по 960 Гб либо 2 HDD по 8 или 14ТБ. Также в них можно установить 2 GPU Nvidia T4 16 ГБ для работы с видео; Wi-fi, LoRaWAN и 4G модули; до 2-х 10-гигабитных модулей SFP. В самих серверах уже установлен датчик открытия крышки, который подключен к BMC, управляющему модулем IPMI. Его можно настроить на автоматическое отключение питания при срабатывании датчика.
Полностью технические характеристики серверов BullSequana Edge можно найти по ссылке. Если вам интересны подробности, мы будем рады ответить на наши вопросы в комментариях.
Exchange Server: edge transport servers
Edge Transport servers handle all inbound and outbound Internet mail flow by providing mail relay and smart host services for your Exchange organization. Агенты, запущенные на пограничном транспортном сервере, создают дополнительные уровни защиты сообщений и безопасности. Эти агенты обеспечивают защиту от нежелательной почты и применяют правила потока почты (также известные как правила транспорта) для управления потоком почты. Все эти функции работают вместе, чтобы свести к минимуму воздействие внутренних Exchange на угрозы в Интернете.
Так как пограничный транспортный сервер установлен в сети периметра, он никогда не является участником внутреннего леса Active Directory вашей организации и не имеет доступа к данным Active Directory. Однако на сервере edge Transport требуются данные, которые находятся в Active Directory: например, сведения соединители для потока почты и сведения о получателях для задач по просмотру получателей антиспама. Данные синхронизируются с пограничным транспортным сервером с помощью службы Microsoft Exchange EdgeSync (EdgeSync). EdgeSync — это набор процессов, которые запускаются на сервере почтовых ящиков Exchange 2016 или Exchange 2019 г., чтобы установить одновую репликацию сведений о получателях и конфигурации из Active Directory в экземпляр Active Directory Lightweight Directory Services (AD LDS) на краевом транспортном сервере. EdgeSync копирует только сведения, необходимые для транспортного сервера edge для выполнения задач конфигурации антиспама и для обеспечения потока почтовой почты. Для поддержания актуальности данных в AD LDS EdgeSync выполняет запланированные обновления. Дополнительные сведения о edge Subscriptions и EdgeSync см. в журнале Edge Subscriptions.
Можно устанавливать несколько пограничных транспортных серверов на периметре сети. Развертывание более одного пограничного транспортного сервера обеспечивает избыточность и отказоустойчивость для потока входящих сообщений. Можно распределить нагрузку трафика SMTP в своей организации между пограничными транспортными серверами, определив несколько записей MX с одинаковым значением приоритета для домена электронной почты. Согласованность конфигурации между несколькими пограничными транспортными серверами может быть достигнута с помощью сценариев клонирования конфигурации.
Роль пограничного транспортного сервера позволяет управлять следующими сценариями обработки сообщений.
Поток почты Интернета
Серверы edge Transport принимают сообщения, которые приходят в Exchange организации из Интернета. После обработки сообщений на краевом транспортном сервере почта передается на внутренний сервер Exchange почтовых ящиков; сначала в службу переднего транспорта, а затем в службу транспорта.
Все сообщения, отправленные в Интернет изнутри организации, направляются на серверы транспорта edge после обработки сообщений службой транспорта на Exchange почтовом ящике. Можно настроить пограничный транспортный сервер на использование DNS для разрешения записей источника Mail Exchanger (MX) для внешних доменов SMTP или можно настроить пограничный транспортный сервер для переадресации сообщений на промежуточный узел для разрешения DNS.
Защита от антиспама
В Exchange Server функции antispam предоставляют службы для блокировки нежелательной коммерческой электронной почты (нежелательной почты) в периметре сети.
Отправители нежелательной почты применяют различные методики, чтобы доставить свои сообщения в организации. Пограничные транспортные серверы помогает предотвратить получение пользователями нежелательной почты путем использования коллекции агентов, которые совместно обеспечивают разные уровни фильтрации нежелательной почты и защиты от нее. Установка интервалов искусственной задержки ответов на соединителях делает попытки сбора электронной почты неэффективными.
Правила потока почты на серверах транспорта edge
Правила потока почты на границах транспортных серверов используются для управления потоком сообщений, отправленных или полученных из Интернета. Правила потока почты настраиваются на каждом краевом транспортном сервере, чтобы защитить корпоративные сетевые ресурсы и данные, применяя действие к указанным условиям. Условия правила потока почты основаны на данных, таких как конкретные слова или текстовые шаблоны в субъекте сообщения, теле, заголовке или по адресу; уровень доверия к нежелательной почте (SCL); или тип вложения. Действия определяют параметры обработки сообщения при выполнении заданного условия. Возможные действия включают карантин сообщения, удаление или отклонение сообщения, присоединение дополнительных получателей или регистрацию события в журнале. Необязательные исключения позволяют предотвратить применение действия к конкретным сообщениям.
Перезапись адресов
Перезапись адресов обеспечивает единообразие представления адресов для внешних получателей. Перезапись адресов настраивается на пограничных транспортных серверах для изменения адресов SMTP входящих и исходящих сообщений. Перезапись адресов особенно полезна для новых организаций, которые нуждаются в единообразном представлении адресов электронной почты.
Недавно мы писали о том, как нефтегазовая отрасль использует IoT для размещения сотен и тысяч датчиков на своих объектах. При таком количестве входных данных, которые передают все эти многочисленные IoT устройства, уже нецелесообразно передавать данные в облако или общий ЦоД для обработки: какие-то механизмы анализа и реагирования на данные с IoT можно реализовать локально, в месте где эта телеметрия снимается, и собственно данные производятся. То есть, под термином «Edge Computing» или «Граничные вычисления» подразумевается не какая-то физическая граница, не какая-то абстрактная типа «передовой край технологий», а то, что все действия происходят «где-то там, на земле», а не в локальном ЦОДе и не в облаке.
К типичным примерам граничных вычислений относятся:
То есть то, что долго/дорого/бессмысленно передавать куда-то, загружая каналы связи в то время, когда приложение работает «в реальном времени». Кроме того, в определённом смысле локальная обработка данных экономит средства за счёт сокращения объёмов данных, передаваемых и хранимых в облачном расположении. Концепция Edge computing появилась благодаря экспоненциальному росту устройств IoT, которые подключаются к интернету либо для получения информации из облака, либо для доставки данных обратно в облако. И многие устройства Интернета вещей генерируют огромные объемы данных в ходе своей работы, которые по своей сути остаются ненужными после их обработки.
Подумайте об устройствах, которые следят за производственным оборудованием на заводе, или подключенной к интернету видеокамере, которая отправляет видеозапись в реальном времени из удаленного офиса. В то время как одно устройство, производящее данные, может передавать их по сети довольно легко, с ростом числа таких устройств уже возникают проблмы с задержками. Вместо одной видеокамеры, передающей живые кадры, умножьте их на сотни или тысячи устройств. Не только качество пострадает из-за задержки, но и затраты на пропускную способность могут быть огромными.
Периферийное вычислительное оборудование и службы помогают решить эту проблему, являясь локальным источником обработки и хранения данных для многих из этих систем. Пограничный шлюз, например, может обрабатывать данные с пограничного устройства,а затем отправлять только нужные данные обратно через облако, уменьшая потребность в пропускной способности каналов связи. Или он может отправлять данные обратно на пограничное устройство в случае потребностей приложения, работающего в реальном времени.
Что относится к устройствам Edge
Вообще, здесь нет ничего нового: с точки зрения «железа» оборудование для Edge Computing больше напоминает олдскульное железо, созданное до эпохи виртуализации и перехода в облака. К устройствам «Edge» могут относиться и смартфон, и ноутбук, и датчики IoT и настольный сервер, и микроволновая печь. Естественно, если у вас есть пограничный ноутбук, то у вас должен быть и пограничный сетевой шлюз, с помощью которого осуществляется связь локальной сети объекта с облаком и централизованным дата-центром. Как несложно догадаться, это обычный себе сетевой шлюз, скорее всего с интегрированным контроллером управления точками доступа Wi-Fi.
Чем отличается Edge-оборудование?
То есть, Edge-оборудование отличает:
Ярким примером Edge-сервера можно считать Lenovo ThinkSystem SE350:
Практически, современные процессоры стали настолько мощными, что на Edge Computing можно выносить не только складской учёт, но и бухгалтерию, создание отчётов, обработку телеметрии и даже задачи машинного обучения на готовых моделях, или там, где использование GPU нецелесообразно.
Для многих компаний использование облака нецелесообразно из-за высоких затрат на каналы данных. Все чаще самым большим преимуществом Edge Computing является возможность обрабатывать и хранить данные быстрее, чем в облаке, что позволяет создавать более эффективные приложения в реальном времени.
Когда-то давно смартфон, сканирующий лицо человека, должен был бы запустить алгоритм распознавания лиц через облачную службу, что заняло бы много времени. С помощью модели граничных вычислений алгоритм может работать локально на пограничном сервере или шлюзе или даже в самом смартфоне, учитывая растущую мощность смартфонов. Такие приложения, как виртуальная и дополненная реальность, самоуправляемые автомобили, умные города и даже системы автоматизации зданий, требуют быстрой обработки и реагирования.
Такие компании, как NVIDIA, признали необходимость большей обработки «на земле», поэтому мы видим новые системные модули, которые включают в себя функции искусственного интеллекта. Последний модуль компании Jetson Xavier NX, например, меньше, чем кредитная карта, и может быть встроен в более мелкие устройства, такие как дроны, роботы и медицинские устройства. Алгоритмы искусственного интеллекта требуют больших вычислительных мощностей, поэтому большинство из них работают через облачные сервисы.
Конфиденциальность и безопасность
Однако, как и в случае со многими новыми технологиями, решение одной проблемы может привести к возникновению других. По мере роста числа устройств IoT крайне важно понимать потенциальные проблемы безопасности вокруг этих устройств и чтобы убедиться, что эти системы могут быть защищены. Это включает в себя проверку того, что данные зашифрованы, и что используются правильные методы контроля доступа и даже туннелирование VPN.
А как насчет 5G?
По всему миру операторы развертывают беспроводные технологии 5G, которые обещают преимущества высокой пропускной способности и низкой задержки для приложений. Вместо того, чтобы просто предлагать более быстрые скорости и говорить компаниям продолжать обработку данных в облаке, многие операторы связи разрабатывают стратегии пограничных вычислений в своих развертываниях 5G, чтобы обеспечить более быструю обработку данных на объектах режиме реального времени, что особенно важно для мобильных устройств, автомобилей и роботов.
Очевидно, что в то время как первоначальная цель edge computing заключалась в снижении затрат на пропускную способность для устройств IoT на больших расстояниях, рост приложений реального времени, требующих локальной обработки и хранения данных, будет стимулировать развитие технологии в ближайшие годы.
Edge computing заменит Cloud computing?
Мы с коллегами не так давно обсуждали динамичность развития технологий и перспективы развития облачных вычислений. И как раз наткнулась на статью.
Каждая новая технология приходит на смену старой. Иногда, как и в случае с облаком, проводится ребрендинг старых технологий, чтобы сделать их более привлекательными для потребителей и, тем самым, создать иллюзию нового продукта. Облачные вычисления ранее существовали в той или иной форме. На одном из этапов они назывались «on demand computing» (компьютерные ресурсы по требованию), а затем преобразовались в «application service provider» (ASP).
Теперь существует edge computing (прим. устоявшегося русского термина еще нет, но можно перевести, как «концепция граничных вычислений» или «периферийные вычисления»). которому отраслевые обозреватели и эксперты пророчат способность заменить облако. Но вот вопрос: произойдет ли это на самом деле? Ведь тоже самое говорили о радио, когда было изобретено телевидение. Тем не менее, миллионы людей каждый день включают радиоприемники, но оно изменило формат, теперь его слушают в основном в машине.
Конечно, есть некоторые технологии, которые действительно осуществляют переворот в том, что меняют привычки людей и их образ мышления. Когда-то люди слушали музыку с Sony Walkmans, а сегодня мы повсеместно используем для этого смартфон.
Пророчество Левина
Так почему же люди думают, что edge computing победит облако? Это утверждение было заявлено во многих статьях. Например, Клинт Бултон в марте этого года пишет об этом в статье «edge computing заменит облако». Он ссылается на венчурного капиталиста Эндрю Левина, генерального партнера Andreessen Horowitz, который считает, что больше вычислительных ресурсов будут двигаться в направлении оконечных устройств — таких, как беспилотный автомобиль и дроны, — которые составляют, по меньшей мере, часть Интернета вещей. Левин прогнозирует, что это будет означать то, что облаку пришел конец, т.к. процесс обработки данных будет двигаться назад по направлению к edge computing.
Другими словами, сейчас идет тенденция централизации вычислений в ЦОДах, в то время, как в прошлом они часто были децентрализованы или находились ближе к месту использования. Левин видит беспилотный автомобиль, как центр обработки данных: они имеют более чем 200 процессоров, способных обеспечить полную отказоустойчивость, чтобы не привести к несчастному случаю на дороге. Характер автономных транспортных средств означает, что их вычислительные мощности должны быть независимыми и для того, чтобы обеспечить безопасность нужно свести к минимуму любую связь, которую они имеют с облаком. Тем не менее, они не смогут полностью обойтись без него.
Взаимодополняющие модели
Эти два подхода могут дополнять друг друга. Часть аргументов за edge computing просто отпадает, когда речь заходит об увеличении объемов данных, которые приводят к еще более удручающей и медленной сети. Задержка – виновник. Данных становится все больше: увеличивается количество данных на одну транзакцию, «тяжелые» видео и много данных разных датчиков. Виртуальная и дополненная реальность будет играть все большую роль в его росте. При таком росте объема данных, решить проблемы задержки представляется более сложной задачей, чем это было раньше. Сейчас имеет смысл размещать данные ближе к устройствам типа беспилотного автомобиля для того, чтобы устранить задержку, но тем не менее большая часть данных всё-еще находится удаленно в облаке. Облако по-прежнему будет использоваться в качестве поставщика сервисов, таких как СМИ и развлечения. Оно также может быть использовано для резервного копирования данных и для обмена данными, исходящих от транспортного средства.
Немного отойдем от автономных транспортных средств и вернемся к более привычному бизнесу. Создание ряда небольших ЦОДов или площадок аварийного восстановления может уменьшить эффект масштаба, как следствие, увеличить затраты и сделать работу менее эффективной. Да, задержка может быть уменьшена, но в случае катастрофы последствия будут не менее плачевными; поэтому для обеспечения непрерывности бизнеса некоторые данные следует хранить и обрабатывать в другом месте – в облаке. В случае беспилотных машин, в частности, потому что они должны работать независимо от того, есть сетевое соединение или его нет, имеет смысл, чтобы определенные типы вычислений и анализа были совершены самим транспортным средством. Однако эти данные по-прежнему будут бэкапиться в облако, когда соединение доступно. Подход будет гибридным: edge и cloud computing будут взаимодополнять друг друга, а не использоваться по одиночке.
От периферии до облака
Сейджу Скария, старший директор консалтинговой фирмы TCS, предлагает несколько примеров, где edge computing может оказаться полезным. В своей статье на LinkedIn Pulse, «Edge computing vs. Облачные вычисления: за кем будущее?». Он не считает, что с облаком будет покончено.
«Edge computing не заменит облачные вычисления… на самом деле, аналитическая модель или правила могут быть созданы в облаке и затем применяться оконечными устройствами… и некоторые [из них] способны делать анализ». Затем он продолжает говорить о fog computing (туманные вычисления), которая включает в себя обработку данных от периферии до облака. Он считает, что люди не должны забывать о хранилищах данных, так как они используется для «медленных аналитических запросов и массивного хранения данных».
Edge победит облако
Несмотря на этот аргумент, аналитик компании Gartner Томас Битман считает, что «Edge computing «съест» облако». «Сегодня облачные вычисления пожирают центры обработки данных предприятий, все больше и больше нагрузок приходится на облако, а некоторые преобразовываются и перемещаются в облако… но есть еще одна тенденция, которая переместит рабочие нагрузки, данные и стоимость бизнеса далеко от облака… И тенденция перехода к edge computing еще более важная и сильная, чем когда-то была тенденция облачных вычислений.
Позже в своем блоге Битман пишет: «Не хватает одной только быстроты облачных решений. Массивная централизация, экономия от масштаба, самообслуживание и полная автоматизации преодолевает только полпути — но все это не преодолеет физику — вес данных, скорость света. Как люди должны взаимодействовать с цифровой реальностью в режиме реального времени, если происходит задержка от центра обработки данных, расположенного за тысячи километров. Задержка имеет большое значение. Я существую здесь и прямо сейчас. Воспроизвести правильную рекламу, прежде чем я не отвернулся, указать на магазин, который я ищу, когда я за рулём, помочь моему беспилотному автомобилю выбрать верный путь через оживленный перекресток. И все это мне нужно получить СЕЙЧАС».
Ускорение данных
Битман делает некоторые справедливые замечания, но он употребляет аргумент, который часто используется в отношении задержек и ЦОДов: они должны быть расположены близко друг к другу. Истина заключается в том, что глобальные сети всегда будут фундаментом edge computing и облачных вычислений. Во-вторых, Битману явно не попадались инструменты ускорения данных, такие, как PORTrockIT и WANrockIT. В то время как физика, безусловно, является ограничивающим и сложным фактором, который всегда будет иметь место в сетях всех видов – включая WANs, сегодня можно разместить свои центры обработки данных на расстоянии друг от друга. Задержка может быть уменьшена, и его воздействие может быть нивелировано, независимо от того, где происходит обработка данных, и независимо от того, где хранятся данные.
Поэтому, edge computing это не новое прорывное решение. Это лишь одно из решений, как и облако. Вместе эти две технологии могут поддержать друг друга. Различие между edge computing и облачными вычислениями, в том, что «edge являются методом ускорения и повышения производительности облачных вычислений для мобильных пользователей». Таким образом, аргумент, что edge computing заменит облачные вычисления является очень неубедительным. По маркетинговым соображениям, облачные вычисления могут быть переименованы, но суть останется та же.
