Elastic cloud что это
Сегодня рассмотрим облачные сервисы и платформы ELK-стека, которые позволяют использовать все функциональные преимущества Elasticsearch с Kibana без развертывания собcтвенной ИТ-инфраструктуры (on-demand), интегрируя их с другими облачными приложениями. Читайте в нашей статье, что такое Elastic Cloud Enterprise и чем это отличается от Amazon Elasticsearch Service, Open Distro и других cloud-решений.
Такие разные эластики: чем Elastic Cloud Enterprise отличается от Amazon Elasticsearch Service и при чем здесь Amazon EC2 и Open Distro
Как и большинство современных Big Data решений, сегодня ELK Stack активно используется в облачной модели под названием ECE (Elastic Cloud Enterprise). Этот продукт позволяет удаленно работать с Elasticsearch (ES) и Kibana в любом объеме и на любой инфраструктуре, обеспечивая масштабирование, безопасность, обновление и резервное копирование всех компонентов с централизованной консоли. Таким образом, развертывать Elasticsearch и Kibana можно как на локальных физических серверах физическое оборудование, так и в виртуальных средах, частных и общественных облаках, таких как Google, Microsoft Azure, Amazon Web Services (AWS), Яндекс.Облако, Mail.ru Cloud Solutions и пр. [1].
Отметим, что при схожести названий, сервис Amazon Elasticsearch не связан с компанией Elastic, которая не является партнером или участником Amazon Elasticsearch Service, а также не занимается поддержкой этого продукта. Например, ECE включает компонент X-Pack, который обеспечивает информационную безопасность, графовую аналитику и машинное обучение, о чем мы рассказывали здесь. Также ECE поддерживает локализацию Kibana под восточные языки (китайский, японский), кросс-кластерный и асинхронный поиск, нативный SQL и множество других возможностей [2].
В свою очередь, Amazon Elasticsearch Service позиционируется как управляемый сервис, который упрощает развертывание и эксплуатацию кластеров ES в облаке AWS, позволяя on-demand использовать эту Big Data систему в любом масштабе, включая API с открытым исходным кодом, Kibana, интеграцию с Logstash и другими сервисами AWS, оповещения и SQL-подобные запросы [3]. Не стоит путать этот сервис с платформой Amazon Elastic Compute Cloud (Amazon EC2), которая через веб-интерфейс предоставляет безопасные масштабируемые вычислительные ресурсы в облаке. Amazon EC2 предоставляет доступ к вычислительным ресурсам с целью их настройки и использования в различных бизнес-приложениях, в т.ч. включая компоненты Apache Hadoop, Kafka, Spark и прочие Big Data фреймворки. Elasticsearch с Kibana также могут быть развернуты на облачной платформе Amazon EC2 [4].
Наконец, стоит отметить, что Amazon Elasticsearch Service работает на Open Distro for Elasticsearch – open-source проекте, представленном в марте 2019 года [5]. Историю появления этого продукта мы описывали здесь. Он включает полезные функциональные возможности для Elasticsearch и Kibana [6]:
Еще 4 облачных решения для ELK Stack: Google, Azure, Яндекс и Mail.ru
SaaS-продукт Elasticsearch доступен через подписку в Google Cloud Marketplace и развертывание в облаке Гугл. Биллинг и встроенная интеграция с облачной консолью Google обеспечивают удобство работы с ECE [7].
Также все компоненты ELK Stack доступны для использования в облаке Microsoft Azure, интеграция с сервисами которого дополняет функциональные возможности Elasticsearch. В частности, служба Azure Monitor обеспечивает мониторинг выполнения приложений, позволяя заранее определить проблемы и ресурсы, от которых они зависят. Например, это востребовано в BMW, Mars, Esri, Fun Rock и множестве других компаний по всему миру [8].
Наконец, отечественные Cloud-провайдеры также позволяют работать с ELK Stack в облачном формате, предоставляя свои цифровые платформы для удаленного развертывания и использования. Примечательно, что именно эти варианты не только поддерживают европейский регламент с международным действием GDPR, но и полностью соответствуют требованиям федерального закона № 152-ФЗ «О персональных данных», а также Постановлению № 1119, 17 и 21 приказам ФСТЭК, обеспечивая 3-ий уровню защищенности (УЗ-3) [9,10].
Больше подробностей про облачные платформы для Elasticsearch и других Big Data решений, а также обеспечение информационной безопасности кластеров на примере Apache Hadoop, вы узнаете на практических курсах по администрированию и эксплуатации больших данных в нашем лицензированном учебном центре повышения квалификации и обучения руководителей и ИТ-специалистов (разработчиков, архитекторов, инженеров и аналитиков) в Москве:
ECS (Elastic Cloud Storage) ― облачная платформа хранения Dell EMC
Объемы неструктурированных данных растут в геометрической прогрессии, и не похоже, чтобы этот процесс замедлялся. Некоторым организациям пока удается управлять ими с помощью традиционной инфраструктуры хранения, но она дорого обходится и не поддерживает масштабирование в соответствии с ростом объема данных.
Однако эти проблемы ― далеко не единственные. Бюджеты ИТ остаются на том же уровне или незначительно увеличиваются (примерно на 5% в год), а капитальные расходы большинства организаций каждый год вырастают почти вдвое. К тому же компаниям необходимо сохранять и улучшать уровень обслуживания, затрачивая на это все меньше ресурсов.
Рост объемов данных (и, соответственно, требований к инфраструктуре хранения) ― тенденция отнюдь не временная, и если компании не трансформируют вовремя свой бизнес, они столкнутся с очень серьезными проблемами. Но развитие технологий позволяет найти нужные решения. Так, компания Dell EMC — крупнейший в мире поставщик систем хранения данных ― создала экономически эффективную облачную платформу ECS.
Что такое ECS?
Сперва нужно отметить, что ECS ― не публичный Cloud Storage, когда пользователь не знает, где хранятся его данные. Напротив, Dell EMC (Elastic Cloud Storage) — физический массив хранения (хотя есть и версия в виде ПО), и клиент сам выбирает, где его разместить. А облачным хранилищем ECS называется, поскольку систему можно использовать именно с такой целью.
Программное обеспечение ECS позволяет хранить, администрировать и анализировать неструктурированные данные в масштабной инфраструктуре из типовых компонентов. Это комплексная многопользовательская облачная платформа хранения, которая позволяет учитывать потребление ресурсов и самостоятельно их выделять.
Заказчики могут приобрести ECS как готовую программно-аппаратную систему (решение Dell EMC ECS Appliance) или в виде программного продукта (ПО ECS): он устанавливается на серверы заказчика и типовые диски, сертифицированные Dell EMC. В состав ECS входит модуль хранения неструктурированных данных, который поддерживает сервисы управления объектами и HDFS, а также поддержка файловых сервисов.
Технически эта система представляет собой:
ECS ― объектная система хранения данных третьего поколения. Она позволяет:
Чем удобна ECS?
Цифровая трансформация — это просто
Предприятия и поставщики облачных сервисов могут использовать ECS как основу для «цифровой трансформации». Традиционные бизнес-приложения сейчас сменяются облачными — а ECS устраняет разрыв между приложениями «второй» и «третьей» платформы, позволяя им использовать единую систему хранения. ECS не только справляется с огромным объемом неструктурированных данных ― как многоцелевая платформа она принимает на себя самые разные нагрузки и способна подготовить компанию к любым вызовам.
ECS совместима с HDFS, OpenStack Swift и Amazon S3, а также с API Centera и Atmos. По выбору заказчика ее можно развертывать как полностью интегрированное решение, которое масштабируется до 3,8 Пбайт на стойку, или как программное решение для хранения данных на сертифицированном оборудовании. Кроме того, ECS доступна по подписке с платой за использование. Благодаря этому система завоевывает популярность у корпоративных клиентов и поставщиков услуг.
Производитель позиционирует ECS для случаев, когда требуется:
Сценарии использования ECS
Платформа ECS применяется как:
Вот несколько вариантов использования ECS вместе с другими системами хранения Dell EMC:
Пример 1. Комбинация ECS с Dell EMC Cloud Array. Файловые службы и хранилища для удаленных офисов без развертывания массива хранения на удаленной площадке.
Пример 2. Комбинация ECS с Isilon (облачные пулы). Isilon (горизонтально-масштабируемая NAS) с автоматическим перемещением файлов на недорогое хранилище по заданным правилам.
Пример 3. Классическое архивирование. ECS используется в качестве архива.
Пример 4. Комбинация с Dell EMC Cloud Boost. Долгосрочное хранение данных.
Пример 5. Разработка с использованием объектного хранилища. Мобильные приложения стали настолько развитыми, что их сложно связать с известными протоколами хранения данных (FC, NAS) без «шлюза» ― например, веб-сервера. Благодаря ECS мобильные приложения получают прямой доступ к хранилищу при помощи HTTP/HTTPS и могут получать или сохранять нужные объекты.
Платформа ECS была выпущена в июне 2015 года. Сейчас ею пользуются более 250 клиентов, и у многих из них емкости инсталляций превышают петабайт. ECS поддерживает объекты, NFS и распределенную файловую систему Hadoop (HDFS), что позволяет ей хранить миллиарды файлов для облачных приложений.
Elastic Cloud Server
Легко конфигурируемый и масштабируемый виртуальный сервер. Предоставляет виртуальные машины для любых сценариев использования
О продукте
Elastic Cloud Server (ECS) — легко конфигурируемый и масштабируемый виртуальный сервер. Разные типы виртуальных машин, такие как ECS с выделенными ресурсами, высокопроизводительными процессорами Intel® Xeon® Gold, увеличенным объемом памяти или GPU-ускорением, подходят для любых сценариев использования.
Возможности продукта
Продукт используется с другими компонентами SberCloud.Advanced, такими как Virtual Private Cloud (VPC), Elastic Volume Service (EVS), Elastic IP (EIP) и др.
Доступно несколько типов сервера ECS (флейворов)
Создание ECS из каталога образов или из заранее сохраненного образа
Сброс пароля в системе
Изменение спецификации в рамках одного типа флейвора без пересоздания ECS
Поддержка нескольких сетевых интерфейсов
Виртуальный межсетевой экран, группы безопасности
Уровень доступности сервиса 99,95%
Характеристики продукта
Обеспечение безопасности
Надежная комплексная защита
Большой выбор конфигураций
Множество типов, спецификаций и образов ECS
Конкурентное преимущество
Корпоративные облачные вычисления с использованием самого современного оборудования на базе процессоров Intel® Xeon® Gold и технологий виртуализации от Huawei
Гибкость и удобство использования
Множество способов управления ECS: консоль управления, удаленный доступ и API-интерфейсы
Надежная производительность
Лучшие в отрасли эффективность вычислений, сетей и хранилищ способствуют успеху бизнеса
Надежные данные
Постоянное блочное хранилище для высокой пропускной способности и высокого уровня доступности
Стабильный сетевой доступ
Быстрые, стабильные и безопасные выделенный каналы сетевой передачи
Мониторинг в режиме реального времени
Интуитивно понятная платформа для мониторинга в реальном времени, аварийных сигналов и уведомлений
Гибкое выставление счетов
Режим постоплаты, при котором счета за ECS выставляются на основе частоты и длительности использования. Этот режим идеально подойдет, если требуется гибкость и контроль использования ECS
Как начать пользоваться сервисом
Сценарии применения
Примеры
Проектирование, разработка и тестирование веб-сайтов | Работа с небольшими базами данных
Рекомендуемое решение
Используйте виртуальный сервер Elastic Cloud Server, обеспечивающий баланс памяти, вычислительных и сетевых ресурсов. Этот тип ECS подходит для приложений со средней нагрузкой и отвечает требованиям к облачному сервису как предприятий, так и частных лиц.
Примеры
Персонализированный маркетинг | Электронная торговля | Мобильные приложения
Рекомендуемое решение
Используйте Elastic Cloud Server с большим объемом памяти и дисками EVS с поддержкой сверхскоростного ввода/вывода и соответствующей пропускной способности. Этот тип ECS подходит для приложений, обрабатывающих большие объемы данных.
Примеры
Рекомендуемое решение
Используйте Elastic Cloud Server с интенсивной нагрузкой на диски. Этот тип виртуальных серверов подходит для приложений, выполняющих последовательное чтение/запись сверхбольших массивов данных в локальные хранилища (например, для систем распределенных вычислений Hadoop), а также для крупномасштабной параллельной обработки данных и журналов. Такие серверы работают на основе жестких дисков с пропускной способностью сети 10GE по умолчанию и обеспечивают большое число импульсов в секунду при малых задержках. Также они поддерживают до 24 локальных дисков, 48 виртуальных процессоров и 384 ГБ памяти.
Примеры
Научные вычисления | Генная инженерия | Игры и анимация | Биофармацевтические препараты и их хранение
Рекомендуемое решение
Используйте высокопроизводительные виртуальные серверы Elastic Cloud Server для вычислений, хранения данных и рендеринга в высокопроизводительных инфраструктурных сервисах и приложениях, потребляющих большое количество ресурсов для параллельных вычислений.
Elastic Cloud
Enterprise search, observability, and security for the cloud
Quickly and easily find information, gain insights, and protect your technology investment whether you run on Amazon Web Services, Microsoft Azure, or Google Cloud.
Start a free 14-day trial, no credit card required.
Or subscribe through AWS, Azure, or Google Cloud marketplaces.
Managed Elastic Search Platform
An experience built and managed by Elastic
We handle the maintenance and upkeep, so you can focus on gaining the insights that help you run your business. Calculate the value your organization can experience by running Elastic Cloud as a managed service.
Enterprise Search
Modern search experiences for your websites, applications, and workplaces.
Observability
Unified analysis across logs, metrics, APM, and uptime monitoring.
Security
Threat prevention, detection, and response through a single UI.
Elastic Stack
Reliably and securely search, analyze, and visualize data in real time.
Operational Happiness
Plus, perks for peace of mind
Sometimes it’s the quiet benefits humming away in the background that can make a big difference. Learn more about the benefits of our managed service and understand our shared responsibility.
Backups
We take care of snapshot and restore so you can rest easy knowing your data is secure.
We wear the pager
When the network or hardware starts showing a little attitude, our team of Elastic Engineers is notified immediately and springs into action.
Expertise is at your fingertips
Get ticket- or SLA-based support from the engineering team behind the Elastic Stack.
Enhance
Access to powerful, exclusive features
From document- and field-level security to detecting anomalies using machine learning, Elastic delivers powerful features (built and maintained by Elastic engineers) that readily extend what’s possible with Elasticsearch and Kibana.
Explore a few features right here — and of course, there’s plenty more where that came from.
Canvas
Create live, pixel-perfect presentations with your Elasticsearch data.
Security
Protect your Elasticsearch data in a robust and granular way.
Traffic filters
AWS PrivateLink integration and IP filtering ensures network layer security.
Machine learning
Automate anomaly detection on your Elasticsearch data.
Monitoring
Maintain a pulse on your Elastic deployment to keep it firing on all cylinders.
Analyze your geospatial data and visualize multiple indices as unique layers in one view.
Elastic App Search
The focused power of Elasticsearch behind a curated set of APIs and intuitive dashboards.
Elastic Workplace Search
Give your teams a unified search experience across all their content.
Обзор технологии Amazon Elastic Compute Cloud (Beta)
Немного теории.
Amazon представил новый сервис который в данный момент находится в стадии тестирования.
Это ни что иное как своего рода хостинг 2.0.
По сути у Amazon предлагает вам по очень неплохой цене, виртуальную машину со статическим IP, неплохой конфигурацией и root доступом.
Что позволяет делать с сервером все.
Суммарно в месяц, в случает 24/7 инстанса, цена составит 0.10$*24*31=74$ минимум 74 доллара в месяц, почему минимум по той простой причине, что Amazon так же учтет транзит трафика:
А вот табличка цены на инстансы, минимальной конфигурации:
| Price | Name | RAM | CPU | Platform | Real CPU |
| $0.10/hour | Small Instance (Default) | 1.7 GB | 1 virtual core with 1 EC2 Compute Unit | 32-bit | vendor_id: AuthenticAMD cpu family: 15 model: 65 model name: Dual-Core AMD Opteron(tm) Processor 2218 HE stepping: 3 cpu MHz: 2599.998 cache size: 1024 KB |
| $0.40/hour | Large Instance | 7.5 GB | 2 virtual cores with 2 EC2 Compute Units each | 64-bit | |
| $0.80/hour | Extra Large Instance | 15 GB | 4 virtual cores with 2 EC2 Compute Units each | 64-bit |
Но есть одна не очень нравящаяся мне особенность — после выключения виртуального сервера Amazon фактически заберет у Вас IP адрес, а так же удалит весь ваш инстанс со всеми данными и настройками, в течении 15 минут — время всегда разное, но предполагаю, что процесс удаления запускается сразу после команды выключения. При перезагрузке сервера ничего подобного не происходит — вы сохраните даже свой IP.
Это не особо критично для людей у кого уже есть свой работающий Веб-проект, но абсолютно неприменимо для людей кто разрабатывает или тестирует своё приложение.
Немного практики.
Как начать использовать? Просто.
-1- Идём на страницу регистрации, регистрируемся заводим аккаунт, регим карточку.
-2- Далее в идеале хорошо бы почитать документацию. Её можно найти здесь.
После этого у вас есть два пути использования сервиса первый набор утилит (API) от Amazon, либо екстенщен для firefox.
Использование API.
-1- Необходимо установить последнюю JRE.
-2- Необходимо скачать и распаковать в C:\ec2 Amazon command line tools.
-3- Необходимо получить свои сертификаты.
-4- Необходимо создать файл с:\ec2\ec2.bat следующего содержания:
Либо можете просто прописать данные пути в настройках Винды.
-5- для проверки правильности всех настроек откройте cmd и выполните:
-6- Создаете пары ключей, которые будут использоваться для доступа к вашему серверу по протоколу ssh.
Ключ который он выкинет в консоль необходимо сохранить. А так же с конвертировать в формат Putty, если вы планируете использовать это приложение. Сделать это можно с помощью утилиты puttygen.exe, она специально создана для этих целей.
-7- После получение ключей можно приступать к запуску виртуальной машины.
Выбрать образ можно из списка можно с помощью команды вида:
В данном случае я отфильтровал список виртуальных машин от компании Oracle.
И запустил виртуальную машину от компании Oracle, с предустановленной Oracle Database 11g, а также сконфигурированными Enterprise manager и Oracle application express.
После этого ждем 10 минут и все, ваш инстанс готов работать, уже имеет статический IP.
>ec2-describe-instances
Служит для получения информации о существующих инстансах.
Все.
>ec2-describe-instances
Ещё раз исполняем команду, копируем имя инстанса, что-то вроде ec2*.compute-*.amazonaws.com
И используя ключи (см п.6) и программу putty подключаемся к данному инстансу.
Вот собственно и все.
Использование плагина для FireFox.
-1- Убедитесь что используете именно FireFox, а не любой другой браузер.
-2- Установите данный плагин.
-3- Введите в окне браузера chrome://ec2ui/content/ec2ui_main_window.xul
-4- Нажмите Credentials и добавьте своё имя пользователя и пару ключей(открытый закрытый).
-5- Нажав IDs введите свое имя пользователя и номер.
После этих манипуляции вы сможете проделать все действия необходимые для создания виртуальной машины с помошью этого приложения. Подробно я этого описывать не буду, а лучше дам ссылку на скринкаст.
Вот собственно и все. Всем кто потратил время на прочтения данного материала огромное спасибо.
Позже отдельно будет статья об Oracle на EC2, а так же будет описана система Amazon DevPay.
