Ilo сервера что это
В данной заметке хочу рассказать и для себя зафиксировать такой вопрос,ч то такое ILO и MSM порты. Integrated Lights-Out — механизм управления серверами в условиях отсутствия физического доступа к ним. Применяется фирмой Hewlett Packard для всех своих серверов (кроме серверов 100 серии до марта 2009 года (до G6)). Это некое устройство, которое по функционалу схоже с KVM. Оно позволяет получить доступ к серверу даже тогда, когда «отвалился» основной интерфейс. У ILOсвой IP-адрес и попасть на него можно прямо через браузер. Как настроить ILO управление на сервере HP dl380 g7
На любом из серверов HP вы сможете обнаружить наклейку в которой содержится информация по умолчанию для подключения к порту управления. Ниже представлен пример такой наклейки. Так же есть и другие методы определения IP-адреса ILO порта, в случаях, когда у вас может не быть физического доступа к серверу.
Версии ILO
На начало 2019 года у компании HP технология Integrated Lights-Out насчитывает 5 версий. Версия ILO 1 уже не поддерживается с 2014 года, 2-4 версии последнее обновление получили в 2018 году после очередного нахождения лазеек в безопасности. Был выпущен для ILO 3 бюллетень безопасности CVE-2017-8987. Сама дыра безопасности задействовала физическое соединение для того, чтобы атаковать процессы и критические службы, напомню, что HP iLO 3, это карточка с дискретным сетевым соединением. Rapid7 составила отчет из которого следует, что если хакер будет использовать данную уязвимость, то он сможет управлять полностью сетевым соединением на протяжении 10 минут до перезагрузки сервера службой безопасности. Вот согласитесь, что за 10 минут можно успеть многое, залочить нужные учетные записи, поменять пароли и многое другое. Данная лазейка была в прошивке v1.88. Так, что срочно обновлять ILO.
В серверах HP ProLiant Gen8 и Gen9 уже используется ILO 4 в качестве порта управления. Тут она представлена с дискретным чипом ARM на физическом уровне, он архитектурно независим от серверного CPU, из-за того, что подключен напрямую к шине PCI-Express. Прошивка хранится на дискретном флеш-чипе, что позволяет интерфейсу ILO 4 быть работоспособным когда сервер отключен. Но есть огромное но, есть операционная система от компании RTOS GreenHills Integrity, которая почему-то открывала на прямую доступ в интернет некоторым интерфейсам iLO 4. Логично, что добрые люди из интернета с радостью отыскивают такие сервера и не против посмотреть, что на них расположено.
При атаке они переполняют heap-буфер при обработке HTTP-заголовка. В момент, когда новый клиент подключается к web-серверу, один из четырех потоков обрабатывает соединение и начинает анализ HTTP-запроса. Обработка производится функцией, поочередно считывающей каждую строку, идентифицируя и анализируя таким образом возможные варианты HTTP-заголовка. Основная проблема возникает при обработке заголовка соединения функцией sscanf, которая вызывается небезопасной строкой.
Соответственно, при обработке сверхдлинного заголовка соединения возможно переполнение буфера и выполнение произвольного кода. В Hewlett Packard подчеркивают, что угроза не является лишь теоретически возможной. Известно, что выявившие уязвимость специалисты получили таким образом доступ к управлению сервером. ILO 5 актуальна на 4 февраля 2019 года и имеет версию 1.40.
Существует несколько API для взаимодействия с HP iLO:
Вот так вот выглядит веб-интерфейс при подключении к порту управления ILO 4 на Prolient DL380 Gen9. Тут вы на основном дашборде увидите сводную системную информацию:
Загрузить последние версии ILO прошивок вы можете на сайте производителя:
Или же использовать SPP диски обновления от HP, где очень удобно все обновить за один подход, но из минусов этого метода, то что ISO образа очень объемные.
Управление серверами HP ProLiant через открытые REST API или «iLO на стероидах»
Вступление от HP: эта публикация написана одним из наших заказчиков, который по долгу службы пожелал остаться анонимным. Все совпадения имён и айпишников считать случайными. Попробовать сделать то же самое можно в любое время в нашем демо-центре в Москве — желающих просим писать в комментарии.
Приветствую. Меня зовут Эдуард, и я системный администратор в небольшой компании, которая аутсорсит администрирование ИТ-инфраструктуры. Кхм… Уже похоже на клуб анонимных кого-то с проблемами? Ну да ладно, одна интересная проблема у нас действительно была, а сегодня мы расскажем, как мы с ней столкнулись, и как случайно её решили.
Для начала немного предыстории. Все же помнят, как весело было админить удалённое железо раньше, лет 5-8 назад? Пишем заявку инженерам в ДЦ, ждём, когда они подключат KVM, настраиваем BIOS/CMOS, выставляем загрузку по сети, ставим систему (это хорошо, если кто-то добрый уже написал генератор preseed/kickstart-файлов, и в ДЦ есть DHCP/PXE сервер). А потом у нас на всех серверах появился ipmi (ну со временем). Ох, как мы радовались первое время!
И сервер уже вроде бы ставит ОС. Остаётся только наблюдать за этим в консоли, если скучно. Огорчало только то, что BIOS всё равно приходилось обновлять руками и настраивать (ну там HT/VT-d включить, хотя бы). В итоге все серверы были настроены по-разному, в зависимости от того, в каком квартале их ставили. Ну вы же понимаете, что серверы всегда ставил самый младший админ.
Когда мы находили что-то критичное – мы шли и руками переключали настройки. Бардак, да и только. Но вообще всё это нас устраивало до того, как с нами случилась история, о которой я сегодня и буду рассказывать.
Стоит упомянуть, что часть клиентов мы размещаем прямо на своём железе (точнее на виртуалках на этом железе, которое рулится через ). Ну чтобы вам было легче представить – наша система сильно похожа на OpenStack. И вот, в один прекрасный день, к нам пришел заказчик и попросил «на его железе сделать систему для управления виртуальными машинами в приватном облаке». Мы обрадовались, начали ему показывать своё решение (уже после подписания контракта и ТЗ), ему всё понравилось. Всё понравилось, менеджеры уже открывают шампанское (а надо сказать, что контракт по нашим меркам был очень неплохой). И тут клиент показывает пальцем в пункт ТЗ и спрашивает – «а с этим как?». Сидят админы и недоуменно смотрят в этот пункт – «новые серверы должны автоматически добавляться в облако после инвентаризации, установки в стойку и подключения сети-питания». Мы начали показывать – вот смотрите, мы записываем сервер сюда (1c), добавляем его mac-адрес вот сюда (самописная web-морда для управления dhcp-сервером и pxe), запускаем скрипт, сервер загружается по сети, система ставится (мы с облегчением выдохнули, поняв, что хотя бы система ставится сама), потом мы ловим сервер при перезагрузке, усиленно жмем клавишу Del… В общем, представитель клиента посмотрел на это, почесал затылок, походил по переговорке, собрался с мыслями и произнес: «Да где ж тут автоматически? Вот давайте выкинем всё, кроме 1С, всё равно туда бухгалтеры сервер вносить будут, а не я, и того места, куда вы mac-адрес записывали». Ну и вскоре после этого ушел, добавив, что надеется на то, что задачу мы всё же решим.
Потом мы, как обычно, ТЗ решили прочитать. Нашли там всякие интересные пункты, которые мы (ну те, кто делал задачу, а не те, кто ТЗ подписывал и пересказывал его нам) увидели впервые. Например, мониторинг температуры в обход ОС, мониторинг потребления электричества, автоматическая настройка BIOS… Начали размышлять. Сначала склонялись к мысли, что ipmitool всё это может. Потом представили, как всё это будет выглядеть. Подумали про то, как обновлять настройки, про мониторинг датчиков… В общем, разошлись на выходные с задачей «изучить весь гугл на предмет альтернатив ipmi, которые могут».
Приходим в понедельник, все грустные, злые. А один админ сидит и улыбается. Логичным было пристать к нему с расспросами на тему того, зачем он читает ithappens, когда у нас такая беда. Как оказалось, радовался он по поводу того, что читал не ithappens, а Redfish server management spec v 1.0 (читать здесь). Почитали все вместе вслух, злиться перестали. Redfish оказался именно тем, что нам нужно. Взяли менеджера, заставили его обзванивать всех производителей серверов, чтобы найти железку, в которой Redfish реализован. Приходят через час и смеется, показывает пальцем на коробку у входа и говорит «всё, я нашел». Собственно, коробка оказалась коробкой от HP Proliant Gen9. Сервер мы нашли, вернули в лабораторию (и кто вообще догадался новенький неизученный сервер сразу в ДЦ везти…) и приступили к знакомству с HP REST API (которая и является реализацией Redfish в серверах HP).
Так как мы админы (это потом уже нам дали питониста и он нам всё написал и сделал красивый web-интерфейс), то первым делом мы сели писать sh-ники, которые будут делать то, что нам нужно. Конечно, мы бы не советовали ходить в Rest API консольным curl-ом и генерировать JSON через echo (ну или хотя бы потом не показывайте никому это), но вот поделиться примерами взаимодействия с HP ProLiant REST API будем рады (тем более, что сами представители HP нас об этом и попросили).
Возможностей там полно на самом деле, в документации 2 сотни страниц списка объектов и краткого их описания. Мы первым делом пытались выполнить свои основные задачи, как proof-of-concept. Конечно, часть из них можно делать и через IPMI, но мы решили использовать один инструмент, именно API.
Первым делом (ну хорошо, вторым, после подключения сервера в стойке и после того, как HP iLO получит IP-адрес), прописываем все настройки BIOS:
Научимся управлять питанием. Ребут «по кнопке»:
«Выдёргиваем кабель из розетки»:
Отправляем инженера «нажать кнопку питания»:
Спросим у сервера, кто он такой:
PATCH-запросом в эту же ручку можно изменить информацию о сервере внутри iLo.
Спросим MAC-адреса у сервера (да, в итоге мы пошли дальше и DHCP-сервер сам проводил инвентаризацию новых серверов, если находил незнакомый iLO в отдельном VLAN-е – для iLO мы выдавали динамические адрес, а потом уже заводили записи о статических адресах для сетевых карт сервера и интерфейса iLo):
Из предыдущего JSON-а мы вытаскивали также и количество памяти с моделью CPU, потом разработчики сделали интеграцию с 1С, сервер отправлял данные о себе и туда. Здесь же мы определяли и версию BIOS, чтобы ругаться об устаревших (или просто отличающихся по кластеру) версиях.
Ещё через REST API можно снять показания метрик питания (к сожалению, не во всех «уровнях» лицензии iLO):
Ещё мы нашли какую-то жуткую ручку, которая описывает состояние сервера – обороты вентилятора, температуру, состояние разных железок внутри сервера.
А ещё нашли объект, который говорит о состоянии сервера в целом (ОК/fail) и чем он сейчас занимается (в нашем примере он загружался):
В общем, sh-ник мы в итоге написали и отдали его разработчику. Он над нами посмеялся, мы его за это поругали, пригрозили рута отобрать… Но зато он потом написал модуль в наше облачко, который умеет добавлять и управлять серверами через Redfish (и HP REST API, соответственно). Ну а заказ мы в итоге выполнили.
Наверное, пора закругляться. Расскажем про тех, кто играл главные роли во всей это истории.
Инструмент удаленного управления HP iLO
При помощи iLO сокращается время необходимое на решение возникших проблем, благодаря функциям удаленного доступа и устранения неполадок. Внешнее управление в свою очередь позволяет выполнять обслуживание и поддержку серверного оборудования независимо от его расположения.
Обновление версий программного продукта HP iLO происходит каждые несколько лет, на сегодня актуальной в моделях серверного оборудования 10 поколения является версия iLO 5.
Серверы HP ProLiant G2, G3, G4, G6 в моделях серии 300 и ниже
Серверы HP ProLiant G5 и G6, в моделях серии 300 и выше
Серверы HP ProLiant G7
Серверы HP ProLiant Gen8 и Gen9
Серверы HP ProLiant Gen10
Стандартная лицензия Essentials бесплатна и является доступной по умолчанию, для начала работы не нужно производить установку или настройку чего-либо. Также доступно обновление до расширенной лицензии iLO Advanced, которая обладает расширенным функционалом.
Краткий список основных возможностей которые включает в себя iLO:
Быстрый старт
Пользовательский интерфейс является удобным и понятным, с навигационным древовидным меню, расположенным в левой части страницы.
В статье рассмотрены возможности iLO 4 c расширенной лицензией Advanced.
Меню состоит из таких разделов:
Удаленная консоль:
.NET предоставляет доступ к системной клавиатуре, видео и мыши (или KVM) и позволяет управлять виртуальной мощностью и виртуальными носителями с единой консоли через браузер на клиенте Windows. Поддерживается захват консоли, общую консоль, виртуальную папку и носители со сценариями (помимо стандартных функций).
Java также предоставляет доступ к системному KVM, позволяющему управлять Virtual Power и Virtual Media из консоли на основе Java, и включает в себя инструмент для создания образа диска iLO и Scripted Media.
Для смартфонов с iOS и Android доступно мобильное приложение iLO. Оно обеспечивает доступ к удаленной консоли с вашего смартфона или планшета, что делает контроль и отслеживание параметров сервера ещё более мобильным и доступным.
Virtual media:
С возможностью удаленной консоли тесно связано управление виртуальными носителями для монтирования образов дисков. Хотя функция Virtual Media поддерживает ISO-образы объемом до 8 ТБ, максимальный размер файла также зависит от других элементов, включая ограничение единого размера файла для файловой системы, в которой хранится ISO-образ, и команд SCSI, поддерживаемых ОС сервера.
При первом использовании iLO операционная система может предложить пользователю выполнить мастер установки нового оборудования.
Также в этом разделе можно настроить порядок загрузки системы.
Управление питанием:
Возможность прямого управления питанием системы может иметь решающее значение для восстановления системы, в которой произошел сбой ОС, или для восстановления после определенных проблем с оборудованием.
Расширенные настройки
iLOFederation
Технология iLO Federation позволяет обнаружить другие серверы HP, и осуществлять мониторинг и управление ими. iLO Federation обладает отличными возможностями масштабируемости. Возможно объединение как нескольких устройств, так и большого ЦОД. Система по умолчанию будет находить другие устройства в общей сети (в зависимости от конфигурации сети.)
Это позволяет получить групповой обзор систем и их состояния. На приведенном ниже рисунке показан пример группы обнаруженных серверов и указано, что в одном из них в настоящее время найдены проблемы в работе. Также есть возможность напрямую перейти в панель iLO, той системы, в которой произошел сбой.
Вот список функций в iLO Federation. Для некоторых из этих функций требуется расширенная лицензия Advanced.
Мониторинг состояния системы
Информация о компонентах сервера и их работоспособности, нуждается в детальном отслеживании и контроле. Подменю «System information» отображает данные о том, какие аппаратные устройства установлены в системе, отслеживает их статус и работоспобность.
На вкладке «Summary» отображается состояние отслеживаемых подсистем и устройств, которые ипользуются в сервере.
Если сервер выключен, будет отображаться информация о состоянии системы, актуальная на момент последнего отключения питания. Кроме того, информация о работоспособности обновляется только после включения сервера и завершения процедуры POST.
Управление энергопотреблением:
При помощи различных настроек в этом меню можно управлять настройками питания. Также здесь отображается энергопотребление в текущее время и за различные временные промежутки в виде графика. В меню «Управление питанием» есть три доступных параметра: «Питание сервера», «Power Meter» и «Настройка питания».
На странице «Питание сервера» раздел «Кнопка виртуального питания» показывает пользователям текущее состояние питания сервера, а также доступные параметры для удаленного управления питанием сервера.
На странице «Power Meter» отображается энергопотребление сервера за конкретное время. Графики, к которым пользователи могут получить доступ, включают 24-часовой график, который показывает энергопотребление сервера за предыдущие 24 часа и 20-минутный график, который показывает энергопотребление сервера за предыдущие 20 минут. Также доступна опция Power History, которая отображает показания мощности (средняя, максимальная и минимальная мощность) за три периода времени: 5 минут, 20 минут и 24 часа.
Управление питанием позволяет пользователям контролировать и просматривать функции управления питанием сервера, которые различаются в зависимости от конфигурации сервера.
Другие дополнительные функции
Интеграция каталогов/доменов позволяет использовать существующий каталог (например, Active Directory) для обработки аутентификации и авторизации для пользователей iLO. Данная функция позволяет централизованно управлять паролями, что делает управление многими системами с поддержкой iLO более масштабируемым. Осуществить это можно настроив конфигурацию Kerberos для автоматической аутентификации на основе того, что пользовательская система вошла в домен, не запрашивая снова доступ iLO.
Резюме
HP iLO является мощной технологией управления, а также центральным компонентом комплексного решения для мониторинга. Возможности управления намного превосходят возможности большинства решений KVM и тесно интегрируются с другими продуктами HP и инфраструктурой клиентов.
Технология iLO делает управление сервером очень простым, не только в масштабных системах. Даже небольшие организации могут воспользоваться преимуществами базовой лицензии Essentials, которая предлагает администраторам некоторые ключевые функции.
Хотя для покупателей небольшого количества серверов, функция удаленного управления не является решающей в выборе оборудования, возможно им стоит обратить большее внимание на этот аспект.
Лицензия iLO Advanced. Для чего она нужна именно сейчас?
В статье рассмотрел наиболее важные, на мой взгляд, преимущества лицензии iLO Advanced для процессора управления HPE Proliant Light-Out. И, самое главное, написал инструкцию, как получить временную лицензию со сроком действия до 1 января 2021 года.
В эти непростые времена мы решили поддержать малый и средний бизнес на «удаленке». Теперь каждый из вас может скачать себе ключ на активацию функционала HPE iLO Advanced на серверах HPE ProLiant, доступ к которому будет действовать до конца 2020 года.
Корпоративные заказчики продолжают пользоваться всеми преимуществами лицензии HPE iLO Advanced, а компании поменьше на ней экономят. Сейчас у них появилась возможность оценить расширенный функционал ПО.
Давайте сравним возможности стандартной и расширенной версии HPE iLO:
| Функционал | HPE iLO Standard | HPE iLO Advanced |
| Поддержка платформ | Есть во всех серверах, где присутствует контроллер управления iLO. Бесплатно> | Все серверы ProLiant, блейд-серверы, вычислители Synergy, картриджи Moonshot в шасси Edgeline |
| Диагностика «Active Health» | — | + |
| Расширенное управление питанием «Advanced Power Management» (графики энергопотребления во времени, возможность динамического ограничения энергопотребления | — | + |
| Автоматическое восстановление безопасной конфигурации | — | + |
| Безагентный мониторинг | + | + |
| Резервное копирование и восстановление конфигурации | + | + |
| Режим Commercial National Security Algorithm (CNSA) | — | + |
| Аутентификация через доменную службу | — | + |
| Встроенная удаленная поддержка | + | + |
| Встроенная система мониторинга состояния сервера | + | + |
| Система коллективной работы через интегрированную консоль удаленного доступа | — | + |
| Поиск через службу «iLO Federation Discovery» | + | + |
| Управление через службу «iLO Federation Discovery» | — | + |
| Перезагрузка HPE iLO | + | + |
| HPE iLO RESTful API | + | + |
| Встроенная консоль удаленного управления | Для BL и WS – стандартно, для остальных серверов – до загрузки в ОС | + |
| Видеозапись действий в консоли удаленного управления | — | + |
| IPMI через LAN/DCMI | + | + |
| IPv6 | + | + |
| Поддержка технологии «Jitter Smothing» | — | + |
| Запись и просмотр состояния сервера на момент загрузки | + | + |
| Передача данных в формате «Syslog» | — | + |
| RIBC | + | + |
| Верификация микрокодов в процессе работы сервера | — | + |
| Доступ к виртуальному дисководу «Virtual Media» из скриптов | — | + |
| Безопасная чистка данных из постоянной памяти HPE iLO (NAND/пользовательские данные) | — | + |
| Технология «Silicon Root of Trust» | + | + |
| Доступ по SSH | + | + |
| Доступ к удаленной текстовой консоли сервера по SSH | — | + |
| Двухфакторная авторизация (Kerberos, Smart Card – PIV/Common Access Card) | — | + |
| Доступ к виртуальному дисководу «Virtual Media» из консоли удаленного доступа | Для BL и WS – стандартно | + |
| Виртуальные кнопки управления питанием (Вкл/Вкл/Перезагрузка) | + | + |
| Виртуальный последовательный порт | + | + |
| Запись вывода и проигрывание с виртуального последовательного порта | — | + |
| Веб-интерфейс | + | + |
| Технология «Профили нагрузки» | + | + |
Подробнее о лицензировании вы можете узнать здесь.
Обращаю ваше внимание на функции удаленной графической консоли и виртуального привода DVD/ носителя USB. Это – возможность полноценного администрирования сервера удаленно без физического доступа к нему: полезная возможность для удаленной работы.
С лицензией жизнь начинает играть другими красками: можно смонтировать образ CD/DVD, лежащий на локальном диске вашего компьютера, или подключить папку на него же:
А с лицензией – есть:
Режим работы сервера:
Серверы можно объединять в группы (всегда есть группа по умолчанию) и настраивать их по общим правилам: присвоить всем один виртуальный носитель, задать для группы ограничения по энергопотреблению (если питание в стойке ограничено), раздать всем лицензию HPE iLO Advanced (попробуйте с нашей временной лицензией), сравнить и при необходимости довести микрокоды на серверах группы до одной версии, и даже включить и выключить все серверы одновременно (мечта хакера). Рекомендую присмотреться к федерации.
Мы рассмотрели далеко не все дополнительные возможности, приобретаемые сервером. Изучить остальные вы можете сами, воспользовавшись лицензией.
Итак, рассказываю, как же получить ключ. Всё просто
А теперь рассказываю, как установить ключ
А если у вас есть свободное время в самоизоляции, то рекомендую попробовать еще несколько решений.
HPE iLO Amplifier Pack – бесплатное ПО, которое поставляется в виде виртуальной машины. Оно повзоляет проводить инвентаризацию серверов, обновлять микрокоды, сохранять и восстанавливать настройки HPE iLO.
Полностью возможности раскрываются при наличии на серверах лицензии HPE iLO Advanced. Есть возможность оценить и сравнить HPE iLO Amplifier Pack с лицензией HPE iLO Advanced и без.
Документация доступна по этой ссылке.
Для серверов работает в связке с HPE iLO Amplifier Pack. HPE InfoSight for Servers – облачный сервис по диагностике и мониторингу вашего оборудования. Чтобы им воспользоваться, необходимо иметь поддержку на оборудование (гарантия – тоже поддержка). В сервисе можно также отслеживать статус заявок.
Этот сервис полезен при удаленной работе, если вы не боитесь передать телеметрию (не пользовательские данные, конечно) на серверы компании.
