Bloggik.net
На всех современных серверах HP, например таких как HP ProLiant DL380 G5, используется технология iLO.
iLO (Integrated Lights-Out) — это механизм управления серверами в условиях отсутствия физического доступа к ним. Основными полезными для меня функциями iLO является: возможность удалённо по сети управлять питанием сервера (включать, выключать, перезагружать) и возможность подключиться к виртуальному последовательному порту (т.е. можно попасть в консоль установленной на сервер ОС, если последняя перестала быть доступной по сети). Можно ещё использовать iLO как IP KVM (т.е. по сети, в web браузере получить доступ к рабочему столу или консоли установленной на сервер системы), но для этого нужна дополнительная лицензия. Я же раскажу как настроить Linux (CentOS 5.4) для того, чтобы к нему можно было подключиться через виртуальный COM-порт. Для этого:
Чтобы найти устройства, доступные на компьютере, выполните:
должно появиться что-то типа:
Из выведенного можно определить, что имеется один последовательный интерфейс (/dev/ttyS0). Возможно на вашем компьютере будет более одного интерфейса. Здесь будем считать, что мы используем первое устройство (ttyS0). Если вы используете второе устройство, вам нужно заменить ttyS0 на ttyS1.
Открываем в редакторе файл /etc/iniitab и добавляем туда строчку:
Если хотим логиниться сразу с рутовым паролем, то необходимо добавить в файл /etc/securetty строчку:
Теперь необходимо чтобы процесс init перечитал свой конфиг, для этого выполните:
На этом этапе Linux готов принять подключение по COM-порту.
Теперь открываем браузер и заходим в iLO:
переходим на вкладку Remote Console:
и нажимаем на ссылку Remote Serial Console:
Управление серверами HP ProLiant через открытые REST API или «iLO на стероидах»
Вступление от HP: эта публикация написана одним из наших заказчиков, который по долгу службы пожелал остаться анонимным. Все совпадения имён и айпишников считать случайными. Попробовать сделать то же самое можно в любое время в нашем демо-центре в Москве — желающих просим писать в комментарии.
Приветствую. Меня зовут Эдуард, и я системный администратор в небольшой компании, которая аутсорсит администрирование ИТ-инфраструктуры. Кхм… Уже похоже на клуб анонимных кого-то с проблемами? Ну да ладно, одна интересная проблема у нас действительно была, а сегодня мы расскажем, как мы с ней столкнулись, и как случайно её решили.
Для начала немного предыстории. Все же помнят, как весело было админить удалённое железо раньше, лет 5-8 назад? Пишем заявку инженерам в ДЦ, ждём, когда они подключат KVM, настраиваем BIOS/CMOS, выставляем загрузку по сети, ставим систему (это хорошо, если кто-то добрый уже написал генератор preseed/kickstart-файлов, и в ДЦ есть DHCP/PXE сервер). А потом у нас на всех серверах появился ipmi (ну со временем). Ох, как мы радовались первое время!
И сервер уже вроде бы ставит ОС. Остаётся только наблюдать за этим в консоли, если скучно. Огорчало только то, что BIOS всё равно приходилось обновлять руками и настраивать (ну там HT/VT-d включить, хотя бы). В итоге все серверы были настроены по-разному, в зависимости от того, в каком квартале их ставили. Ну вы же понимаете, что серверы всегда ставил самый младший админ.
Когда мы находили что-то критичное – мы шли и руками переключали настройки. Бардак, да и только. Но вообще всё это нас устраивало до того, как с нами случилась история, о которой я сегодня и буду рассказывать.
Стоит упомянуть, что часть клиентов мы размещаем прямо на своём железе (точнее на виртуалках на этом железе, которое рулится через ). Ну чтобы вам было легче представить – наша система сильно похожа на OpenStack. И вот, в один прекрасный день, к нам пришел заказчик и попросил «на его железе сделать систему для управления виртуальными машинами в приватном облаке». Мы обрадовались, начали ему показывать своё решение (уже после подписания контракта и ТЗ), ему всё понравилось. Всё понравилось, менеджеры уже открывают шампанское (а надо сказать, что контракт по нашим меркам был очень неплохой). И тут клиент показывает пальцем в пункт ТЗ и спрашивает – «а с этим как?». Сидят админы и недоуменно смотрят в этот пункт – «новые серверы должны автоматически добавляться в облако после инвентаризации, установки в стойку и подключения сети-питания». Мы начали показывать – вот смотрите, мы записываем сервер сюда (1c), добавляем его mac-адрес вот сюда (самописная web-морда для управления dhcp-сервером и pxe), запускаем скрипт, сервер загружается по сети, система ставится (мы с облегчением выдохнули, поняв, что хотя бы система ставится сама), потом мы ловим сервер при перезагрузке, усиленно жмем клавишу Del… В общем, представитель клиента посмотрел на это, почесал затылок, походил по переговорке, собрался с мыслями и произнес: «Да где ж тут автоматически? Вот давайте выкинем всё, кроме 1С, всё равно туда бухгалтеры сервер вносить будут, а не я, и того места, куда вы mac-адрес записывали». Ну и вскоре после этого ушел, добавив, что надеется на то, что задачу мы всё же решим.
Потом мы, как обычно, ТЗ решили прочитать. Нашли там всякие интересные пункты, которые мы (ну те, кто делал задачу, а не те, кто ТЗ подписывал и пересказывал его нам) увидели впервые. Например, мониторинг температуры в обход ОС, мониторинг потребления электричества, автоматическая настройка BIOS… Начали размышлять. Сначала склонялись к мысли, что ipmitool всё это может. Потом представили, как всё это будет выглядеть. Подумали про то, как обновлять настройки, про мониторинг датчиков… В общем, разошлись на выходные с задачей «изучить весь гугл на предмет альтернатив ipmi, которые могут».
Приходим в понедельник, все грустные, злые. А один админ сидит и улыбается. Логичным было пристать к нему с расспросами на тему того, зачем он читает ithappens, когда у нас такая беда. Как оказалось, радовался он по поводу того, что читал не ithappens, а Redfish server management spec v 1.0 (читать здесь). Почитали все вместе вслух, злиться перестали. Redfish оказался именно тем, что нам нужно. Взяли менеджера, заставили его обзванивать всех производителей серверов, чтобы найти железку, в которой Redfish реализован. Приходят через час и смеется, показывает пальцем на коробку у входа и говорит «всё, я нашел». Собственно, коробка оказалась коробкой от HP Proliant Gen9. Сервер мы нашли, вернули в лабораторию (и кто вообще догадался новенький неизученный сервер сразу в ДЦ везти…) и приступили к знакомству с HP REST API (которая и является реализацией Redfish в серверах HP).
Так как мы админы (это потом уже нам дали питониста и он нам всё написал и сделал красивый web-интерфейс), то первым делом мы сели писать sh-ники, которые будут делать то, что нам нужно. Конечно, мы бы не советовали ходить в Rest API консольным curl-ом и генерировать JSON через echo (ну или хотя бы потом не показывайте никому это), но вот поделиться примерами взаимодействия с HP ProLiant REST API будем рады (тем более, что сами представители HP нас об этом и попросили).
Возможностей там полно на самом деле, в документации 2 сотни страниц списка объектов и краткого их описания. Мы первым делом пытались выполнить свои основные задачи, как proof-of-concept. Конечно, часть из них можно делать и через IPMI, но мы решили использовать один инструмент, именно API.
Первым делом (ну хорошо, вторым, после подключения сервера в стойке и после того, как HP iLO получит IP-адрес), прописываем все настройки BIOS:
Научимся управлять питанием. Ребут «по кнопке»:
«Выдёргиваем кабель из розетки»:
Отправляем инженера «нажать кнопку питания»:
Спросим у сервера, кто он такой:
PATCH-запросом в эту же ручку можно изменить информацию о сервере внутри iLo.
Спросим MAC-адреса у сервера (да, в итоге мы пошли дальше и DHCP-сервер сам проводил инвентаризацию новых серверов, если находил незнакомый iLO в отдельном VLAN-е – для iLO мы выдавали динамические адрес, а потом уже заводили записи о статических адресах для сетевых карт сервера и интерфейса iLo):
Из предыдущего JSON-а мы вытаскивали также и количество памяти с моделью CPU, потом разработчики сделали интеграцию с 1С, сервер отправлял данные о себе и туда. Здесь же мы определяли и версию BIOS, чтобы ругаться об устаревших (или просто отличающихся по кластеру) версиях.
Ещё через REST API можно снять показания метрик питания (к сожалению, не во всех «уровнях» лицензии iLO):
Ещё мы нашли какую-то жуткую ручку, которая описывает состояние сервера – обороты вентилятора, температуру, состояние разных железок внутри сервера.
А ещё нашли объект, который говорит о состоянии сервера в целом (ОК/fail) и чем он сейчас занимается (в нашем примере он загружался):
В общем, sh-ник мы в итоге написали и отдали его разработчику. Он над нами посмеялся, мы его за это поругали, пригрозили рута отобрать… Но зато он потом написал модуль в наше облачко, который умеет добавлять и управлять серверами через Redfish (и HP REST API, соответственно). Ну а заказ мы в итоге выполнили.
Наверное, пора закругляться. Расскажем про тех, кто играл главные роли во всей это истории.
Проливая свет на HP ProLiant iLO Management Engine
Привет, меня зовут Алексей Павлов, я занимаюсь в HP Россия подготовкой технических заданий по серверному, сетевому оборудованию и системам хранения.
Компания HP анонсировала восьмое поколение серверов в марте 2012 года. О некоторых особенностях дизайна уже было сказано здесь: habrahabr.ru/company/hp/blog/141796.
А теперь я хочу показать вам красоту заложенных в Gen8 решений на простом практическом примере. Недавно в нашем демо-центре в московском офисе мне удалось потестировать DL380p Gen8, и я хочу подробнее рассказать об особенностях развертывания ОС с помощью HP iLO Management Engine.
В этом посте вы найдете пару видео, несколько скриншотов и мои комментарии к ним.
HP iLO Management Engine представляет собой полный набор встроенных инструментов, которые работают на протяжении всего жизненного цикла сервера: первоначальное развертывание, постоянное управление, оповещение, удаленная техническая поддержка. HP iLO Management Engine поставляется со всеми серверами HP ProLiant Gen8 без ограничений по функциональности (то есть никакого больше деления на iLO 100 и полноценный iLO).
Ключевых встроенных инструментов четыре: HP Intelligent Provisioning, HP Agentless Management, HP Active Health System, HP Insight Remote Support.
HP Intelligent Provisioning включает в себя функции по конфигурированию железной части сервера: все драйверы, агенты, прошивки, конфигурационные утилиты теперь хранятся в NAND-памяти на материнской плате. Так же в HP Intelligent Provisioning интегрированы функции HP SmartStart и установки ОС. Кстати, о SmartStart мы планируем подробно рассказать в одном из ближайших постов.
HP Agentless Management производит мониторинг состояния сервера без установки агентов под ОС – проверка состояния железа и фунции оповещения теперь вынесена на чип iLO 4 и не зависит от ОС и процессора.
HP Active Health System – своеобразный «черный ящик» сервера, куда постоянно записываются состояния компонентов сервера и малейшие изменения в конфигурации hardware. В зависимости от типа контракта на поддержку данные могут записываться в «банк данных» сервера удаленной поддержки, чтобы, например, заранее предоставить жесткий диск на замену, если появятся первичные признаки деградации RAID-группы.
HP Insight Remote Support – возможность удаленного подключения к серверу в любом месте и круглосуточная помощь по техническим вопросам. С выходом iLO 4 появилась возможность управления сервером с помощью мобильных устройств — есть приложение для iOS и Android.
И от теории к практике: приступим к удаленной установке Windows Server 2008 R2 на DL380p Gen8.
1. На верхней крышке сервера будет указана информация по логину и паролю к iLO 4 сервера, куда мы и будем подключаться. IP-адрес iLO 4 назначается по DHCP. При первом подключении можно зайти на DHCP-сервер и посмотреть присвоенный адрес, либо подключиться локально и назначить адрес вручную.
2. C этого момента смотрим видео выше. Подключаемся к iLO. Скриншоты кликабельны.
3. Попадаем в главное меню (00:10). Здесь можно получить всю информацию о системе.
4. Из Active Health System Logging (01:20) можно выгрузить отчет о работе сервера за определенный промежуток времени и отправить его в виде файла на диагностику в сервисный центр.
5. Можно изучить какое потребление питания на сервере (02:44) и изменить настройки (03:08).
6. Апгрейд iLO доступен в автоматическом режиме с помощью Intelligent Provisioning или вручную (03:58).
7. Можно создать несколько пользователей (04:04) или назначить права существующим на какие-либо действия. Например, можно назначить права оператора администраторам, которые смогут удаленно перезагружать сервер, подключаться удаленно, подключать virtual media, разворачивать образы, конфигурировать iLO и управлять другими пользователями.
9. Обратите внимание на галочки в правом нижнем углу: почти все «вкусности» Gen8 задействованы в этом сервере.
10. Далее попадаем в менеджер настройки сервера HP Smart Start (01:22). Здесь доступна установка ОС и настройка устройств сервера.
11. SmartStart представлен 9 компонентами (01:28). Active Health System download (01:31) позволяет загрузить на Flash логи сервера и отправить их в сервисный центр.
12. Array Configuration Utility (01:51) позволяет сконфигурировать дисковую подсистему сервера и настроить RAID контроллер p420i. Особенности нового контроллера:
Диски немного уменьшились в размере, что позволяет теперь размещать до 25 дисков в одном сервере. У самого диска появился индикатор его активности в RAID, кнопка “do not remove”, задняя подсветка.
Для SSD появилась функция оценки здоровья диска: SSD Wearing Gauge.
13. В Quick Configs можно изменить настройки профиля BIOS сервера (02:14).
14. Intelligent provisioning preferences позволяет настроить сетевой адаптер для iLO (02:42) и получить справку по всем функциям.
15. Функция Insight Remote Support позволяет ввести адрес удаленного сервера поддержки HP (04:08), на который будет отправляться информация по состоянию системы.
16. Установка ОС происходит в несколько простых этапов (05:06). Сначала собирается информация о конфигурации сервера.
17. Далее предлагается выбрать тип установки (05:38), recommended install позволяет автоматически установить все обновления, подготовить дисковое хранилище и установить драйверы HP.
18. Операционная система готова к установке (06:08).
Думаю, все очень просто и понятно 🙂
По скорости развертывания такая система быстрее на 20% по сравнению с ProLiant поколения G7, а скорость доступности первых данных о сервере после включения – уже через 3 секунды.
Я осветил только одну часть той работы, которая была проделана инженерами HP в рамках последних двух лет, и которая была воплощена в новых серверах Gen8. Об остальных улучшениях постараюсь написать в следующих обзорах.
Пошаговая настройка HP Integrated Lights Out (ILO)
Одной из основных замечательных вещей в серверах HP является наличие интерфейса удаленного управления Integrated Lights Out (ILO). Этот инструмент позволяет в любой момент осуществить удаленный доступ к консоли сервера HP (будь то этап POST проверки или загрузки ОС). Стандартные функции ILO включают в себя: удаленное включении/выключение сервера, виртуальные устройства, перенаправление режима текстовой консоли, доступ к логам оборудования, доступ к утилитам диагностики. Возможность полного перенаправления графического интерфейса доступна только с лицензией типа advanced. В этой статье я пошагово расскажу про первоначальную настройку и доступ к ILO на сервере Proliant ML350 G5.
Во-первых, подключите ваш интерфейс ILO в вашу сеть LAN (обычно это отдельная выделенная сеть управления).
Сервера HP поставляются со специальной биркой. На данной бирке напечатан серийный номер и информация для доступа к Integrated Lights Out (заводские имя пользователя и пароль).
Самый простой способ получения доступа к утилите настройки ILO – нажать во время POST клавишу F8.
Меню является достаточно простым и понятным. Для навигации используйте стрелки.
Первым делом нужно перейти в меню настройки сети (Network), где мы должны отключить DHCP и ввести DNS имя этого интерфейса.
Далее нужно настроить статический IP адрес.
Далее нужно будет установить пароль администратора или создать новых пользователей.
Обратите внимание, имя пользователя и пароль вводятся с учетом регистра. Чтобы сохранить настройки и перезапустить сервер выберите Exit.
Попробуйте получить доступ к веб-интерфейсу ILO. Для чего в браузере наберите: https://ip_adres_ilo_interface и появится примерно такое окно.
Также возможно настройка ILO прямо из установленной операционной системы, для чего можно воспользоваться консольной утилитой HPONCFG. HPONCFG – это утилита HP, которая позволяет взаимодействовать и управлять настройками ILO. Эту утилиту можно использовать в различных скриптах и сценариях.
Рекомендую познакомиться также со статьей о настройке доменной аутентификации на HP iLO. Данная настройка позволяет авторизоваться на управляющем интерфейсе ILO при помощи обыкновенной доменной учетной записи и удобно управлять большим парком серверов, без необходимости хранить и помнить пароль от ILO на каждом сервере.
забыл написать, что лучше адмнить ило через веб, иначе можно потерять его совсем
Спасибо! Очень помогли
Добрый день
хотел спросить при добавлении пользователя, в чем разница между username и login name?
спасибо заранее
username — отображаемое имя пользователя (может быть произвольныи)
login name — логин пользователя, логин под которым осуществляется вход
Может ли помочь использование iLO, если сервер HP ProLiant ML350 G4 не выходит на видео, клавиатуру, флоп
Да, iLO карты там нет. Вы не могли бы прокомментировать полное сообщение в топике? http://monitor.espec.ws/section5/post1850746.html#1850746
Спасибо.
Я вас явно какая-то аппаратная проблема с сервером. Все, чем могла бы помочь плата ILO — возможностью прочитать диагностическое сообщение (и то не факт)….
Здравствуйте. Не могу подключиться к iLO, не пингуется, даже нет индикации на порту. iLO сконфигурирован на статический адрес… Что может быть? Прошу помощи
Кабель рабочий 100%
Линка но порту как я понял нет?
Вообще, похоже на неисправность самой платы ILO…
Попробуйте на сервере установить HP Lights-Out Online Configuration utility, посмотреть видит ли она плату ILO. Если получится сбросить конфигурацию на default.
Еще раз проверьте настройки…
Если ничего не помогает, открывайте кейс в HP.
Большое спасибо! Вы правы, сброс на заводские настройки iLO помог. Правда пришлось сбрасывать в двух средах: дос и IntelligProvisi…
А как можно сбросить iLO на заводские настройки если сервер не включается? Была попытка прошивки ОА корзины, и после этого не включается лезвие, пишет менеджмент процессор фаулт.
Спасибо.
З.Ы. гулянье с перемыками 6 (1,5,6) не помогло.
Если интерфейс ILO доступен по сети, можно попробовать подключится к нему по ssh/telnet и сбросить конфиг ILO такими командами:
cd /Map1
reset
На блейд серверах:
Подключаетесь по SSH на Onboard Administrator и сбрасываете командой:
CONNECT SERVER [bay_number]
CD /MAP1
RESET
или так
Reset ILO [bay_number]
Если же не доступен — в конфигурационном режиме ILO (F8 при загрузке, File->Set Defaults)
а если по сети не доступен? что делать?
Если интерфейс ILO по сети недоступен, в первую очередь проверьте коммутацию портов и маршрутизацию пакетов между вашими подсетями. Если проблем не обнаружится — остается одно — сбросить настройки ILO локально через POST меню на консоли сервера.
А можете подсказать в пошаговом варианте (сбросить настройки ILO локально через POST меню на консоли сервера.), где что нажимать, вводить?
Вот мануал для локального сброса настроек ILO на серверах HP Gen 9 (_http://h17007.www1.hp.com/docs/iss/proliant_uefi/s_Resetting_iLO_to_the_factory_default_settings_by_using_the.html)
Либо через диск Smart Start (_http://www.serverhead.com/restore-hp-ilo-factory-defaults-hp-smartstart-cd/)
подскажите, пожалуйста, а что можно сделать если ило пингуется, но ни по ssh/telnet/web не откликается?
Как вариант сбросить сетевые параметры и после перезагрузки опять внести
этот вариант уже пробовал, сброс в дефолтные настройки и после ребута настройка с нуля. не помогло.
если сброс не помог, попробуйте перезалить прошивку ilo карты
этот вариант уже пробовал, сброс в дефолт и после ребута настройка с нуля — не помогло.
Сбрасывали в досе? 22 марта прошлого года у меня была подобная проблема, вот как решил:
22.03.2015
Большое спасибо! Вы правы, сброс на заводские настройки iLO помог. Правда пришлось сбрасывать в двух средах: дос и IntelligProvisi…
Подскажите пожалуйста как узнать IP ILO зная имя сервера?
Спс.
Подскажите пожалуйста как узнать IP ILO зная имя сервера?
Спс.
Посмотреть IP iLO можно из веб интерфейса ОА — это самый быстрый способ. или через CLI интерфейс ОА.
Добрый день.
На плате ILO есть отдельный джампер. Насколько я помню для сброса настроек нужно переключить его.
Вот что-то нашел похожее:
You need to set jumper (J29)the Integrated Lights-Out Security Override Switch.
To set the iLO Security Override Jumper:
1. Power down the server.
2. Remove the server from the rack.
3. Remove the server access panel.
4. Locate the three pins of J29 and move the jumper from the front and center pins to the center and rear pins to override password security. J29 is to the front of the 30 pin Remote Insight Connector.
5. Replace the server access panel and put the server back into the rack.
6. Power on the server.
7. Logon to the iLO and reset the passwords.
Можно ли менять порт для доступа на iLO, т.е. не по дефолтному ходить, а по тому, который мне нужен?
О спасибо) пробросил заодно и Virtual Media, если нужно будет HDD смонтировать)
Добрый день
подскажите, выключили электричество, после включения на панеле самого сервера моргала красная лампочка. С веб-интерфейса включить не удалось, только физическое нажатие кнопки на самом сервере (при корректном выключении включается без проблем). Бывает такое, что нет людей в офисе, чтобы нажать кому-то кнопку, при таком отключении. Можно как то обойти данную опцию и включить удаленно?
В ILO есть несколько вариантов включения/выключения. ЧТо-то вроде Momentary Press, Press & Hold, Cold Boot и Reset. Все варианты пробовали?
