Серверы под контролем
Правильно функционирующая ИТ-инфраструктура — основа для успешного бизнеса. Важную роль в этом играет управление информационными системами. Что именно отличает современный подход к управлению ИТ? Прежде всего, это простота (встроенные средства управления серверами или программные агенты), эффективность (автоматизированные и тиражируемые процессы) и высокая надежность (бесперебойная работа и доступность средств управления).
Инструментарий для сисадмина
Компания Dell разработала для системных администраторов ЦОД программный пакет Dell OpenManage. Он содержит ряд инструментов и модулей для управления большим количеством серверов и требует для работы контроллера удаленного доступа Dell Remote Access Controller (iDRAC) или программного агента OpenManage Server Administrator (OMSA).
Использование устанавливаемой в сервер Dell PowerEdge платы управления iDRAC с контроллером жизненного цикла (Lyfecycle Controller) позволяет реализовать такие функции как развертывание, обновление, мониторинг и обслуживание серверного оборудования. Благодаря iDRAC в шесть раз ускоряется замена сбойных компонентов. Контроллер iDRAC совместим со всеми ОС и гипервизорами.
С помощью Lifecycle Controller администраторы могут конфигурировать оборудование и BIOS, развертывать операционные системы и настраивать RAID, обновлять драйверы и микропрограммы, сохранять профили оборудования.
Другой метод доступа, поддерживаемый OpenManage, это устанавливаемый на сервере агент OMSA. Dell OpenManage Server Administrator – комплексное решение для управления системами, которое поддерживает два способа работы:
Решения Dell в области управления системами включают в себя консоли управления OpenManage (Essentials, Mobile, Power Center, Chassis Management Controller), средства управления конвергентной инфраструктурой (Active System Manager), инструменты и утилиты (Repository Manager, OpenManage Server Administrator), средства интеграции с консолями управления других вендоров (Microsoft System Center, VMware vCenter) и подключения к консолям управления HPE, IBM, Oracle, Nagios.
Главный компонент Dell OpenManage — консоль управления OpenManage Essentials. Она автоматически обнаруживает, удаляет, каталогизирует серверы Dell PowerEdge, системы хранения, сетевое оборудование и межсетевые экраны Dell SonicWALL. При использовании iDRAC продукт программных агентов не требует. Dell OpenManage Essentials также позволяет автоматически развертывать большое число серверов, используя профили оборудования и операционной системы.
ПО Dell OpenManage Essentials дает администраторам комплексную картину «состояния здоровья» ресурсов Dell в интерфейсе приборной панели. Пользователи могут настроить уведомление сервисной службы при наступлении в ЦОД заданных событий. OpenManage Essentials также устанавливает на серверах PowerEdge микропрограммы (прошивки) и драйверы, а для обновления систем за межсетевым экраном применяется Dell Repository Manager. Остановимся на основных функциях продукта подробнее.
Основные функции Dell OpenManage Essentials
Основные функции Dell OpenManage Essentials (OME) включают:
Например, Dell OME значительно (с 74 до 5) сокращает число шагов при настройке конфигурации сервера Dell PowerEdge R730 по сравнению с унаследованными методами.
В Dell OpenManage Essentials входит также четыре дополнительных модуля:
Консоль Dell OpenManage Essentials контролирует состояние серверов PowerEdge, систем хранения данных Dell PowerVault и Dell EqualLogic, а также коммутаторов Dell PowerConnect. Этот простой, экономичный подход к комплексному управлению отвечает потребностям большинства предприятий. Кроме того, OpenManage отслеживает гарантийные сроки на оборудование Dell.
Таким образом, ПО OpenManage Essentials упрощает и автоматизирует задачи управления оборудованием дата-центра, например, позволяет автоматизировать управление серверами Dell PowerEdge на всем их жизненном цикле. Оно легко устанавливается, и работать с ним не сложно.
С помощью Dell OpenManage Power Center можно контролировать использование электроэнергии серверами (до 2 000 серверов), собирать и просматривать статистику по энергопотреблению.
OpenManage Essentials поддерживает развертывание серверов с использованием шаблонов, выявляет изменения в их конфигурации. OME автоматизирует в общей сложности 213 ручных процессов. В частности, можно присвоить серверу шаблон конфигурации и быстро проверить, соответствует ли он ему.
C OpenManage интегрирован сервис удаленной поддержки Dell SupportAssist. Сотрудники Dell могут удаленно инвентаризировать аппаратные средства клиента, контролировать их работоспособность, осуществлять диагностику и мониторинг, собирать логи. Причем поддерживается не только оборудование Dell, но и системы других вендоров. В результате на поддержку профилей серверов уходит на 91 % меньше времени, а настройки сети выполняются на 55 % быстрее.
У новых серверов Dell (например, R630, R730 и R730xd) передняя панель поддерживает связь Near Field Communication (NFC): простым нажатием кнопки на панели сервера можно подключиться к серверу через смартфон на базе Android с установленным мобильным приложением Dell OpenManage и получить полную информацию о сервере, загрузить на сервер обновленную конфигурацию, а также выполнить перезагрузку и некоторые другие действия.
Теперь мобильное приложение имеет возможность напрямую подключаться к серверам Dell по NFC. Предыдущая версия для подключения с мобильного устройства требовала ввода IP-адреса контроллера iDRAC. Начиная с 8-й версии, платформа управления iDRAC помимо интегрированного NFC-интерфейса «Quick Sync» включает возможности размещения новых профилей температуры и питания процессоров Intel.
Поддержка HTML 5 при доступе к iDRAC vConsole и vMedia повышает надежность и безопасность использования виртуальной консоли iDRAC и носителей — для этого не требуется ActiveX или Java.
Dell OpenManage Essentials против HPE OneView
Интересно сравнить эти консоли управления двух ведущих вендоров серверов. Такое тестирование провели в компании Principled Technologies. Тестовая конфигурация включала сервер Dell PowerEdge R630 c iDRAC (с Lifecycle Controller Express) и сервер HPE ProLiant DL360 с контроллером управления iLO Advanced и ПО Insight Control Console.
Время (сек), затрачиваемое на создание шаблона сервера.
Получились следующие результаты. Dell OME развертывается на 40 % быстрее, проще в использовании (для всех задач нужен только один инструмент), на 63 % быстрее обновляется (микропрограммное обеспечение скачивается и устанавливается автоматически), и на 93 % дешевле по стоимости лицензий.
Dell VRTX: первые шаги
В своих обзорах мы часто рассматриваем решения, которые выходят под маркой Dell. В этих обзорах мы стараемся вам передать суть наших продуктов: рассмотреть технические аспекты, предположить сферы возможного применения, отметить преимущества по отношению к конкурентам или их уникальность на рынке. По вашим комментариям мы, естественно, видим ваши оценки прежде всего, как профессионалов, так или иначе связанных с IT. Часто в наших описаниях упоминается про удобство настройки, обслуживания и мониторинга состояния этих продуктов. Однако подробно эту сторону Dell’овской кухни мы еще так и не рассмотрели. Как вы уже догадались, сегодня речь пойдет о тех программно-аппаратных средствах, которые мы внедряем в наши продукты для надежного и максимально комфортного использования всех без исключения устройств под маркой Dell. А поскольку рассмотреть их все в рамках одной статьи будет проблематично, мы разобьем этот материал на несколько частей. Как нам кажется, это позволит подробней остановиться на каждом из них, а вам будет проще ориентироваться в этих продуктах в дальнейшем. Мы понимаем, что некоторые из описанных нами ниже вещей могут быть для вас очевидными, однако, уверены, лишними они точно не окажутся.
Начнем мы с одной из новинок этого года — серверной платформы Dell VRTX, о которой последнее время много говорят, что нам очень приятно. В своем блоге мы уже рассматривали «вертекс» в момент его появления на российском рынке, а теперь пришло время посмотреть на него с практической стороны.
После распаковки устройства вам надо выбрать место для его установки, подключить один сетевой кабель RJ-45 в порт CMC (Chassis Management Controller) и подсоединить необходимое для работы количество IP-подключений на сетевом коммутаторе. После этого подключить систему к электропитанию. После подачи напряжения на блоки питания LED-индикатор станет активным. Вам будет нужно выбрать язык для работы и установить сетевой адрес карты управления шасси либо вручную, либо выбрать пункт DHCP. После получения IP-адреса можно спокойно закрывать переднюю стенку шасси на ключ и идти к своему рабочему месту, где вас ждут чай с печеньем 🙂
Для дальнейшей работы с устройством достаточно ввести в окне браузера IP-адрес, назначенный в начале установки. После аутентификации (для всех устройств компании Dell данные аутентификации по умолчанию: root/calvin) вы попадете на главную страницу VRTX Chassis Management Controller. Вам будет предложено изменить данные записи root, что мы настоятельно рекомендуем сделать сразу же после входа в систему. На стартовой странице перед вами будет отображено текущее состояние системы.
Цветовыми индикаторами на схематичном изображении в левой части главной страницы будут отображены состояния основных узлов системы: серверов, жестких дисков, блоков питания, вентиляторов и плат расширения. Цвета состояний стандартны: зеленый — штатный режим, желтый — проблемы в работе, красный — узел не работает. В левой части в виде древовидной структуры расположены все узлы системы (настройки и текущее состояние серверов, дисков, плат ввода\вывода и пр.), о них чуть позже. Помимо этого в верхней части окна имеются основные вкладки управления и обслуживания устройства. С их помощью вы сможете произвести базовые настройки шасси: указать DNS-имя устройства, настроить систему оповещений (мониторинга, сбоев и/или предупреждений) на e-mail или по SNMP или, например, ориентацию LCD-панели в зависимости от расположения корпуса (tower или rack). Вкладки системы управления и варианты настройки не вызывают никаких трудностей у подготовленного персонала.
Рекомендуем обратить ваше внимание на сервисную метку устройства (Service Tag), она пригодится на сайте поддержки.
В первую очередь нас интересует закладка Update. Получить обновления для всех ваших устройств Dell вы можете несколькими способами, выбор зависит только от вас и текущих условий.
Во-первых, это можно сделать с самой вкладки Update страницы Chassis Management Controller предварительно скачав файл прошивки. Для этого вы можете зайти на сайт поддержки и ввести Service Tag. Здесь вы сможете получить всю информацию по вашему устройству: дату отгрузки, срок гарантии, оригинальную конфигурацию продукта, текущую конфигурацию, драйвера и доступные обновления компонентов системы и многое другое.
Во-вторых, можно воспользоваться фирменной утилитой Dell Repository Manager и с ее помощью загрузить в локальное хранилище актуальные версии программного обеспечения всей инфраструктуры Dell на вашем предприятии.
Однако, наиболее удобным и эффективным, на наш взгляд, является обновление прошивок узлов с помощью Lifecycle Controller.
После обновления firmware всех узлов до актуального состояния, можно перейти к следующему этапу — настройке аппаратной части для работы. Во вкладке Server Overview можно просмотреть модель, конфигурацию и текущее состояние установленных серверов (M520 или M620). Здесь же настраивается доступ непосредственно к iDRAC (integrated Dell Remote Access Controller) каждого установленного сервера. Контроллер iDRAC имеет свой собственный процессор, память, сетевое подключение и доступ к системной шине. Его основные функции включают в себя управление питанием, виртуальный доступ к серверу и возможности удаленного управления — все это доступно через веб-браузер или интерфейс командной строки.
Для настройки встроенного 1Gb коммутатора необходимо развернуть вкладку I/O Module Overview и выбрать пункт Launch IOM GUI. Вы будете переправлены в оснастку Dell Network administration (не забудьте поменять стандартный пароль для root), где сможете назначить сетевые порты непосредственно серверам и провести настройку сетевой составляющей.
Как вы уже знаете, VRTX включает в себя 8 слотов PCIe для расширения возможностей серверов, входящих в его конфигурацию. Для назначения этих слотов физическим серверам необходимо воспользоваться пунктом PCIe Overview панели управления. Здесь вы можете увидеть все установленные в шасси платы расширения и указать их привязку к конкретному серверу.
Пункт меню Front Panel полностью дублирует возможности LCD панели «вертекса» и позволяет указать привязку физического DVD-привода и KVM-коммутатора к физическому серверу.
Вкладки Fans, Power Supplies и Temperature Sensors предоставляют полную информацию по текущему состоянию соответствующих узлов шасси и позволяют назначить для них режим работы (например, конфигурацию работы блоков питания по формулам 3+1, 2+2 и т.д.).
Пункт Storage отвечает за конфигурацию и работу интегрированной в VRTX СХД. Здесь вы можете создавать необходимые вам виртуальные диски на выбранных вами физических носителях, а также отдельно распределять доступ к ним для каждого из установленных серверов.
После настройки аппаратной части целесообразно воспользоваться системой развертывания Dell Lifecycle Controller для установки ОС. В зависимости от стоящих перед вами задач (или просто предпочтений) вы можете сделать свой выбор в сторону Microsoft Hiper-V либо VMWare ESX. Используя контроллеры, iDRAC вы можете обновить программное обеспечение непосредственно на серверах в составе VRTX.
Для начала удаленной установки гипервизора (или операционной системы) вам будет достаточно смонтировать в виртуальный CD-привод образ загрузочного диска с помощью оснастки Deploy OS Lifecycle Controller’а и при загрузке выбрать этот привод. Далее вам остается лишь следовать привычным для вас этапам установки операционной системы.
В следующей статье мы рассмотрим основные моменты работы систем Dell OpenManage Essentials, Dell AppAssure и Active Infrastructure.
Блейд-коммутация в шасси Dell PowerEdge M1000e
Сегодня мы расскажем о коммутаторах Dell Networking MXL и PowerEdge M I/O Aggregator для установки в модульное шасси для блейд-серверов Dell PowerEdge M1000e, предназначенных для скоростной связи серверов как в пределах шасси, так и с соседними группами серверов, системами хранения данных и для подключения к ядру сети. Они поддерживают новейшие технологии для систем коммутации и благодаря этому могут быть использованы в составе сложных сетевых архитектур не только для увеличения скорости обмена данными и создания отказоустойчивых конфигураций, но и для конвергенции сетей передачи и хранения данных. Каждый из них обеспечивает производительность 1,28 Тбит/с в дуплексном режиме, поддерживает до 6 портов 40 Гбит/с и оснащен двумя слотами для установки модулей расширения, поддерживающих различные сетевые интерфейсы. Однако, как видно из названия, один из них относится к линейке сетевого оборудования Dell Networking, а другой к серверной Dell PowerEdge. Почему – разберемся при их изучении. Начнем с блейд-шасси.
Корпус PowerEdge M1000e
Знакомство
Модульное шасси для блейд-серверов PowerEdge M1000e на данный момент является флагманом компании на рынке блейд-решений. Гибкость конфигурирования, компактность, централизованное управление, возможность наращивания мощности в процессе эксплуатации и внедрения новых технологий без полного переоснащения серверных шкафов – вот основные преимущества использования решений на основе блейд-технологии. Развивается она уже давно, и PowerEdge M1000e – зрелое, законченное решение с богатым выбором опций для комплектации. Кратко рассмотрим его устройство.
С фронтальной стороны находится шестнадцать отсеков для установки серверов половинной высоты, а также других совместимых устройств. Например, Dell выпускает iSCSI системы хранения данных для установки непосредственно в это шасси. Самый популярный формат серверов — половинной высоты, как на фотографии, однако бывают как полной высоты, так и в четверть слота. Таким образом, возможна установка до 32 серверов в одно шасси размером 10U. Также на фронтальной панели находится интерактивный мини-дисплей и порты USB и VGA для подключения клавиатуры, мыши и дисплея.
На тыльной стороне размещены шесть отсеков для блоков питания (снизу) и девять для вентиляторов, все с горячей заменой. Сверху размещаются KVM с возможностью подключения к удаленной консоли по витой паре и два отсека для Chassis Management Controller, обеспечивающего интерфейс для полного управления как шасси, так и установленного в него оборудования. Между вентиляторами расположены шесть отсеков для установки сетевых коммутаторов.
Основная часть корзины – мидплейн, через него осуществляется питание установленного оборудования и обмен данными. На каждом сервере имеются сетевые порты, предустановленные LOM либо добавленные при помощи карт расширения формата Mezzanine, на коммутаторах для корзины имеются внутренние порты, все они коммутируются через мидплейн. Скорость обмена данными по нему может достигать 8,4 Тбит/с в дуплексном режиме. При установке соответствующих сетевых коммутаторов поддерживается до 32 внутренних серверных портов на слот.
В качестве вариантов выбора Dell предлагает полтора десятка устройств разной степени сложности и мощности, а также поддерживающих разные технологии коммутации. Это Ethernet-коммутаторы собственного производства и Cisco, Fibre Channel коммутаторы Brocade и InfiniBand от Mellanox.
Внешняя коммутация
На схеме видно, что два слота А на шасси предназначены для коммутаторов Ethernet, тогда как B и C могут содержать модули с поддержкой Fibre Channel и InfiniBand. Также здесь видны два, для защиты от сбоев, модуля CMC, подключаемые к выделенной сети управления. Один модуль обеспечивает полную функциональность, второй находится в горячем резерве. Между ними KVM, на котором порт RJ-45 служит не для подключения к сети, а для удаленной консоли. Два USB и VGA – для локальной.
Внутренняя коммутация
На рисунке показана схема внутренней коммутации для серверов половинной высоты. Здесь как раз показаны интерфейсы, которые могут присутствовать на таких серверах: встроенный двух- или четырехпортовый Ethernet-адаптер с поддержкой скорости 1 или 10 Гбит/с и карты расширения формата Mezzanine, которые могут поддерживать до двух портов Fibre Channel и InfiniBand или до четырех портов Ethernet.
На следующем рисунке представлено распределение портов в случае использования четырехпортовых Ethernet-адаптеров в серверах при использовании блейд-коммутаторов с 32 внутренними портами, например, Dell Networking MXL.
Dell Networking MXL и PowerEdge M I/O Aggregator
Общее
Оба коммутатора поддерживают до 32 внутренних портов 10 GbE для обмена данными между серверами. Оба оснащены двумя портами 40 GbE QSFP+ и двумя слотами расширения для совместимых модулей. На лицевой панели каждого находится 2 порта USB – один для консоли и один для устройства хранения данных.
Оптическими портами поддерживается как подключение трансиверов для последующей коммутации оптоволоконными кабелями, так и прямое соединение специальным кабелем, поддерживающим диапазон скоростей 10 Гбит/с или 40 Гбит/с, но не предназначенным для передачи сигнала на большие расстояния. В качестве опций доступны кабели-разветвители 40 Гбит/с в 4 по 10 Гбит/с. На рисунке представлены поддерживаемые модули расширения, трансиверы и кабели для них.
Модуль с четырьмя портами 10GBASE-T RJ-45 можно установить только один, во второй слот при этом можно поставить любой другой модуль расширения. Кроме этого ограничения, все остальные модули можно одновременно использовать в любых доступных комбинациях, как разные, так и одинаковые.
Различия
PowerEdge M I/O Aggregator
Предназначен для быстрого ввода в эксплуатацию шасси М1000е и подключения к сетям, построенным на основе оборудования различных производителей, поддерживающего разные сетевые технологии. Для ввода в эксплуатацию требуется распаковать коммутатор, установить его в слот шасси, назначить IP-адрес и пароль администратора и подключить uplink-порты к стоечному коммутатору или коммутатору ядра сети. На стоечном коммутаторе нужно настроить LAG в режиме LACP. При использовании конвергенции все настройки DCB (ETS и PFC) новое устройство M I/O Aggregator возьмет со стоечного коммутатора, используя протокол DCBX. Для начала работы не требуется установка дополнительных лицензий или предварительная настройка блейд-коммутатора.
По умолчанию все порты коммутатора активны и все VLAN на них тегированные. Если необходимо какие-то порты определить нетегированными в данном VLAN, это можно сделать через простой графический интерфейс, предоставляемый модулем СМС. Это, однако, не значит, что более тонкое конфигурирование устройства невозможно – оно поддерживает широкий спектр возможностей, доступна командная строка для администрирования.
Dell Networking MXL
Коммутатор поддерживает динамические протоколы маршрутизации, доступные в Dell Networking Operating System 9 (OS9). Это полностью соответствующая отраслевым стандартам операционная система, управляемая через командную строку и предоставляющая администратору широкий спектр возможности тонкой настройки. Она похожа на Cisco IOS и поддерживает PVST+ для интеграции с ней.
MXL поддерживает организацию стека, в состав которого могут входить до шести устройств, как размещенных внутри одного корпуса М1000е, так и в разных корпусах.
Кроме отказоустойчивости это дает высокую скорость обмена данным между серверами в разных корпусах и возможность обращаться к коммутаторам в стеке как к единому сетевому устройству, с одним сетевым адресом и общими настройками. Подключение осуществляется по технологии «кольцо», т.е. первый и последний участник сборки должны быть соединены между собой.
Если корпус один, то обе разновидности блейд-коммутаторов могут поддерживать стек, создаваемый в пределах одного М1000е для резервирования и распределения нагрузки. Такой стек называется горизонтальным – кабели в нем именно так и расположены. Вертикальным называется стек, содержащий в своем составе до 6 коммутаторов MXL, установленных в три разных шасси в составе одной стойки. Организуется он как «кольцо». Все оборудование, находящееся в трех М1000е в пределах стойки, в случае такого подключения оказывается в составе единой физической сети, агрегатором которой выступает стек из MXL. Извне коммутаторы, входящие в стек, выглядят вообще единым устройством, с одинаковыми настройками, предоставляющим единый набор сервисов и даже имеющим один IP-адрес. Впрочем, с точки зрения устойчивости к сбоям, предпочтительно в каждом блейд-шасси использовать по два стека, объединяющие коммутаторы из разных шасси (см. рисунок)
Альтернативой стеку, повышающей отказоустойчивость, может быть использование на двух коммутаторах MXL в блейд-шасси функционала Dell Virtual Link Trunking (VLT) (об этом мы подробно писали здесь). Тогда блейд-серверы в шасси можно подключать к двум MXL с использованием NIC тиминга LACP, а также стоечные коммутаторы могут подключаться к двум блейд-коммутаторам в шасси с использованием лишь одного LAG. Обычно на MXL для организации VLTi линка используют два встроенных порта 40 GbE, объединенные в LAG.
Пример настройки стека MXL
В данном примере приведена конфигурация стека с использованием двух коммутаторов MXL в фабрике A1 (MXL-A1) и A2 (MXL-A2), объединенных в стек двумя портами fortyGig 0/33 и 0/37.
Необходимо учитывать следующую особенность стека. При обновлении программного обеспечения DNOS на стеке все коммутаторы стека будут перегружены. Данную процедуру необходимо выполнять в часы наименьшей нагрузки. Если же это недопустимо, то рекомендуется использовать вместо стекирования технологию Virtual Link Trunking (VLT).
Проверим, что порты для стекирования еще не сконфигурированы на коммутаторе MXL-A1:
Обычно для стекирования используются два встроенных порта 40 GbE. Это порты fortyGig 0/33 и 0/37. Соответствие физических портов коммутатора номерам stack-group показано на рисунке ниже:
Для детерминированного выбора мастера стека рекомендуется настраивать приоритеты на каждом коммутаторе, участвующем в стеке. Мастером становится коммутатор с наибольшим приоритетом:
Проверим, что порты для стекирования еще не сконфигурированы на коммутаторе MXL-A2:
Настроим порты стекирования и приоритет на коммутаторе MXL-A2:
После этого необходимо сохранить конфигурацию и перегрузить оба коммутатора:
Дождитесь перезагрузки коммутаторов и подключите два порта стекирования между коммутаторами кабелями 40GbE QSFP+ Direct Attach или оптическими трансиверами и оптическими кабелями:
fortyGig 0/33 на коммутаторе MXL-A1 fortyGig 0/33 на коммутаторе MXL-A2
fortyGig 0/37 на коммутаторе MXL-A1 fortyGig 0/37 на коммутаторе MXL-A2
Проверьте на мастере стека, что коммутаторы объединились в стек:
Дополнительную информацию по стекированию коммутаторов MXL можно найти в данном документе.
Если простота не главное, то возможностей больше
В общем, похожи MXL и M I/O не только внешне.
Несколько слов из практики монтажа
Поясним некоторые термины и магические цифры. Высота корпуса М1000е составляет 10U, они пригодны для плотного монтажа. В условиях HPC (High Performance Computing) свободное место в серверной и в каждом из шкафов столь же ценно и так же быстро заканчивается, как и свободное место на жестком диске рабочего компьютера. Посему считается хорошей практикой использовать стойки и шкафы высотой 42U-47U. Стойка в целом обычно является в некотором роде самодостаточным юнитом, даже когда она далеко не одна. Поэтому вниз монтируется самое тяжелое оборудование – ИБП, занимающий обычно до 10U. Далее идут серверные корпуса, и М1000е помещается как раз 3 штуки. Опционально на высоте 20U при таком монтаже может быть установлена консоль высотой 1U, выдвижная, для непосредственной работы с серверами и прочим оборудованием. Как мы отмечали, небольшие СХД можно установить непосредственно в шасси, большие займут еще 2U-5U сверху.
Конвергенция
Поскольку оба рассматриваемых коммутатора поддерживают FCoE и карты расширения с FC портами и могут напрямую работать с поддерживающими этот протокол передачи данных системами хранения, то при их использовании есть возможность непосредственного подключения таких СХД к общей конвергентной сети.
Оба рассматриваемых коммутатора поддерживают конвергенцию FCoE в режиме FCoE транзита, а при установке модуля с портами FC возможность подключения к существующей FC фабрике в режиме NPIV Proxy Gateway, либо для небольших инсталляций типа «ЦОД в коробке» поддерживают подключение FC СХД напрямую (см. рисунок). При использовании конвергенции можно сэкономить на HBA в блейд-серверах и FC блейд-коммутаторах в шасси.
Пример конфигурации коммутатора MXL
И в завершение мы бы хотели привести пример рабочей конфигурации блейд-коммутатора Dell Networking MXL, установленного в шасси Dell PowerEdge M1000e.
Комментарии в тексте выделены курсивом.
MXL-A1#show running-config
Current Configuration…
! Version 9.8(0.0)
[Указана версия Dell Networking OS, под управлением которой работает коммутатор]
! Last configuration change at Thu Jul 23 17:49:01 2015 by default
! Startup-config last updated at Sat May 16 04:52:23 2015 by default
!
boot system stack-unit 0 primary system: A:
boot system stack-unit 0 secondary system: B:
[Коммутатору Dell присваивается номер “stack-unit”. Когда коммутаторы Dell не стекируются, они имеют номер “0”. Если коммутаторы объединяются в стек, будет указан их номер в соответствие с позицией в стеке: от 0 до 5.
Команда boot system содержит указание на две партиции: A и B. Каждая партиция может иметь свою версию Dell Networking OS. “A” – основная и “B” – backup партиция. При загрузке коммутатор автоматически загружает версию Dell Networking OS, находящуюся в основной партиции, если другое не указано в команде boot system.
В Dell Networking OS после того, как введена команда, ее действие применяется в текущем (running) конфигурационном файле. Для сохранения текущей конфигурации скопируйте running конфигурацию в другое местоположение (например, в энергонезависимую память коммутатора с помощью команды copy running startup).]
!
redundancy auto-synchronize full
[Задана по умолчанию. Используется в случае стекирования дли синхронизации мастера стека с резервным коммутатором.]
!
hostname MXL-A1
!
!
username admin password 7 888dc89d1f1bca2882895c1658f993e7 privilege 15
username root password 7 d7acc8a1dcd4f698 privilege 15 role sysadmin
[Создаем локальные учетные записи администратора. Dell Networking OS поддерживает также аутентификацию и авторизацию на RADIUS и TACACS+ серверах. Т.к. не задана команда “enable” или “enable secret” password, сетевой администратор попадет сразу же в привилегированный режим конфигурации (privileged exec) (hostname#) после успешного ввода пароля.]
!
default vlan-id 11
[Назначаем VLAN 11 в качестве native/untagged/default VLAN. Native VLAN – нетегированный.]
!
!
protocol spanning-tree rstp
no disable
bridge-priority 57344
[Настраиваем протокол RSTP 802.1w. Dell Networking OS 9.x также поддерживает PVST+, MST (802.1s) и STP (802.1D).
Если 802.1w RSTP домен коммутаторов Dell подключается к Rapid-PVST+ домену коммутаторов Cisco, VLAN 1 должен быть разрешен на обеих сторонах транкового порта (или Port-channel), соединяющего коммутаторы Dell и Cisco. Это позволит RSTP домену сходиться с использованием дерева Common Spanning Tree (CST), которое использует VLAN 1.
В Cisco IOS и NX-OS VLAN 1 является тем единственным VLAN, который позволяет взаимодействовать протоколу Cisco rapid-PVST+ с коммутаторами других производителей, использующих протокол RSTP 802.1w. Только в VLAN 1 коммутатор Cisco посылает Cisco проприетарные пакеты BPDU и также стандартные BPDU для сходимости топологии с другими коммутаторами. Коммутатор с поддержкой 802.1w использует стандартные BPDU в VLAN 1. Проприетарные пакеты Cisco BPDU туннелируются через сеть коммутаторов других производителей к следующему коммутатору Cisco для обеспечения сходимости протокола Cisco PVST+.]
!
no iscsi enable
[Эта команда отключает iSCSI оптимизацию в коммутаторах Dell – это настройки Jumbo MTU, flow control, unicast storm control и другие, которая включена по умолчанию в Dell Networking OS.]
!
vlt domain 2
peer-link port-channel 10
back-up destination 192.168.2.2
primary-priority 57344
system-mac mac-address 02:01:e8:00:01:02
unit-id 0
[Эти команды настраивают функционал Dell Virtual Link Trunking (VLT), реализацию технологии Multi-chassis LAG. VLT позволяет объединить два коммутатора в отказоустойчивую конфигурацию для подключения к другим коммутаторам или серверам при помощи Link Aggregation Group (LAG) и протокола 802.3ad LACP. Т.к. физические порты принадлежат одному Port-channel логическому интерфейсу, протокол Spanning Tree не блокирует отдельные порты и обеспечивается балансировка по всем физическим портам в группе.
Два VLT коммутатора образуют домен с номером 1. Линк, соединяющий два VLT коммутатора между собой, под называнием VLTi состоит в этом примере из 2-х портов 40G (Fo0/33 и Fo0/37), объединенных в port-channel под номером 10 (можно использовать любой номер в диапазоне от 1 до 128). VLTi линк используется для синхронизации служебной информации и всех таблиц (MAC адреса и ARP таблицы, IGMP и др.). Это позволяет двум VLT коммутаторам функционировать как один логический коммутатор для подключенных к ним устройств. Один из коммутаторов принимает роль VLT primary (можно задать с помощью команды primary-priority), а второй роль secondary, эта роль в дальнейшем определяет поведение коммутатора в случае сценариев отказов в сети, а также для обработки STP BPDU.
В качестве back-up destination IP адреса используется адрес Management интерфейса VLT соседа. Когда вы создаёте VLT домен на коммутаторах, Dell Networking OS может сама назначить MAC адрес для взаимодействия и задать коммутаторам уникальные unit ID. Использование команд system-mac mac-address и unit-id минимизирует время синхронизации VLT соседов после перезагрузки одного из коммутаторов.]
!
stack-unit 0 provision MXL-10/40GbE
!
stack-unit 0 port 41 portmode quad
!
stack-unit 0 port 45 portmode quad
[Встроенные 40GE порты коммутатора MXL (Fo0/33 и Fo0/37) по умолчанию работают в режиме 40GE. Их часто используют для стекирования или для VLTi линка в случае технологии VLT. По умолчанию 40GE порты на 2-х портовом модуле расширения для коммутатора MXL работают в режиме 8 x 10GE (quad режим). Если эти порты планируется использовать для стекирования, то их необходимо сконвертировать в режим 40GE.
Для перевода из режима 4-х портов 10GE в режим 40GE используются команды:
switch(conf)# no stack-unit port portmode quad]
stack-unit : укажите номер коммутатора в стеке в диапазоне 0-5. Для отображения номера коммутатора в стеке используйте команду show system brief.
port : укажите номер 40GE QSFP+ порта. Номера встроенных портов 40GE коммутатора MXL: 33 или 37; номера портов для слота расширения slot 0: 41 или 45; для слота расширения slot 1: 49 или 53
portmode quad: указывает, что 40GE порт работает в режиме 4 x 10GE.]
!
!
!
interface TenGigabitEthernet 0/1
description internal server
no ip address
portmode hybrid
[Позволяет порту коммутировать тегированные и нетегированные VLAN. Соответствует команде Cisco “switchport mode trunk”]
switchport
[Определяет порт как Layer 2]
spanning-tree rstp edge-port
[Позволяет порту пропустить фазы STP Listening и Learning и немедленно перейти в режим STP Forwarding. Используется на портах, к которым подключены серверы. Соответствует команде Cisco “portfast” в Cisco IOS]
no shutdown
!
!
!
interface fortyGigE 0/33
description port-channel_member_10
no ip address
no shutdown
!
interface fortyGigE 0/37
description port-channel_member_10
no ip address
no shutdown
!
!
!
interface fortyGigE 0/49
description member port-channel 1
no ip address
port-channel-protocol LACP
port-channel 1 mode active
[Добавляет порт Fo0/49 в агрегационную группу port-channel 1 и включает для нее протокол LACP для согласование настроек агрегационной группы LAG между коммутаторами.]
no shutdown
!
interface fortyGigE 0/53
description member port-channel 1
no ip address
port-channel-protocol LACP
port-channel 1 mode active
no shutdown
[Добавляет порт Fo0/53 в агрегационную группу port-channel 1 и включает на ней протокол LACP.
Одинаковые настройки для группы портов можно сделать с помощью команды range:
switch(conf)#interface range fo0/49-53]
!
!
interface ManagementEthernet 0/0
ip address 192.168.2.2/24
no shutdown
[Это порт для выделенной сети управления коммутатором, который подключен к внутреннему коммутатору управления блейд-шасси M1000e. К этому же L2 коммутатору подключены iDRAC интерфейсы блейд-серверов для управления. Chassis Management Controller (CMC) модуль блейд-шасси имеет внешний RJ-45 порт для подключения к выделенной сети управления.]
!
!
!
interface Port-channel 1
description Port-Channel to S6000 switches
no ip address
switchport
vlt-peer-lag port-channel 1
[Конфигурирует port channel 1 как L2 порт, а также как VLT port-channel. VLT port-channel состоит из физических портов, которые распределены между двумя коммутаторами в VLT домене, при этом все порты активные и обеспечивается балансировка трафика по всем портам в port-channel без блокирования портов STP.]
no shutdown
!
!
!
interface Port-channel 10
description VLTi link to 450-MXL-A2
no ip address
channel-member fortyGigE 0/33,37
[Этот пример показывает конфигурацию статического port channel без использования протокола LACP. VLTi port-channel должен быть настроен как раз статическим.]
no shutdown
!
!
interface Vlan 1
no ip address
tagged TenGigabitEthernet 0/1-32
tagged Port-channel 1
[Определяет VLAN 1 тегированным на портах Te0/1-32 (это порты к блейд-серверам) и port-channel 1. Не рекомендуется использовать VLAN 1 для какого-либо продуктивного трафика, т.к. он используется протоколами уровня управления, например STP.]
no shutdown
!
!
interface Vlan 2
description WAN_VLAN
no ip address
tagged TenGigabitEthernet 0/1-32
tagged Port-channel 1
[Определяет VLAN 2 тегированным на портах Te0/1-32 и port-channel 1.]
no shutdown
!
!
interface Vlan 11
description vlan 11
untagged TenGigabitEthernet 0/1-32
untagged Port-channel 10
[Определяет VLAN 11 нетегированным на портах Te0/1-32 и port-channel 10. Нетегированный трафик, приходящий на коммутатор, будет попадать в VLAN 11.]
!
!
[Одно из отличий настройки коммутаторов под управлением Dell Networking OS 9.x от коммутаторов Cisco заключается в конфигурации VLAN на портах коммутатора.
Конфигурация VLAN 1, 2 и 11, указанная выше, определяет порты Te0/1-32 и port-channel 1 транковыми. VLAN 1 и 2 тегированные, а VLAN 11 сконфигурирован как native/нетегированный VLAN. На коммутаторах Cisco эквивалентная конфигурация команд выполняется на физических портах или port-channel и выглядит так:
interface Te0/1 (или Po1)
switchport mode trunk
switchport trunk allowed VLAN 1,2,11
switchport trunk native VLAN 11
Если требуется, например, настроить порт Te0/20 в качестве access порта в VLAN 100, на коммутаторе Dell это можно сделать командами:
interface VLAN 100
description HR_Department_LAN
untagged TenGigabitEthernet 0/20
На коммутаторе Cisco это настраивается командами:
interface TenGigabitEthernet 0/20
switchport mode access
switchport mode access VLAN 100
]
!
!
!
management route 0.0.0.0/0 192.168.2.1
[Маршрут по умолчанию для сети управления с указанием next-hop IP адреса.]
!
ip domain-name dell.local
ip domain-lookup
[Настройка доменного имени по умолчанию и включение динамического разрешения для доменных имен.]
ip name-server A.B.C.D
ip name-server E.F.G.H
[Задает IP адреса DNS серверов, на которые будут отправляться запросы для разрешения доменных имен хостов.]
!
!
!
!
banner login ^C
##########################################################
# #
# WARNING #
# #
# This is a private device and can only be accessed by #
# authorized personal. Use of this resource can be #
# monitored and unauthorized use is strictly prohibited. #
# #
##########################################################
^C
!
ntp server A.B.C.D
ntp server E.F.G.H
[Адреса серверов для синхронизации времени с помощью протокола Network Time Protocol]
!
clock timezone GMT 3
[Определяет временную зону GMT +3.]
ip ssh server version 2
[Включает SSH сервер для удаленного управления коммутатором.]
!
no dcb enable
[Отключает функционал Data Center Bridging, который используется в сценариях для конвергентных сетей FCoE и iSCSI.]
!
!
!
protocol lldp
[Включает протокол Link Layer Discovery Protocol. Коммутаторы под управлением Dell Networking OS 9.x поддерживают LLDP вместо Cisco CDP.]
!
!
line console 0
line vty 0
line vty 1
line vty 2
line vty 3
line vty 4
line vty 5
line vty 6
line vty 7
line vty 8
line vty 9
!
reload-type
boot-type normal-reload
[На коммутаторе настроен обычный режим загрузки. Также существует альтернативный режим загрузки под названием BMP, который позволяет коммутатору автоматически загружать файл конфигурации и ОС с удаленного сервера и упрощает инсталляцию большого количества коммутаторов. По умолчанию новый коммутатор работает в режиме загрузки BMP. Для перехода в обычный режим загрузки в командной строке коммутатора нужно выполнить команды:
FTOS#stop bmp
FTOS#reload-type normal-reload
