fabric interconnect что это
Cisco UCS глазами облачного провайдера
Быть облачным провайдером — значит постоянно аккумулировать новые знания и экспертизу. За годы работы мы сформировали достаточно большое количество практик, которых стараемся придерживаться для обеспечения наилучшего уровня сервиса. Одна из них — использование решений комплекса Cisco Unified Computing System. Под катом я хочу рассказать, почему, на наш взгляд, UCS является одним из лучших решений для провайдеров, и обсудить некоторые особенности работы и кейсы использования системы.
С момента появления Cisco UCS на рынке прошло почти 8 лет. Это вполне достаточный срок, чтобы у аудитории сформировалось полное представление о технологии, а из мануалов, обзоров и обучающих статей можно было составить объемистый книжный том. Впрочем, из маркетинговых статей по этой теме получится двухтомник. Мы постараемся поговорить о Cisco UCS максимально предметно: выделим ключевые особенности решения, на их основе обсудим преимущества для для облачных сервис-провайдеров и поделимся кейсами.
Вначале было слово
Термин и тема «конвергентность» вошли в обиход благодаря инженерам HP, это произошло приблизительно 10 лет назад. Собственно, HP же первыми выпустили так называемые конвергентные модули для установки в шасси HP BladeSystem c7000. Они давали возможность, к примеру, выделять на конкретный blade-сервер определенную полосу пропускания. Это был первый шаг к конвергентности, однако это решение не обладало всеми необходимыми признаками конвергентных систем.
На всякий случай поясним: конвергентной инфраструктурой является единый комплекс оборудования и программного обеспечения с единой точкой входа для управления всем оборудованием, входящим в состав комплекса, плюс оркестратор.
Что же касается Cisco UCS, это решение уже полностью соответствует определению конвергентности в части оборудования и входящего в состав комплекса программного обеспечения.
Архитектура решения
Внимательно изучим приведенную выше схему и дадим краткое описание элементов комплекса «сверху-вниз».
Программное обеспечение Cisco UCS Manager
Единая точка входа для управления всеми аппаратными компонентами, изображенными на схеме, и оркестратор, позволяющий управлять компонентами в ручном режиме или через REST API. Это своего рода «мозг» комплекса. Он установлен внутри Fabric Interconnect. Все без исключения настройки оборудования выполняются через интерфейс управления (GUI или CLI) или API UCS Manager.
Аппаратный unified-коммутатор, построенный на базе Cisco Nexus. Он обеспечивает сетевую связность всех компонент комплекса, а также связность blade-серверов с внешними сетями. В состав комплекса входят два Fabric Interconnect. В последних версиях — FI6332 и FI6454 — поддерживается подключение до 20 шасси 5108, а суммарное количество blade-серверов при этом достигает:
В сравнении с FI это достаточно простые устройства. Их компоновка стандартна для blade-систем: PSU, вентиляторы, а также ключевой компонент шасси — FEX-модули, осуществляющие связность между blade-серверами и FI. На момент написания статьи поддерживаются как 4-портовые 40GbE-модули 2304, так и 8- или 4-портовые 10GbE-модули 2204. Их отличительная особенность — возможность группировки портов, что позволяет увеличить общую полосу пропускания.
VIC (Virtual Interface Card)
Интеллектуальный адаптер, устанавливаемый в blade-сервер. Позволяет выделять виртуальные сетевые ресурсы как для аппаратных серверов, так и для виртуальных машин. Поддерживает Eth и FC/FCoE-протоколы передачи данных.
Теперь, когда устройство решения более-менее понятно, поговорим о том, почему на наш субъективный взгляд Cisco UCS является одним из самых удобных решений на рынке.
Почему Cisco UCS
Теперь, когда у нас есть четкое представление о том, из чего состоит решение, поговорим о его преимуществах. Чем решение от Cisco лучше, чем его “родственники” — например, те же HP Synergy? Этот вопрос нам нередко задают наши коллеги, хотя ответ (как нам кажется) лежит на поверхности. Дело в следующем:
Применение на практике
Как и обещали в начале статьи, в этом разделе мы рассмотрим кейсы эксплуатации Cisco UCS. Начнем с обзора нашего опыта и плавно перейдем к конкретным ситуациям.
Ввод оборудования в эксплуатацию
За то время, что мы используем решения Cisco UCS, нам приходилось вводить в эксплуатацию и расширять онлайн 8 комплексов (под комплексом понимается пара Fabric Interconnect и минимум одно blade-шасси), суммарно — 16 FI и более. Самый первый комплекс мы вводили в эксплуатацию в 2014 году, обладая на тот момент минимальным практическим опытом. Этот процесс занял у нас три дня, два из которых были потрачены на изучение документации и понимание логики работы оборудования. Отметим, что документация у Cisco оформлена на уровне лучших образцов RedBook от IBM — те, кто знаком, поймут сравнение.
Разобравшись с логикой и основными принципами настройки, мы без труда собрали и запустили оборудование. Затем выполнили обновление прошивок всех компонентов, настроили шаблоны профилей серверов и создали профили. Всего за один рабочий день.
Дальнейшее внедрение выполнялось в рамках стандартных ITIL-процедур управления изменениями и занимало не более четырех часов на развертывание каждой пары FI и одного-двух шасси с момента включения по питанию до полной готовности шасси к использованию, включая создание и настройку всех необходимых шаблонов и политик.
Использование REST API и PowerTools-модулей может ускорить процедуру инсталляции. К примеру, копирование 500+ VLAN на новую инсталляцию выполняется всего двумя простыми действиями с помощью PowerTools:
По времени такая процедура занимает примерно час-полтора. Физическое подключение нового шасси к FI заключается в коммутации FEX к портам на FI, при этом оптимально использовать DAC-кабели. И вовсе не обязательно брать оригинальные кабели от Cisco.
Эксплуатация
Как много в этом звуке… О ней можно говорить много, причем не только хорошее. Как говорится, без бочки дегтя ложка меда не будет такой вкусной. А если серьезно, то все рутинные процедуры, которые в обычной инфраструктуре занимают много минут или часов, здесь выполняются автоматизировано из GUI. Например, для проливки нового VLAN на все blade-серверы комплекса (а их, напомню, поддерживается от 80 до 160 штук) достаточно добавить его в vNIC template в разделе LAN Policy — новый VLAN автоматически прольется на все blade-сервера, в составе профилей которых присутствует этот vNIC template.
Раз уж речь зашла о Policy, стоит сказать, что буквально все настройки устанавливаются через политики. Можно, конечно же, их не использовать, но это будет… кхм, слишком жестко. Все сетевые настройки для blade-серверов, включая MAC- и IP-адреса для KVM, Flow Control, LACP, CDP, VMQ, задаются через политики. Тем же способом определяются настройки BIOS, версия FW, которая будет залита на blade-сервер, Power Control, настройки доступа по IPMI и многое другое.
Приведем еще один пример, представляющий возможности UCS по автоматизации рутинных операций, таких как настройки FC-зонинга.
В настройках Storage Connection Policy достаточно выбрать нужный zoning type и задать его, например, как «single initiator single target». В этом случае при привязке blade-сервера к profile template будет создаваться отдельная зона. В эту зону будет автоматически включаться заданный WWN таргета и WWPN виртуального HBA с нужного порта, принадлежащего нужной фабрике.
Политики привязываются к шаблонам профилей (template profile) для серверов. Дальше все просто: привязка шаблона к нужному blade-серверу и инициализация. На выходе получаем готовый к установке операционной системы сервер. Инициализация сервера выполняется не более 10-20 минут, причем она может выполняться одновременно для нужного количества серверов. Итого, всего за 25-35 минут мы получаем от 80 до 160 серверов, полностью готовых к установке ОС. Безусловно, процесс установки также можно автоматизировать, и Cisco UCS API может помочь вам в этой задаче, но это уже тема для отдельной статьи.
Итого: на развертывание комплекса из пары FI, 20 blade-шасси и 160 blade-серверов b200 M5 с нуля до готовности к установке ОС один инженер потратит не более 8 часов, причем основное время, порядка 3-х часов, уйдет на создание политик и шаблонов профилей. Оставшееся время можно будет посвятить куда более важным делам, ожидая инициализацию шасси и blade-серверов после привязки шаблонов к последним. Указанное время развертывания неплохо ложится в парадигму сокращения операционных расходов (OPEX), о которой уже говорилось выше.
Unified System
Универсальность, универсальность и еще раз универсальность — наверное, так можно озвучить девиз комплекса. Проиллюстрируем этот тезис списком возможностей Cisco UCS, которые делают его уникальным на рынке даже спустя 8 лет. По нынешним меркам это весьма немалый срок.
Временная замена коммутаторам Cisco Nexus
Поставка новых коммутаторов Cisco Nexus существенно задержалась. Новая СХД от NetApp приехала раньше них и могла бы простаивать несколько месяцев: не хватало 10GbE-портов для полноценного отказоустойчивого подключения. Решение: подключаем СХД через порты FI, сконфигурированные в режим Appliance, конфигурируем port-channel с поддержкой LACP, вводим СХД в эксплуатацию на несколько месяцев раньше, чем приезжают коммутаторы. Оборудование работает, приносит доход, уровень CAPEX снижается.
Миграция на новую СХД
Нашему заказчику необходимо было с минимальными потерями мигрировать данные со старой СХД EMC на СХД NetApp. Свободных портов в его старой FC фабрике нет, подключить FI в общую фабрику нет возможности. Но на СХД заказчика нашлись свободные порты. Подключаем их к FI, поднимаем на FC vSAN. Запускаем миграцию виртуальных машин через Storage vMotion на NetApp, подключенный по NFS. Всё в порядке, все довольны. Миграция произведена успешно.
Cisco UCS и виртуализация
Нельзя не упомянуть о ряде преимуществ, которые предоставляет архитектура UCS, например, для виртуальной инфраструктуры под управлением VMware. Адаптеры VIC, о которых мы уже говорили при описании компонентов, на физическом уровне коммутируются через Midplane шасси с IO модулями через Backplane порты. На один VIC может приходить от 2 до 4 портов, которые автоматически конфигурируются в EtherChannel-порты на уровне UCS Manager. Это позволяет получить следующие преимущества сетевых соединений:
Обзор решения Cisco UCS
Система объединяет в себе универсальную высокоскоростную сетевую инфраструктуру (unified fabric) на базе технологий 10-Gigabit Ethernet и широко используемую x-86 архитектуру серверов компании Intel. Решение Cisco UCS позволяет создать интегрированную и масштабируемую платформу, в которой все элементы решения управляются централизовано.
Cisco UCS имеет в своем составе единую систему управления, которая позволяет управлять комплексами до 160 физических серверов, на каждом из которых могут функционировать десятки виртуальных машин, обеспечивая превосходное масштабирование ЦОД без увеличения сложности управления.
Архитектура системы Cisco UCS улучшает переносимость профилей физических машин, т.к. профиль сервера, конфигурация его LAN/SAN соединений и I/O, встроенного ПО и профили сетевых соединений могут быть динамически присвоены любому физическому серверу в системе. Такая высокодинамичная среда с поддержкой принципа Stateless Computing может быть легко адаптирована для удовлетворения быстро меняющихся требований современных центров обработки данных. Это подразумевает внедрение в нужный момент необходимых вычислительных ресурсов и перемещение рабочей нагрузки.
Cisco Unified Computing System улучшает доступность, безопасность и производительность благодаря интегрированному дизайну системы.
Компоненты системы UCS
• Центральные коммутаторы UCS 6200 Series Fabric
• Сетевые модули UCS 2200 Series Fabric Extender
• Сетевые адаптеры UCS
• Модуль управления UCS Manager
Центральные коммутаторы UCS серии 6200 Fabric Interconnect
Конвергентные коммутаторы сочетают функции коммутации трафика ethernet и fibre channel с управлением системой UCS. Архитектура коммутаторов предусматривает коммутацию трафика на скоростях до 10 Гбит/с без потерь пакетов и с крайне низкими задержками. Устройства поставляются в корпусе 1RU с 48 портами или в корпусе 2RU с 96 портами. Поддерживают модули расширения, обеспечивающие подключения Fibre Channel и 10 Gigabit Ethernet.
• 10 Gigabit Ethernet порты SFP+, поддержка FCoE
• Варианты 48 и 96 встроенных портов со слотами расширения для добавления портов Fibre Channel и 10 GE
• Встроенная система управления UCS Manager
• До 1.04 Tbps производительности
• Зарезервированные блоки питания и вентиляторы с «горячей заменой»
• Управление до 40 шасси на систему UCS
Сетевой модуль UCS серии 2200 Fabric Extender
Модули обеспечивают связи между центральными коммутаторами и блейд-серверами. С их помощью упрощаются процессы диагностики, подключения кабелей и управления системой.
• Подключение блейд-шасси UCS к центральным коммутаторам (Fabric Interconnect)
• 8 внешних порта 10 Gigabit Ethernet SFP+ с поддержкой FCoE
• До двух модулей на шасси для обеспечения отказоустойчивости и до 80 Гбит/с полнодуплексной производительности
• Встроенное управление шасси
• Управляется UCS Manager через центральный коммутатор
Шасси для блейд-серверов UCS серии 5100
Представляет собой серверную корзину, которая поддерживает до восьми блейд-серверов и до двух сетевых модулей в корпусе 6RU, не требуя дополнительных модулей управления.
• 4 блока питания (резервирование по схеме N+1 или N+N )
• 8 вентиляторов (по умолчанию)
• Охлаждение «спереди назад»
• Высота шасси 6U
• Внутрь можно установить до 8 блейд-серверов половинной ширины или 4 блейд-сервера полной ширины
• Все блейд-серверы одинарной высоты
• Установка до 2-х сетевых модулей
• Индикаторная идентификация
Блейд-серверы UCS (серия B)
Блейд-серверы UCS – это блейд-серверы архитектуры x86 на базе процессоров Intel Xeon, которые адаптируются под требования приложений, регулируют использование электроэнергии и обеспечивают лучшую виртуализацию среди устройств своего класса. Уникальная технология расширения памяти Cisco значительно увеличивает объем памяти, что повышает производительность и пропускную способность для ресурсоемких приложений виртуализации и обработки крупных наборов данных. Кроме того, эта технология предлагает более экономичный вариант памяти для менее требовательных рабочих нагрузок.
Стоечные серверы UCS (серия C)
Сетевые адаптеры Cisco UCS
В настоящее время все сетевые адаптеры для блейд-систем условно можно поделить на три типа: традиционные, конвергентные и виртуализиро-ванные.
• Виртуализированные адаптеры – адаптеры, которые позволяют создать несколько логических адаптеров как в динамике (например, при интеграции с системами виртуализации), так и статично. Использование виртуализированного адаптера в среде гипервизора позволяет перенести задачи коммутации трафика между сетевыми машинами на сетевое оборудование, что позволяет высвободить процессорные ресурсы и предоставить их виртуальным машинам, тем самым повысить их производительность в целом.
Компания Cisco Systems разработала собственный виртуализированный двухпортовый конвергентный адаптер Cisco Virtualized Interface Card с исключительными характеристиками, позволяющий иметь преимущество перед другими производителями:
• Способен создать до 58 виртуализированных Ethernet или FC адаптеров (на одном физическом адаптере с использованием метки VNTag проекта стандарта IEEE 802.1Qbh)
• Поддержка стандарта PCIe
• Работа в виртуализированной и невиртуализированной среде
• Поддержка Hypervisor Bypass
• Отказоустойчивость на аппаратном уровне
• Высокая производительность (2x 10Gb, >600K IOPS)
В стоечных серверах UCS используются наиболее востребованные сетевые адаптеры в виде карт PCIe, таких производителей, как QLogic, Broadcom, Emulex и Intel, а также виртуализированный PCIe адаптер Cisco VIC.
Программный модуль UCS manager
UCS Manager – это встроенный программный модуль, с помощью которого осуществляется управление всеми компонентами блейд-системы. Интерфейс UCS Manager разделен на пять зон: администрирование, оборудование, серверы, ЛВС и сеть хранения. Под администрированием подразумеваются операции, производимые с помощью UCS Manager. Оборудование — это, как правило, задействованная в данный момент физическая основа UCS. Серверами в общем случае именуются логические серверы, созданные и используемые посредством UCS Manager. В зону ЛВС включается всё, что относится к локальным сетям, а в зону сети хранения — всё, что касается ресурсов хранения.
Преимущества Uni fi ed Computing System (UCS)
• Встроенное управление системой
Каждый из компонентов объединенной системы вычислений Cisco UCS поставляется со встроенным микропрограммным обеспечением, которое позволяет управлять работой устройства с помощью Cisco UCS Manager. Администраторы сети, системы хранения данных и серверов могут работать с графическим пользовательским интерфейсом или интерфейсом командной строки системы Cisco UCS Manager или, используя документированный набор функций XML API, из существующей корпоративной системы управления ЦОД.
Ролевая модель контроля упрощает решение задач управления, к которым должны привлекаться группы администраторов серверов, сети и системы хранения данных, позволяя ограничить область распространения специальной информации рамками каждой группы. Это позволят экспертам по конкретным вопросам следовать обычным рабочим процедурам и интегрировать все данные о конфигурации в рамках единой системы управления, а не в разрозненных системах, как это нередко происходит в современных ЦОД.
• Внедрение приложений с использованием сервисных профилей
ПО UCS Manager реализует концепцию управления на базе ролей и политик с использованием сервисных профилей и шаблонов. Информация о параметрах системы электропитания, охлаждения, физической безопасности, а также о состоянии оборудования, конфигурации сетевой среды и сети хранения данных содержится в сервисном профиле. Использование сервисных профилей позволяет ИТ-персоналу ЦОД снизить время внедрения приложений в ЦОД от дней до минут.
• Объединенный транспорт
• Поддержка технологии виртуализации (VN-Link)
Технология Cisco VN-Link расширяет границу сети до виртуальной машины. Эта технология стирает различия по управлению сетевой инфраструктурой для физических и виртуальных серверов. Теперь все сетевые соединения настраиваются и управляются централизовано, без выделения дополнительного уровня коммутации для виртуальных сред. Конфигурации портов ввода/вывода и сетевые политики могут перемещаться между виртуальными серверами, что увеличивает эффективность и уменьшает сложность их эксплуатации.
• Виртуализированный адаптер Cisco VIC
Виртуализированный адаптер Cisco VIC позволяет получить на одном двухпортовом конвергентном адаптере динамически или статически до 58 виртуальных адаптеров, каждый их которых представлен PCIe-функцией. Таким образом, операционная система «видит» каждый из виртуальных адаптеров как физический адаптер. Данным виртуальным адаптерам можно гарантировать полосу пропускания; неиспользуемая в текущий момент часть полосы пропускания любого виртуального адаптера может быть динамически распределена между другими виртуальными адаптерами, которым в тот же момент требуется бОльшая полоса, чем им гарантировал системный администратор.
• Технология расширения памяти Cisco
Технология расширения памяти Cisco позволяет увеличить в 4 раза количество разъемов для установки модулей памяти DIMM (до 96) по сравнению с классическими двухпроцессорными серверами архитектуры x86 при сохранении скорости частоты 1866Мгц. Увеличение оперативной памяти позволяет увеличить производительность работы серверов, особенно при работе в виртуальных средах.
• Современная производительность
В решении Cisco UCS используются блейд-сервера, построенные на базе процессоров серии Intel Xeon E 5 v 2 и Е7 v 2. Эти многоядерные процессоры интеллектуально и автоматически регулируют производительность серверов в соответствии с требованиями приложений, увеличивают производительность в необходимый момент и существенно экономят энергопотребление в период простоя. Для более точного управления серверами все параметры производительности и экономии электроэнергии могут быть настроены вручную.
• Энергетическая эффективность
Компоненты решения Cisco UCS были спроектированы с учетом требований по энергетической эффективности. Упрощенная архитектура системы позволила сократить количество элементов, для которых необходимо электропитание и охлаждение примерно на 50% по сравнению с классическими средами блейд-серверов. Шасси блейд-серверов в решении Cisco UCS сделано таким образом, чтобы значительно увеличить теплообмен с окружающей средой. Решение Cisco UCS использует новые, более эффективные блоки питания для своих компонентов.
Гарантия и сервисные контракты
Компания Cisco Systems на все продукты UCS помимо стандартной гарантии по желанию партнеров предоставляет сервисные контракты.
• Загрузку прошивок BIOS и драйверов
• Авансовую замену оборудования сроком NBD (next business day)
• 90-дневную гарантию на программный носитель
• Круглосуточный доступ в службу технической поддержки Cisco TAC для оформления RMA
• Все выше перечисленное
• Более гибкое время реакции на замену оборудования • Возможность замены оборудования на площадке у заказчика
• Все выше перечисленное
• Круглосуточная поддержка в TAC на ПО (все ОС, VMWare, BMC BladeLogic)
• Разделение зоны ответственности между Cisco и производителем ПО
• Возможность проактивной диагностики оборудования
• Круглосуточный доступ в службу Cisco TAC по любым вопросам
• Обновление UCS Manager
Intel, логотип Intel,Xeon и Xeon Inside являются товарными знаками корпорации Intel на территории США и других стран.
Cisco UCS — надежная платформа для ЦОДов
Платформа Cisco Unified Computing System (UCS, унифицированная вычислительная система) сочетает в себе высококачественное оборудование и интегрированное управляющее ПО, благодаря чему позволяет создать вычислительную платформу ЦОДа, способную обслуживать важнейшие приложения.
Анонс Cisco UCS состоялся в мае, поставки начались в конце июля. Рекомендованная производителем розничная цена системы, которую я тестировал, составляет 81 тыс. долл.
Я провел эксклюзивное тестирование оборудования и ПО, которые входят в состав продукта Cisco UCS, в реальных условиях. Оно проходило в корпорации Cisco. Я установил, что платформа содержит все основные составляющие, необходимые для осуществления операций в физическом и виртуальном пространстве ЦОДа. Были выявлены некоторые недостатки платформы, характерные для версии 1.0. Но в целом UCS продемонстрировала, что наращивание платформы не сопровождается соответствующим увеличением управляющего ею персонала или усложнением политики.
За эту простоту приходится расплачиваться привязкой исключительно к аппаратной платформе Cisco. Помимо серверов-лезвий и шасси для них в ее состав входит еще пул сетевых соединений, для которого требуется созданное в Cisco устройство.
В настоящее время Cisco использует только процессоры Intel Xeon 5500 Nehalem, вариант с процессорами AMD отсутствует. Политика управления UCS четко ориентирована на VMware. Поэтому я протестировал несколько предназначенных для ЦОДа серверов на процессорах Intel Xeon 5500, и они продемонстрировали отличную производительность. Что касается компании VMware, то она, особенно после выпуска vSphere 4, по-прежнему задает тон в плане производительности и управляемости виртуальных машин.
Хотя моя работа с Cisco UCS показала, что инструменты управления позволяют жестко контролировать протекающие в ЦОДе операции, применение этой платформы не требует замены средств системного управления, которые, вероятно, уже хорошо себя зарекомендовали в вашем ЦОДе. Пакет UCS Manager представляет собой менеджер устройств, использующий API-интерфейс на базе XML. Он хорошо интегрируется с инструментами системного управления, которые выпускают BMC, CA, HP, IBM Tivoli и Symantec. Во время тестирования я пользовался графическим интерфейсом UCS Manager, но все операции можно производить и через командную строку.
Тем ИТ-менеджерам, которым приходится следить как за виртуальными, так и за физическими ресурсами, следует обратить внимание на Cisco UCS. Высококачественные аппаратные компоненты хорошо интегрированы друг с другом. Ими можно эффективно управлять с помощью ПО Cisco UCS Manager.
Аппаратная часть платформы
Многие аппаратные компоненты, составляющие платформу Cisco UCS, содержат массу маленьких секретов. Во время тестирования я обнаружил самую большую их порцию в мезонинной плате, соединяющей блейд-сервер UCS B200-M1 с серверным шасси UCS 5108. В плате используется технология, которую Cisco получила в результате поглощения компании Nuova. Карта может мультиплексировать трафик ЛВС, сетей хранения и управляющий трафик, упрощая тем самым разводку кабелей и управление сетью.
После того как я разместил в шасси лезвие UCS B200-M1, управляющая система была автоматически извещена о появлении нового оборудования.
Я вернусь к вопросу о важности этого процесса в разделе, посвященном ПО. Пока же достаточно сказать, что физическая конфигурация блейд-серверов, шасси и коммутатора Cisco UCS 6120XP Fabric Interconnect значительно упрощена по сравнению с раздельными системами кабельной разводки и управления в наиболее часто встречающихся сегодня стандартных конфигурациях.
Мезонинная плата выпускается в трех различных вариантах: в виде виртуальной интерфейсной карты Cisco UCS VIC, конвергентного сетевого адаптера, совместимого с высокопроизводительными сетями хранения Emulex или Qlogic, и отдельного адаптера 10GB Ethernet. Я проводил все тесты с использованием конвергентного сетевого адаптера и сетей Emulex в одних случаях, и Qlogic — в других.
Блейд-сервер UCS B200-M1 представляет собой двухсокетную систему половинной ширины с процессорами Intel Xeon 5500 series, способную поддерживать ОЗУ DDR3 объемом до 96 Гб. Некоторые мои тестовые системы имели также локальную систему хранения. Лезвие позволяет разместить два жестких диска малого форм-фактора с интерфейсом SAS емкостью 73 Гб (с частотой вращения шпинделя 15 тыс. об/мин) или 146 Гб (с частотой 10 тыс. об/мин).
По производительности лезвия не выделялись на фоне других систем с процессорами Intel Xeon 5500. Я хочу сказать, что они эффективно использовали электроэнергию и показали высокую скорость. Вести мониторинг их работы было легко с помощью различных инструментов, измерявших температуру и энергопотребление.
Шасси
Для тестирования я применял шасси Cisco UCS 5108. Оно имеет высоту 6U и вмещает до восьми серверов половинной ширины. (В одном из вариантов UCS 5108 можно разместить четыре сервера стандартной ширины.)
В зависимости от типа используемой блейд-серверами системы хранения и скорости их подключения к ЛВС шасси UCS 5108 можно оснастить одной или двумя платами UCS 2104XP Fabric Extender, представляющими собой четырехпортовые модули, к которым подключаются оптические или медные кабели.
Шасси обеспечивает питание, охлаждение и подключение блейд-серверов к UCS 6120XP Fabric Interconnect. Как будет видно из раздела, посвященного управлению, шасси вносит свой вклад в обеспечение унификации на платформе Cisco UCS. Оно вписывается в систему управления, не создавая в ней нового объекта. Когда к платформе Cisco UCS добавляются новые шасси, управление ими осуществляется с помощью менеджера UCS; нового IP-адреса и отдельной консоли при этом не требуется.
Fabric Interconnect
Cisco UCS 6120XP Fabric Interconnect представляет собой устройство высотой 1U, с помощью которого размещенные на шасси блейд-серверы подключаются к ЛВС и сетям хранения через интерфейсы Ethernet и Fiber Channel.
Fabric Interconnect можно оснастить различными модулями расширения в зависимости от используемых сервером сетевых ресурсов. С точки зрения ИТ-менеджеров важно, что одно, максимум два устройства UCS 6120XP Fabric Interconnect могут обеспечить передачу данных по сетям 10 Gigabit Ethernet либо Fiber Channel со скоростью 1, 2 или 4 Гбит/с, если это необходимо для поддержки высокопроизводительных приложений с малым временем задержки.
Fabric Interconnect образует основу системы управления USC, которая теоретически может обслуживать до 40 шасси и 320 блейд-серверов. Я проводил испытания в демонстрационной лаборатории Cisco с гораздо более скромной конфигурацией из одного шасси с пятью блейд-серверами.
В Cisco UCS устройствам Fabric Interconnect отводится главная роль. Они не только обеспечивают физическое подключение блейд-серверов к ЛВС и сетям хранения, но и являются “мозгом” системы управления.
В целях обеспечения избыточности и повышения пропускной способности моя тестовая конфигурация состояла из двух устройств UCS 6120XP Fabric Interconnect. Они имели модули расширения N10-E0080, что позволяло создать четыре канала 4G Fiber Channel. Имеются и другие модули расширения, с помощью которых можно создать четыре или шесть каналов 10G.
В моей тестовой конфигурации устройства UCS 6120XP Fabric Interconnect подключались к ЛВС через коммутатор Cisco Catalyst 3750, а к сети хранения — через коммутатор MDS 9506 Multilayer Director SAN.
Программное обеспечение
Интегрированная аппаратная часть — это прекрасно, но без приложения Cisco UCS Manager платформа была бы неполной. Это приложение устанавливается на устройстве UCS 6120XP Fabric Interconnect. Как уже упоминалось, UCS Manager представляет собой менеджер устройств, который осуществляет их обнаружение и мониторинг, помогает при низкоуровневой настройке оборудования и содержит логические компоненты Cisco UCS.
Это означает, что во время тестирования я мог использовать UCS Manager для получения низкоуровневых идентификаторов, которые производители обычно присваивают устройствам (например, у сетевой карты это MAC-адрес), чтобы скрыть от операционных систем и гипервизоров произведенные в физической сети изменения.
Так, я воспользовался пакетом VMotion для переноса виртуальной машины, созданной с помощью VMware ESX Server, с одного физического блейд-сервера на другой. Кроме того, я заменил один из серверов на имеющий увеличенный объем ОЗУ и более мощный процессор. Затем я вернул на место прежний сервер, а VMware ESX Server даже не “узнал”, что его переносят на другое оборудование. Иными словами, когда требуется произвести какие-то операции с физическими системами (восстановление после сбоев, модернизация), это можно сделать, не нарушая работу операционной системы или гипервизора.
Интерфейс UCS Manager разделен на пять зон: администрирование, оборудование, серверы, ЛВС и сеть хранения. Под администрированием подразумеваются операции, производимые с помощью UCS Manager. Оборудование — это, как правило, задействованная в данный момент физическая основа UCS. Серверами в общем случае именуются логические серверы, созданные и используемые посредством UCS Manager. В зону ЛВС включается всё, что относится к локальным сетям, а в зону сети хранения — всё, что касается ресурсов хранения.
Администрирование посредством UCS Manager
UCS Manager создан на основе механизма управления данными Data Management Engine (DME), с помощью которого настраивается защищенный доступ к UCS Manager, а любые изменения конфигурации UCS производятся через обращение к DME.
Я имел возможность задать роли, которые ограничивали доступ пользователей UCS Manager к зонам в интерфейсе продукта. Например, роли предоставляли доступ только к функциям, затрагивающим ЛВС и/или определенную организацию (в моем случае — eWeek West). Такое разделение доступа по функциям или организациям делает платформу Cisco UCS пригодной для тех компаний, которые оказывают услуги различным клиентам. В этом случае подобное разграничение операций совершенно необходимо.
Хотя создать резервную копию настроек UCS Manager было довольно просто, один из обнаруженных мною в версии 1.0 недостатков заключается в том, что это приходится делать вручную. Я бы предпочел, чтобы какой-то внутренний механизм сохранял настройки по графику и обходился с резервными копиями более милосердно. Сейчас же при создании новой резервной копии прежняя уничтожается.
К счастью, всё, что можно делать через графический интерфейс UCS Manager, можно сделать и через командную строку. Я полагаю, что большинство менеджеров ЦОДов станeт использовать командную строку для автоматизации таких процедур, как создание резервных копий настроек и другие, связанные с повседневным обслуживанием системы.
Пулы ресурсов как строительные блоки
Cisco использует пулы ресурсов, что дает UCS Manager целый ряд преимуществ.
Основная идея заключается в том, чтобы заблаговременно сформировать сетевые ресурсы и ресурсы хранения, которые не позволяют быстро вносить изменения в аппаратное обеспечение ЦОДов. На практике это означало, что я создал пулы MAC-адресов и номеров портов World Wide Port Names (WWPN), из которых управляемые с помощью политик инструменты, именуемые профилями обслуживания (Service Profiles), автоматически формировали записи о логических серверах на платформе UCS. В реальных условиях эти пулы ресурсов должны создаваться при участии инженеров, ведающих сетями и хранением.
Во время тестирования созданные мною с помощью указанного метода машины работали корректно. Хотя для настройки инструментов нужно было всего лишь воспользоваться программой-помощником, для правильного конфигурирования пулов необходимы определенные знания. Поэтому в данном случае к настройке UCS Manager следует привлекать только наиболее опытных ИТ-специалистов.
Оборудование — реальные физические устройства
Управление физическими устройствами осуществляется через список оборудования. Это одна из основных функций, позволяющих наращивать Cisco UCS, но в то же время не слишком усложнять управление.
Когда я инсталлировал и удалял из шасси физические блейд-серверы, эти изменения отражались на управляющем экране. Я мог вести мониторинг блоков питания, вентиляторов, температуры и энергопотребления через интерфейс UCS Manager. Если добавлялось новое шасси, им можно было управлять через тот же экран, при этом еще одного IP-адреса не требовалось.
ИТ-менеджерам следует обратить особое внимание на управление встроенным ПО UCS Manager. Если система резервного копирования настроек осталась недоработанной, то в случае с UCS Manager создатели приложили немало усилий, чтобы сделать управление микропрограммным обеспечением элегантным и эффективным. Система установки встроенного ПО позволяла мне видеть все его версии (рабочую, загружаемую при запуске системы и резервную копии) для любых компонентов Cisco UCS.
Кроме того, UCS Manager предоставляет обширную информацию об установленных в стойку компонентах, причем все данные собираются автоматически. Поскольку Cisco сама производит все физические компоненты и объединяет их посредством довольно элегантной системы управления, можно легко получить доступ к перечню оборудования, системе мониторинга электропитания и температуры. А оформлены они настолько наглядно, что позволяют немедленно проводить диагностику проблем.
Серверы — логические устройства
Ресурсы UCS перечисляются и выделяются с помощью профилей обслуживания. В профилях можно сохранять MAC-адреса, WWPN, версию встроенного ПО, указанный в BIOS порядок опроса устройств при загрузке системы, а также характеристики сети.
Я использовал профили обслуживания, чтобы заранее создать настройки для последующего быстрого развертывания системы с учетом тех приложений, которые я намеревался использовать. Я мог дать указание серверам о применении прежней версии встроенного ПО и извлечении “выжженной” на пулах ресурсов идентификационной информации. Пулы были готовы к работе, поэтому дополнительных консультаций с администраторами сетей или системы хранения не требовалось.
Точно так же я мог сконфигурировать ресурсы ЛВС и сети хранения, чтобы они корректно выделялись запущенным приложениям, и при этом мне не приходилось настраивать сервер вручную.
Если подвести итог сказанному выше, то следует сказать, что Cisco UCS тесно увязывает между собой управление компьютерами, сетями и хранением с помощью единого высокоэффективного инструмента.