HBA-адаптеры и контроллеры
Чем важнее данные, тем надежнее должна быть система, которая работает с ними. И обеспечить такой подход способны решения на основе HBA. Хотите узнать об этой технологии больше? Тогда добро пожаловать в нашу статью.
Расшифровка HBA
Аббревиатура HBA расшифровывается как Host Bus Adapter — хост-адаптер для подключения информационных носителей (накопителей с разным типом интерфейса) к шине. Это и устройство, и контроллер одновременно. В нем реализованы особые стандарты работы дисковых накопителей по SATA/SAS/PCI. Если задействовать HBA в системе, все тома начнут определяться как отдельные блоки внутри ОС с подробным описанием в файле настройки консоли devmgmt.msc (для OS Windows, соответственно).
Типы HBA адаптеров
В индустрии HBA подразделяются на несколько вариантов:
Первый вариант наиболее интересен с точки зрения позиционирования. Начнем с того, что далеко не все подозревают о наличие HBA на своей плате, хотя технология достаточно распространена в серверном сегменте. Все необходимые настройки для портов легко выбрать в BIOS, или на уровне софта.
Подобные HBA в большинстве своем работают на базе привычной нам SATA-архитектуры, но при некоторых усилиях можно завести и NVMe.
К недостаткам отнесем малое количество поддерживаемых операционных систем. Зачастую это семейство Windows и Linux. К тому же большое число дисков подключить затруднительно — только в имеющиеся порты на плате.
Второй вариант базируется на отдельной схеме и работает либо по технологии SAS 12G (полный дуплекс), либо по SATA 3.0. Само собой, предусмотрена обратная совместимость с SAS 1/2/3 и с SATA 1/2/3. Сразу скажем, что наличие SATA здесь бесполезно, поскольку все адекватные администраторы работают по SAS 12G, что не только быстрее, но и безопаснее в техническом плане.
К материнской плате подобный SAS HBA-адаптер подключается через PCI-E 3.0/4.0 x8/x16 (зависит от мощности и необходимой пропускной способности), добавляя к общему ансамблю до 24 дополнительных портов. Но и это не предел, ведь существуют еще и SAS-экспандеры, которые еще сильнее расширяют поле деятельности. На выходе можно получить хоть 30, хоть 40 портов под SAS HBA.
Третий вариант тесно связан с RAID-контроллером. Если говорить в общем и целом, то практически все современные аппаратные RAID-контроллеры способны функционировать в качестве HBA. Все присоединенные к RAID по SAS-экспандеру дисковые носители видны через HBA-режим.
Чем в целом хорош HBA? Технология позволяет поместить в корпус несколько совершенно разных накопителей (скорость, емкость), объединив их в умный узел для хранения данных.
HBA-контроллеры
Что это такое и для чего надо? HBA-контроллер — одна из разновидностей дисковых контроллеров, которая позволяет операционной системе видеть все подключенные устройства по отдельности. При этом все диски способны работать, как единое огромное хранилище. Стоит добавить, что на базе HBA нельзя построить RAID-массив, только перебросить устройства в систему. Иными словам, если вы захотите подсоединить к ПК или серверу 24 диска через JBOD, ОС увидит сразу 24 тома.
В продаже есть HBA-контроллеры, работающие со следующими протоколами:
Предусмотрены и универсальные устройства с принципом работы Triple-mode. Такой подход крайне удобен для строительства сложных систем хранения, поскольку подключать можно что угодно и в любом количестве (до разумных пределов). Но давайте будем реалистами: действительно хорошо контроллер умеет работать лишь с одним протоколом передачи данных. Комбайны в серверных системах недопустимы, чтобы ничего не посыпалось в самый неподходящий момент.
ISCSI и Fiber Channel HBA адаптеры
Разные типы HBA-карт работают на различных протоколах, что вполне логично. Например, для FC HBA адаптеров в сервере предусмотрены коммутаторы Fibre Channel, а соединение производят через оптический патч-корд. Под HBA желательно иметь отдельный PCI-e на сервере, или СХД-контроллере.
Второй популярный вариант — HBA на базе iSCSI. Эта карта обладает собственным портом RJ-45, или оптическим портом. Удобная штука, поскольку можно использовать как сетевой кабель, так и оптический. К тому же, открывается возможность отправлять SCSI-пакеты на удаленные сервера внутри TCP/IP. Карты iSCSI HBA — частые гости в IP SAN.
Какие диски выбрать для HBA
Ранее мы уже говорили, под нужды HBA можно приспособить любой современный накопитель, будь то HDD или SSD на SATA/SAS/NVMe. Даже DVD-привод и ленту, вот только незачем.
Если говорить о действительно эффективных решениях, то к HBA возможно подключить практически любые внешние стойки типа RBOB/EBOD/JBOD. В первом варианте, правда, понадобится еще озаботиться внедрением Multi-LUN, но это не критично.
Требования к организации работы HBA
Чтобы ваша HBA-платформа была безотказной, требуется задуматься над ее надежностью. И это не RAID, где вылетевший накопитель можно быстренько заменить на свежий, скинуть на него слепок данных и продолжить работу. В HBA все серьезнее, поэтому для этих целей производители даже выпускают отдельные линейки дисков. Например, производитель Microchip Adaptec выпускает серии 1100/1200, для которых заявляет время наработки на отказ 1.36 и 2.73 млн часов соответственно. Но только при создании адекватного температурного режима и бережного использования.
Второе требование к HBA — стабильно высокая скорость. При грамотном внедрении качественных SSD на базе SAS пиковая пропускная способность может достигать 1.7 млн IOPS, а это отличный показатель для скоростного хранилища, из которого постоянно требуется что-то скачать.
Функционал HBA
Все критерии работы HBA выбираются в настройках. Количество режимов работы, как и перечень, полностью зависят от вариантов реализации системы. Например, у встроенных в МП контроллеров общее число режимов гораздо меньше, чем у интегрированных решений. Можно выставить NCQ (Navite Command Queuing — установка очередности команд для повышения быстродействия SATA), но не более.
У SAS HBA ситуация уже интереснее. Для таких доступны как UEFI, так и Legacy, а также вывод логов во время операций по загрузке, собственное SMART-тестирование, интегрирование в систему управления, шифрование данных и CLI.
Перспективность в развитии HBA
Как нам кажется, HBA-режим недооценен. Перспектив ведь масса. В дальнейшем технология способна громко заявить о себе, сильно изменив принцип взаимодействия с большим массивом дисков в дата-центрах. Примерную ситуацию сейчас можно наблюдать с SATA. Устаревший протокол медленно и уверенно выдавливают с помощью NVMe.
Все больше производителей внедряют впаянные HBA-схемы на основных платах для серверных и коммерческих решений. В серверных HBA и RAID-контроллерах, и на совместимом с ними оборудовании, уже имеется поддержка NVMe-накопителей.
Пока неизвестно, когда именно индустрия придет к унифицированному стандарту, но с каждым годом количество разномастных протоколов обмена нулями и единицами сокращается в пользу универсальных решений. Почему бы и не дать зеленый свет HBA, ведь уже сегодня технология без особых проблем переваривает совместное сотрудничество SATA, SAS и NVMe.
На сегодняшний день HBA с успехом используют в большинстве серверных задач:
Также HBA попросту незаменим, если необходимо организовать стабильную совместную работу разномастного парка накопителей, объединив все это в единый удобоваримый массив.
Из-под HBA можно даже программный RAID поднять по необходимости для локальных проектов, что также не может не радовать.
Хотите получить больше информации о HBA-адаптерах и контроллерах? В компании Маркет.Марвел вы получите исчерпывающую консультацию по всем устройствам перед тем, как интегрировать их в свой бизнес. Мы работаем для того, чтобы вы могли использовать только качественное и проверенное оборудование.
Что такое современный HBA?
Чем более ценную информацию приходится хранить на сервере, тем выше требования к надежности подсистемы хранения. Обеспечить ее может решение, построенное на базе HBA. Разбираемся, что это такое и почему вам уже следует присмотреться к HBA внимательнее.
Dell QLogic QLE2560
Определение понятия
Host Bus Adapter (HBA) – это устройство и одноименный режим, в которых реализованы порты для подключения дисковых и не дисковых устройств хранения. Сразу после подключения их начинает видеть и идентифицировать как блочные устройства операционная система. Детальная информация о них доступна в device manager, в файле devmgmt.msc (для семейства Windows).
Типы HBA
Различают три HBA: интегрированные в системную плату, в виде отдельного устройства и виртуальные, создаваемые посредством RAID-контроллера. Рассмотрим их подробнее.
Интегрированные в системную плату
О том, что в материнскую плату сервера может быть интегрирован HBA, знают далеко не все, хотя это довольно популярное исполнение. При этом порты для подключения дисков используются разрозненно, в то время как в настройках можно выбрать подходящие параметры для HBA (их совсем немного) и рассматривать подсистему хранения как единое целое. Такие HBA часто работают на базе SATA-технологии – например, популярной сегодня NVMe. Главный недостаток интегрированного решения в том, что оно поддерживает очень скромный перечень ОС (Linux и Windows), плюс к нему проблематично подключить дополнительные устройства.
В виде отдельного устройства
Такие HBA обычно основаны на технологии SAS 12G (или SAS3) и, соответственно, поддерживают режимы SATA I, II, III и SAS-1 SAS-2, SAS-3. Благодаря SAS с подключаемыми устройствами можно работать как с обычными SATA при условии прямого подключения, хотя в последнее время это практикуют нечасто, так как с большим количеством дисков лучше использовать SAS.
К материнской плате HBA-устройство подключается через разъем 8x PCI-e V3. Внутренних портов при этом будет максимум 24, но с помощью SAS-экспандеров их количество можно увеличить под нужды конкретного проекта. Таким образом, на выходе можно легко получить, например, 40-портовый SATA HBA. Нарастить подобным образом порты в интегрированных SATA HBA невозможно, разве что с помощью SATA multiplier, но по сравнению с SAS-технологией у нее меньше достоинств и больше недостатков.
НBA как RAID-контроллер
HBA можно представить как RAID-контроллер, но также и RAID-контроллер можно представить как HBA. Все актуальные сегодня RAID-контроллеры от Microsemi Adaptec могут работать как HBA, для многих других производителей это тоже справедливо. При такой реализации все диски, подключенные к RAID-контроллеру через SAS-экспандер, можно сделать доступными в системе именно через режим HBA. Также RAID может быть программным или аппаратным – оба варианта жизнеспособны и востребованы при современных проектах. Окончательный выбор между ними можно сделать только после изучения требований, которые предъявляются к системе хранения данных. Очень редко встречаются ситуации, когда мы можем использовать только аппаратный или, наоборот, только программный RAID.
Реализация HBA позволяет использовать несколько HBA SAS и SATA разных поколений от разных производителей, а также объединять их в единое устройство с интегрированным на материнской плате HBA.
Какие порты есть у HBA
Интегрированные в материнскую плату HBA располагают стандартными портами SATA или SAS. В последнее время также появились модели с PCI-портами (8x PCI), которые поддерживают подключение накопителей вида M.2 и U.2. У HBA в виде отдельных устройств другие порты – счетверенные SAS 4х. Для внутренних подключений они поддерживают формат Mini SAS-HD SFF8643, для внешних – SFF-8644.
Предпочтительные диски
Актуальные модели HBA поддерживают все доступные сегодня типы накопителей – в частности, SAS/SATA и SSD/HDD. Также возможно подключение устройств вроде DVD-ROM и ленточных накопителей. При этом речь идет не только о передаче информации от дисков в операционную систему, но и о поддержке их максимальной емкости и производительности работы. В большей степени это справедливо для серверных HBA в виде отдельных устройств. Также к HBA можно подключать внешние стойки JBOD, EBOD, RBOВ и ленточные библиотеки. В двух последних случаях потребуется дополнительная поддержка функции Multi-LUN.
Требования к HBA
Главное требование – надежность. Если в случае с дисками ею можно управлять с помощью RAID, а то для HBA нужно поддерживать постоянно высоким. В линейке HBA 1100/1200 Microchip Adaptec производитель заявляет о времени наработки от 1,36 до 2,73 млн часов при условии соблюдения температурного режима, плюс дает трехлетнюю гарантию. Для большинства ЦОДов это отличные показатели надежности. Второе обязательное требование к HBA – это производительность. Для указанной выше линейки устройств она составляет 1 700 000 iops, что дает возможность работать с современными накопителями SAS/SATA SSD без каких-либо ограничений.
Функции HBA
Параметры работы можно выбрать в настройках, но их перечень зависит от способа реализации HBA. Вполне ожидаемо, что у интегрированных моделей настроек меньше всего – там можно разве что активировать поддержку NCQ. У серверных SAS HBA ситуация получше: здесь доступна поддержка режимов legacy- и uEFI-, вывод при загрузке основных параметров устройства, поддержка SMART, интеграция в систему управления, поддержка CLI и функции шифрования.
Перспективы HBA
HBA можно назвать недооцененной, но очень перспективной технологией, которая в будущем может оказать большое влияние на принципы работы с дисками в дата-центрах. Мы видим, как на смену SATA постепенно приходит NVMe и как растет рынок материнских плат с интегрированными HBA. В серверных HBA и RAID-контроллерах с их поддержкой на уровне отдельных устройств NVMe тоже фигурируют все чаще. Вероятно, что скоро мы придем к единому универсальному решению, когда будет возможна одновременная поддержка устройств типа NVMe, SAS и SATA.
Сегодня HBA можно использовать во всех серверных проектах, в ходе тестирования дисковых накопителей, смены прошивки, подготовки их к работе, измерения производительности. HBA незаменим там, где нужно организовать работу со всеми типами дисков одновременно или программными RAID-томами на их основе под разными операционными системами.
HBA vs. NIC vs. CNA: в чем их отличия?
Migelle
Основные концепции
Что такое HBA?
HBA (англ. Host Bus Adapter, дословно, хост-адаптер шины)— вид компьютерных комплектующих: плата адаптера, устанавливаемая в компьютер и служащая для подключения накопителей (устройств хранения информации) или сети, имеющих в качестве интерфейса шинную организацию, отличную от имеющихся в компьютере изначально. Используя карту HBA, главный микропроцессор задач хранения данных и их извлечение данных может быть значительно облегчен. Несмотря на то, что карта HBA широко применяется во всех видах соединений, она чаще всего используется для соединений с поддержкой протоколов Fibre Channel (FC), iSCSI (Internet Small Computer System Interface), и SAS (Serial Attached SCSI). В соответствии с протоколом поддерживается, существуют различные типы карт HBA, такие как карта FC HBA, карта iSCSI HBA и карта SAS HBA.
Что такое сетевой адаптер?
Что такое конвергентный сетевой адаптер?
Конвергентный сетевой адаптер, сокращенно CNA, также известен как контроллер конвергентного сетевого интерфейса (C-NIC). Как видно из названия, этот компонент аппаратных средств может объединять функции HBA с NIC. С одной стороны, карты CNA с интерфейсами PCIe предлагают подключение и передачу данных между устройствами хранения или серверами и FC на основе SAN; с другой стороны, он напрямую доставляет Ethernet трафик от тех же сетевых устройств к локальным сетям.
HBA vs. NIC vs. CNA: сравнение и контраст
В качестве плат трех типов, карты HBA, NIC и CNA способны обеспечить обработку данных и физическое соединение для устройств. Однако, эти карты с их уникальными функциями и режимом работы используются в различных приложениях.
Карта HBA: Как мы упоминали выше, разные типы карты HBA используются для поддержки разных протоколов. Для адаптера HBA Fibre Channel, он обычно вставляется в сервер HBA и подключается к коммутатору Fibre Channel через оптический патч-корд. В основном карта FC HBA является предпочтительной в сети FC SAN. Что касается карты iSCSI HBA, она поставляется с портом RJ45 или оптическим портом, который может подключить с кабелем витой пары или оптическим патч-кордом. Посылая команды SCSI для устройства хранения на удаленных серверах по сети TCP/IP, карта iSCSI HBA часто используется в iSCSI на основе сети IP SAN. Что касается типа SAS HBA, с использованием набора команд SCSI, она развертывается для подключения SATA (Serial Advanced Technology Attachment) или SAS-совместимых устройств. Он распространен в сети DAS с поддержкой SCSI.
Сетевой адаптер: Основанная на интернет-протоколе (IP), сетевой адаптер может быть найдена в двух типах: с оптическими портами или электрическими портами. Карта HBA vs. карта NIC, последняя обычно подключается к Ethernet коммутатору через оптический патч-корд или витую пару. В настоящее время, большинство традиционных сетевых карт на рынке поддерживают протоколы iSCSI и NAS, которые могут применяться в сетях IP SAN и NAS.
Карта CNA: HBA vs. NIC vs. CNA, конвергентный сетевой адаптер может объединять функциональность обоих двух других адаптеров в один и поддерживать FC и Ethernet протоколы на одном интерфейсном порту. Традиционно Ethernet используется для сетей TCP/IP и Fibre Channel для сети хранения данных. С картой CNA, Fibre Channel будет напрямую транспортироваться через Ethernet к Ethernet порту на коммутаторе с поддержкой FCoE. Затем конвергентный коммутатор преобразует трафик FC в FC SAN, а трафик Ethernet в локальную сеть.
Вывод
Из упомянутых выше HBA vs. NIC vs. CNA, это легко обнаружить, что все карты HBA, NIC и CNA имеют свои собственные функции, которые применяются соответствующим образом. Развертывание типа карты зависит не только от протоколов, поддерживаемых картами, но также от вашей сетевой среды и вашего бюджета.
Что такое современный HBA?
В современном мире подсистема хранения сервера или другой системы решения вплоть до персональных компьютеров является очень важной составляющей всей системы. Еще бы, ведь она выполняет роль внешней и основной, относительно RAM и других устройств временного хранения информации, энергонезависимой памяти (слово «внешняя» используется образно, если взять, например, человека, то роль внешней памяти может выполнять тетрадь, куда заносятся различные записи). В большинстве случаев, особенно для корпоративных серверных систем и серверных проектов ЦОДов, цена хранимой информации заметно выше всего остального: хранимая информация имеет высокую ценность, что накладывает определенные требования к подсистеме хранения. Построить такую подсистему можно или на основе HBA, или на основе RAID-контроллера. О первом типе устройств мы и поговорим в данной статье.
Что же такое современный HBA?
Попробуем разобраться в том, что стоит за загадочными латинскими буквами HBA. Предлагаю не особо углубляться в смысл английских слов, составляющих это название, и тем более не пытаться перевести эти слова оптимальным образом на русский язык, поскольку практической работе это не поможет. К слову, линейка микросхем, на которой базируются Microchip Adaptec HBA, называется Input/Output Controller. Этот термин тоже можно использовать без перевода («микросхемы для линейки SAS HBA 12G Input/Output Controller»).
Host Bus Adapter, или HBA — это устройство, которое предоставляет пользователю порты для подключения дисковой или не дисковой аппаратуры. Будучи физически подключенными, такие аппараты напрямую попадают в операционную систему. При подключении дисков к HBA и установке драйвера этого устройства диски будут видны в device manager OS семейства Windows (devmgmt.msc) как блочные устройства, готовые к дальнейшей работе.
Еще раз отмечу, что мы, команда Microchip Adaptec, в своей работе стараемся не переводить термин HBA. Возьмем для примера ряд системных компонентов: процессор (ЦПУ), память (оперативная память) и HBA («Хабэа») как основное устройство, дающее порты для подключения дисковых и не дисковых устройств в систему для создания подсистемы хранения информации.
Подход к термину HBA за последние годы трансформировался, и данный термин больше опирается на режим предоставления доступа к носителям «ячеек», или «контейнеров» памяти (как правило, это сектора SSD- или HDD-дисков) в OS нежели на внутреннюю архитектуру отдельного устройства.
Чтобы изучить эту тему, рассмотрим подробнее следующие вопросы:
С учетом возможностей данной статьи попробуем посмотреть, как эти устройства применяются в различных проектах.
Чтобы разобраться с типами HBA, безусловно, потребуется немного практического опыта, иначе некоторые моменты будут не совсем понятны.
Поговорим об этих пунктах подробнее.
Многие люди, используя материнскую плату для ПК или сервера, и не догадываются, что на плату интегрирован HBA. Они просто рассматривают порты для подключения дисков как отдельные, не объединяя их в какое-то устройство. Обычно настройки таких HBA делаются через BIOS-настройки материнской платы, при этом самих настроек очень немного. Интегрированные HBA обычно строятся на технологии SATA различных поколений, в последнее время приходит технология NVMe, особенно в области десктопных плат. Крайне редко можно встретить серверные материнские платы, где используются интегрированные SAS HBA.
Интегрированные HBA имеют ограничения по типу поддерживаемых операционных систем. Обычно поддерживаются Linux и Windows. Традиционно для таких устройств нельзя говорить о широкой или полной поддержке операционных систем.
Еще один важный пункт: к таким HBA крайне сложно подключить внешние устройства (JBOD-, EBOD-, RBOD-стойки, ленточные библиотеки и т. п.), здесь внешние порты традиционно не используются. Лично я таких решений не встречал, но допускаю, что они могут быть, например, как eSATA-порты.
Идея со скобами-переходниками «внутренний порт — внешний порт» кажется привлекательной, для SATA это в какой-то степени возможно, но для SAS 12G должны быть устройства очень высокого качества, чтобы не нарушать режимы физического уровня, и, как мы уже отметили, SAS-порты редко используются на материнских платах.
HBA в виде отдельных устройств образуют линейки продуктов с разным количеством внутренних и внешних портов и на сегодняшний день базируются на технологии SAS 12G (или SAS3), которая со стороны дисков официально поддерживает режимы SATA I, II, III и SAS-1 SAS-2, SAS-3.
Технология SAS позволяет вам превратить данные устройства исключительно в SATA и использовать их в чистом виде как SATA-устройства, если это нужно. Для этого достаточно подключить SATA-устройства (например, диски) к такому HBA напрямую. По этой причине в линейках Microchip Adaptec уже давно нет SATA RAID-контроллеров и HBA, их легко можно получить из SAS-продуктов.
Но в последнее время необходимость, скажем прямо, «превращать» SAS HBA в SATA HBA встречается все реже и реже по причине того, что индустрия выпускает много моделей дисков для серверного использования парами: с SATA- и с SAS-интерфейсами. (Это точно такие же диски 7200 rpm, но с SAS-интерфейсом). Для SAS HBA при большом количестве дисков использование дисков SAS более предпочтительно.
Современные HBA-устройства обладают разъемом 8x PCI-e V3 для установки в материнские платы. Такой разъем можно назвать современным «серверным» разъемом. Вся текущая линейка RAID-контроллеров/HBA от Microchip Adaptec использует данный слот.
Количество портов на SAS HBA, даже в максимальной реализации (для линейки Microchip/Adaptec 1100/1200 — 24i означает 24 внутренних порта по технологии SAS) не является пределом для проектировщика. С помощью SAS-экспандеров (внешних или внутренних, в виде плат, устройств или микросхем на дисковых корзинах) количество портов на HBA можно увеличить. При серьезном проектировании это требует расчета. При таком подходе HBA виртуализируется с экспандером, и при подключении SATA дисков уже к экспандеру (экспандерам) вы можете получить, например, SATA HBA».
Для интегрированных на плату SATA HBA SAS-экспандеры не применимы. Для них существуют другие устройства, работающие похожим образом, — SATA малтиплайеры (SATA multiplier), но они не распространены и проигрывают SAS-технологии по ряду очевидных причин в корпоративных проектах и проектах ЦОДов.
Следующий момент может показаться сложным для людей, не работающих в области систем хранения данных, он касается моделей HBA и RAID-контроллера.
НBA можно представить как RAID-контроллер без уровня RAID виртуализации дисков: HBA = RAID-контроллер — RAID-уровень. Или, наоборот, RAID-контроллер можно представить как HBA, к которому добавлен дополнительный уровень виртуализации дисков: RAID-контроллер = HBA + RAID-уровень. В свете того, что вся текущая линейка RAID-контроллеров Microsemi Adaptec поддерживает режим HBA, да и у других производителей используется такой же подход, вторая модель представления RAID-контроллера через HBA является предпочтительной. Даже если вы подключаете диски к RAID-контроллеру через SAS-экспандеры, любой отдельный диск независимо олт того, подключен ли он к экспандеру или к контроллеру напрямую, можно «подать» в систему через режим HBA, т. е. диск как диск, используя всю его доступную емкость. Этот же режим с некоторыми дополнениями позволит вам подключить к RAID-контроллеру и не дисковые устройства, например, ленточную библиотеку или внешнюю RAID-стойку (RBOD).
Вот и получается, что если использовать эту модель, то HBA нужен всегда и везде. В том или ином виде его можно найти и выделить практически в любой системе. И без него так же сложно жить, как и без ЦПУ.
Наверняка многим из вас приходилось участвовать в спорах, что лучше — HARDWARE RAID или SOFTWARE RAID. Лично мне, в силу специфики работы, данная тема стала очень близкой. Хочу сразу сказать, что при объективном и профессиональном рассмотрении вопроса и то и другое решение имеет право на жизнь, оба они обладают примерно равной пропорцией достоинств и недостатков и использование того или иного подхода зависит от условий, предъявляемых к системе. Это так же, как с транспортом: в каких-то ситуациях лучше использовать велосипед, а под другие задачи нужен тяжелый самосвал. Этот спор практически нивелирован в линейке продуктов Microchip Adaptec (см. таблицу). Вы можете легко найти модель под то или иное решение или под оба сразу. Исключение составляет HBA в чистом виде (1100 HBA), им никак не «приделать» Hardware RAID-часть (далее HW), и единственная возможность использовать диски на таком устройстве для создания RAID-тома — применить Software-решения (далее SW). В индустрии есть примеры опционального добавления HW RAID к установленному HBA. Например, в прошлом это концепция ROMB-карты от Intel, которая превращала в HW RAID-контроллер интегрированные на плату HBA. Это решение требовало специального слота PCI на плате, который поддерживал это решение. Но ROMB-карта — это большей частью исключение. Обычно на плату можно интегрировать полноценный HW RAID-контроллер. В базовом варианте он работает как HBA; если нужна его RAID—часть, покупается ключ, HW- или SW-типа, и с его помощью RAID-часть и активируется (табл. 1).
Таблица 1.
SW RAID через режим HBA
Линейка 1200 SMART HBA
И RAID-контроллеры серии
Современная техника с каждым годом становится сложнее — хотелось бы обратить внимание на название линейки 1200. Несмотря на то, что с точки зрения классического определения это HW RAID-контроллер, поддерживающий HW RAID 0, 1, 10 и 5, называется он «SMART HBA». Слова «RAID» в названии нет. Все достаточно просто: серия 1200 в основной массе проектов подразумевает использование служебных HW RAID-томов, например, для установки OS. Остальные диски идут в SW RAID-тома или в SDS.
Если объединить 1100 и 1200 в одну линейку, что было бы достаточно справедливо, то в табл. 1 будут только «Есть». Это дает несколько другой подход к опциональному «добавлению» hardware RAID-части для HBA. Вы можете не покупать ее совсем или купить в минимальной реализации, цена при этом не сильно увеличится, и если она потребуется, то активировать ее и использовать для всех дисков или для некоторой их части.
Мы разобрали очень небольшую часть того, что можно называть «виртуализацией» HBA. На самом деле объединение отдельных физических HBA-устройств в виртуальные HBA, или «нарезка» одного устройства на несколько виртуальных HBA, или то и другое вместе — вполне реализуемая задача, но, к сожалению, в данной статье мы не сможем остановиться на этом детально. Вы можете установить несколько HBA SAS и SATA разных поколений от разных производителей и «объединить» их в одно устройство с интегрированным HBA на вашей плате, по крайней мере большинство SW RAID-приложений из состава OS позволят вам работать с дисками, принадлежащими разным устройствам. К этой теме будет относиться и резервирование одного HBA в системе с помощью другого в режиме active — active или active — passive, HBA в разных узлах кластера, позволяет подключить общую для всех узлов систему хранения и прочие решения.
Теперь давайте обратим внимание на порты современного HBA.
Как правило, те, что интегрируются на плату, имеют стандартные порты SATA или, намного реже, SAS (они часто различаются и по цвету) в виде неизменного пока для SAS3 и SATAIII типового1x SATA-разъема. В последнее время можно встретить и порты PCI-e для подключения дисков, формата M.2 (NGFF) и U.2 (SFF-8639), и здесь концепция HBA-устройства, интегрированного на плату, становится совсем призрачной и дает просто удобное обобщение для портов, использующих транспорт PCI-e для «общения» с дисками.
Отдельные HBA- и RAID-контроллеры используют счетверенные порты — SAS 4х. Все современные HBA имеют формат Mini SAS-HD SFF8643 для внутренних подключений и SFF-8644 для внешних.
Как мы уже отметили, 8x PCI ver. 3 предназначается для установки в материнскую плату. Такую реализацию портов в линейке продуктов RAID/HBA Microchip Adaptec используют все без исключения модели из текущего каталога. Слот 8x PCI-e не является проблемой для большинства материнских плат ПК и рабочих станций. В старых продуктах и у других производителей могут встречаться решения 4х и 1х для HBA.
Какие же устройства можно подключить к современному HBA?
Разумеется, диски. Требования, которые предъявляются к современным HBA, — умение работать со всеми типами дисков: SAS/SATA, SSD/HDD, размер сектора 512/4K, SMR/CMR и т. д. Не только передать их в OS, но и поддерживать максимальную производительность, максимальную емкость и другие параметры.
Полная поддержка всех типов дисков и возможность гибкого наращивания портов выгодно отличает серверные HBA в виде отдельных устройств от решений, интегрированных на плату.
Что еще? Не дисковые устройства типа DVDROM или ленточный накопитель.
Если остановиться на ленточных накопителях, то важно убедиться, какой стандарт LTO поддерживается со стороны HBA; есть и более профессиональные характеристики, с которыми можно встретиться в практической работе.
Широким классом устройств, которым может потребоваться подключение к HBA, являются внешние стойки JBOD, EBOD (с SAS-экспандерами внутри), RBOВ (с RAID-контроллерами) и ленточные библиотеки. Два последних семейства требуют портов с HBA-режимом, которые при этом поддерживают функцию под названием MultiLUN. Для этого класса устройств тоже возникает очень много нюансов, и можно говорить о большом количестве функций/режимов, которые могут потребоваться как со стороны HBA, так и со стороны внешней стойки.
Перенос дисков с устройства на устройство для HBA носит глобальный характер и не зависит от производителя. На практике это может понадобиться для замены или модификации вашей системы. Например, любой SATA-диск (или другое SATA-устройство) можно легко перенести на любой другой HBA, скажем, интегрировать на материнскую плату или на отдельный SATA либо SAS HBA любого производителя или на SAS/SATA RAID-контроллер с HBA-режимом. Данные, в частности в виде файлов, если они есть на диске, будут доступны. С внешними или SAS-устройствами будет сложнее, но информация тоже должна быть доступна на любом HBA, имеющем соответствующий порт. К сожалению, с RAID-контроллерами это не так. Если переносится RAID-том (все составляющие его диски) на другое устройство, то информация будет видна только на RAID-контроллерах, имеющих такой же RAID-стек. Например, для продукции Microchip Adaptec не получится напрямую перенести том с RAID-контроллера серии (стек ARC) на RAID-контроллер SMART RAID 3100 (стек SMART RAID), а вот диски в режимах HBA вы перенесете без проблем.
Старые RAID-контроллеры обладали «псевдо режимами» HBA: simple volume (есть и на многих современных RAID-контроллерах, иногда реализуется как RAID0 на одном диске), JBOD-режим и т. п.; при таком режиме диски передавались в OS как отдельные, но на них создавались специальные служебные области — метаданные, особого proprietary-формата, и формат этот мог быть прочитан только на RAID-контроллерах и только такого же стека. Таблица 2 немного объясняет различия между таким режимом и HBA, например, при использовании SW RAID.
Таблица 2.
(небольшое уменьшение доступной емкости диска)
Использование кэша контроллера
К современным HBA предъявляются серьезные требования. Одно из основных — надежность. Если для дисков надежностью можно легко управлять в каких-то пределах через функцию RAID, то у самого HBA этот показатель должен быть максимально высоким. Отдельные HBA-устройства в виде плат обычно являются серверными продуктами. Если взять линейку HBA 1100/1200 Microchip Adaptec, то у всех продуктов официальное значение качества, выраженное через MTBF, составит от 1,36 до 2,73 миллиона часов (при соблюдении температурного режима работы) в зависимости от модели с серверной гарантией на 3 года.
Понятно, что качество HBA большей частью означает надежный доступ к данным, и во многих системах, особенно уровня ЦОДов, это является критическим параметром.
Помимо качества HW и SW (называется Firmware = FW = прошивка) в части HBA важной характеристикой является производительность. К примеру, линейка 1100/1200 обладает производительностью 1 700 000 iops, что позволяет полноценно использовать самые современные SAS/SATA SSD-диски в количествах, как минимум поддерживаемых внутренними корзинами современных серверных корпусов.
Кратко рассмотрим основные функции HBA, которые могут быть реализованы в настройках. Для HBA, интегрированных на материнскую плату, их совсем немного. Например, поддержка NCQ.
Отдельные SAS HBA серверного типа обладают достаточно широким функционалом, невозможно перечислить всё, но назовем самые основные моменты, о которых проектировщик должен знать: поддержка legacy- и uEFI-режимов, умение показать (даже при загрузке) основные параметры, характеристики и режимы работы диска, поддержка SMART, т. е. способность показать SMART-таблицы диска и передать в систему управления SMART error/warning, интеграция в систему управления — возможность удаленного управления через графическую утилиту сразу всеми серверами, где установлены RAID-контроллеры или HBA, поддержка CLI, поддержка функции шифрования со стороны HBA. Как это ни удивительно, существует очень много функций, которые могут быть реализованы на современном HBA. Некоторые очень сложно представить. Назову такую интересную способность: современный HBA, например, Microchip Adaptec 1100, может «видеть» «осколки RAID-томов стека SMART RAID» (естественно, не читать информацию, а информировать администратора, что диск был вынут из RAID-тома), и пока вы не удалите служебную область данного стека, этот диск не будет передаваться в OS.
Если говорить о будущем для HBA, то оно наступает весьма стремительно.
Мы видим, что технология SATA по сути заменяется NVMe.
И на материнских платах мы будем встречать все больше интегрированных решений для дисков и других устройств, использующих PCI-e как транспортный протокол.
Что касается серверных HBA и RAID-контроллеров с режимом HBA как отдельное устройство, то они тоже будут поддерживать NVMe. Это будет высокая степень универсальности: одновременная поддержка NVMe, SAS- и SATA-устройств. Скорее всего — уже через формат порта u.3.
Сюда же добавится SAS-4 24G, расширение адресного пространства при подключении через экспандеры до пятисот или до тысячи устройств (сегодня — около 256), возможно, расширение концепции серверного слота до 16х (требуется для поддержки SSD-дисков) и использование PCI-e v.4. Ожидается также переход кабелей на оптику — появление опции подключения дисков через оптические кабели и т. д. Будущее, как известно, обладает некоторой долей непредсказуемости.
Если говорить о проектах, где можно использовать HBA, то их спектр просто огромен. Практически все типы проектов могут быть реализованы с использованием HBA. Помещаю ниже небольшой рисунок в виде инфографики, чтобы визуализировать сказанное. SAS HBA начинают выполнять роль своего рода «устройства с универсальными портами для подключения всех возможных типов дисков, и не только», что удобно, начиная с домашнего компьютера и заканчивая проектами ЦОДов. В будущем такую роль начнут выполнять 3-mode (tri—mode) HBA (поддержка SAS/SAT/NVMe-устройств).
Но ожидаемая линейка с крайне высокой производительностью уже, наверное, не будет обладать такой широтой поддержки проектов. Если текущие линейки не будут объявлены как EOL (end of life), то в проектах ПК, рабочих станций и серверов начального уровня и выше могут использоваться NVMe-порты материнской платы + HBA SAS 12G/24G при условии, что необходима возможность работы с любыми типами дисков; но это всего лишь предположение — посмотрим. В любом случае текущие линейки продуктов обладают потрясающим проектным охватом.
В данной статье хотелось бы поговорить и о подходах к проектированию с использованием HBA. Но на самом деле даже в одной только области ЦОДов возможных типов проектов так много, что для этого потребовалась бы отдельная статья, хорошо если не книга — учебник.
Надо отметить, что полнофункциональный SAS HBA может оказаться неплохим помощником даже дома или на работе (например, в качестве системы для администратора, с целью обслуживания различных дисков, которые используются на предприятии или в ЦОДе: тестирование дисков, смена прошивки, подготовка к работе, снятие с рабочего режима, измерение производительности и т. д.). Без такого решения не обойтись и в том случае, если вам нужно работать дома со всеми без исключения типами дисков (SAS/SATA, SSD/HDD, 512/4K, SMR/CMR), а также с SW RAID-томами на их основе. Особенно если при этом надо использовать большой набор различных OS. К слову, по сравнению с процессорами или графическими платами для энтузиастов это не такие уж большие затраты.
В наше время не очень сложно найти корзину SAS3 12G на четыре диска 2,5″ для типичного отсека 5,25″, которых в десктопном корпусе при желании может быть достаточно много. В такой же отсек можно установить корзину zero-effort hot swap SATA для дисков 2,5″ и 3,5″. Она будет выполнять две важные функции — быструю загрузку и смену любых других OS, которые нужны в работе, и подключение к SAS HBA дисков SATA 3,5″. Единственный недостаток — невозможность подключения SAS-дисков 3,5«: их производится мало, но работа с ними может потребоваться. Здесь проблема решится кабелем, который поможет подключить их к SAS HBA напрямую, без Hot Swap-корзины. Для SAS-дисков (или SAS + SATA) кабель должен обладать особым разъемом. И вам потребуется, например, Microchip Adaptec HBA 1100 или 1200, которые «заберет» один слот 8х или 16х в вашей системе.
