Что такое современный HBA?
Чем более ценную информацию приходится хранить на сервере, тем выше требования к надежности подсистемы хранения. Обеспечить ее может решение, построенное на базе HBA. Разбираемся, что это такое и почему вам уже следует присмотреться к HBA внимательнее.
Dell QLogic QLE2560
Определение понятия
Host Bus Adapter (HBA) – это устройство и одноименный режим, в которых реализованы порты для подключения дисковых и не дисковых устройств хранения. Сразу после подключения их начинает видеть и идентифицировать как блочные устройства операционная система. Детальная информация о них доступна в device manager, в файле devmgmt.msc (для семейства Windows).
Типы HBA
Различают три HBA: интегрированные в системную плату, в виде отдельного устройства и виртуальные, создаваемые посредством RAID-контроллера. Рассмотрим их подробнее.
Интегрированные в системную плату
О том, что в материнскую плату сервера может быть интегрирован HBA, знают далеко не все, хотя это довольно популярное исполнение. При этом порты для подключения дисков используются разрозненно, в то время как в настройках можно выбрать подходящие параметры для HBA (их совсем немного) и рассматривать подсистему хранения как единое целое. Такие HBA часто работают на базе SATA-технологии – например, популярной сегодня NVMe. Главный недостаток интегрированного решения в том, что оно поддерживает очень скромный перечень ОС (Linux и Windows), плюс к нему проблематично подключить дополнительные устройства.
В виде отдельного устройства
Такие HBA обычно основаны на технологии SAS 12G (или SAS3) и, соответственно, поддерживают режимы SATA I, II, III и SAS-1 SAS-2, SAS-3. Благодаря SAS с подключаемыми устройствами можно работать как с обычными SATA при условии прямого подключения, хотя в последнее время это практикуют нечасто, так как с большим количеством дисков лучше использовать SAS.
К материнской плате HBA-устройство подключается через разъем 8x PCI-e V3. Внутренних портов при этом будет максимум 24, но с помощью SAS-экспандеров их количество можно увеличить под нужды конкретного проекта. Таким образом, на выходе можно легко получить, например, 40-портовый SATA HBA. Нарастить подобным образом порты в интегрированных SATA HBA невозможно, разве что с помощью SATA multiplier, но по сравнению с SAS-технологией у нее меньше достоинств и больше недостатков.
НBA как RAID-контроллер
HBA можно представить как RAID-контроллер, но также и RAID-контроллер можно представить как HBA. Все актуальные сегодня RAID-контроллеры от Microsemi Adaptec могут работать как HBA, для многих других производителей это тоже справедливо. При такой реализации все диски, подключенные к RAID-контроллеру через SAS-экспандер, можно сделать доступными в системе именно через режим HBA. Также RAID может быть программным или аппаратным – оба варианта жизнеспособны и востребованы при современных проектах. Окончательный выбор между ними можно сделать только после изучения требований, которые предъявляются к системе хранения данных. Очень редко встречаются ситуации, когда мы можем использовать только аппаратный или, наоборот, только программный RAID.
Реализация HBA позволяет использовать несколько HBA SAS и SATA разных поколений от разных производителей, а также объединять их в единое устройство с интегрированным на материнской плате HBA.
Какие порты есть у HBA
Интегрированные в материнскую плату HBA располагают стандартными портами SATA или SAS. В последнее время также появились модели с PCI-портами (8x PCI), которые поддерживают подключение накопителей вида M.2 и U.2. У HBA в виде отдельных устройств другие порты – счетверенные SAS 4х. Для внутренних подключений они поддерживают формат Mini SAS-HD SFF8643, для внешних – SFF-8644.
Предпочтительные диски
Актуальные модели HBA поддерживают все доступные сегодня типы накопителей – в частности, SAS/SATA и SSD/HDD. Также возможно подключение устройств вроде DVD-ROM и ленточных накопителей. При этом речь идет не только о передаче информации от дисков в операционную систему, но и о поддержке их максимальной емкости и производительности работы. В большей степени это справедливо для серверных HBA в виде отдельных устройств. Также к HBA можно подключать внешние стойки JBOD, EBOD, RBOВ и ленточные библиотеки. В двух последних случаях потребуется дополнительная поддержка функции Multi-LUN.
Требования к HBA
Главное требование – надежность. Если в случае с дисками ею можно управлять с помощью RAID, а то для HBA нужно поддерживать постоянно высоким. В линейке HBA 1100/1200 Microchip Adaptec производитель заявляет о времени наработки от 1,36 до 2,73 млн часов при условии соблюдения температурного режима, плюс дает трехлетнюю гарантию. Для большинства ЦОДов это отличные показатели надежности. Второе обязательное требование к HBA – это производительность. Для указанной выше линейки устройств она составляет 1 700 000 iops, что дает возможность работать с современными накопителями SAS/SATA SSD без каких-либо ограничений.
Функции HBA
Параметры работы можно выбрать в настройках, но их перечень зависит от способа реализации HBA. Вполне ожидаемо, что у интегрированных моделей настроек меньше всего – там можно разве что активировать поддержку NCQ. У серверных SAS HBA ситуация получше: здесь доступна поддержка режимов legacy- и uEFI-, вывод при загрузке основных параметров устройства, поддержка SMART, интеграция в систему управления, поддержка CLI и функции шифрования.
Перспективы HBA
HBA можно назвать недооцененной, но очень перспективной технологией, которая в будущем может оказать большое влияние на принципы работы с дисками в дата-центрах. Мы видим, как на смену SATA постепенно приходит NVMe и как растет рынок материнских плат с интегрированными HBA. В серверных HBA и RAID-контроллерах с их поддержкой на уровне отдельных устройств NVMe тоже фигурируют все чаще. Вероятно, что скоро мы придем к единому универсальному решению, когда будет возможна одновременная поддержка устройств типа NVMe, SAS и SATA.
Сегодня HBA можно использовать во всех серверных проектах, в ходе тестирования дисковых накопителей, смены прошивки, подготовки их к работе, измерения производительности. HBA незаменим там, где нужно организовать работу со всеми типами дисков одновременно или программными RAID-томами на их основе под разными операционными системами.
Современные RAID контроллеры Adaptec от А до Я. Часть 2
Ранее публиковал первую часть, в которой описывались общие сведения о RAID контроллерах (азы читать здесь), были вопросы и интерес, выкладываю уже «мясной» кусок. Здесь всё очень конкретно – подробная классификация контроллеров Adaptec, функции каждой серии контроллеров, таблицы, картинки и т.д.
Модельный ряд RAID контроллеров Adaptec.
Классификация контроллеров Adaptec. 
Можно попробовать представить усиление функций стека относительно класса проектов в этой таблице графически, чтобы придать таблице наглядность.
Таблица применения моделей с точки зрения поддержки SSD дисков. 
Еще более мощную поддержку использования большого количества SSD дисков на контроллере будут давать следующие поколения RAID контроллеров и HBA. Количество дисков, указанное в таблице, имеет примерное значение. Более точные расчеты производительности в данной статье не указываются, они могут быть выполнены компаниями – интеграторами.
Зависимость выбора модели RAID контроллера от количества пользователей серверной системы приведена в таблице ниже (указаны активные пользователи). Цифры носят довольно приблизительный характер, и приведены для того, чтобы понять тенденцию в использовании определенных моделей. 
И еще один важный момент. Как настоятельно рекомендуют все учебники, посвященные проектированию сложных систем — проект должен учитывать не только настоящие, но будущие требования к системе.
Существует зависимость и от приложений. Например, SSD кэширование ускоряет работу приложений, ориентированных на чтение. К счастью, это больше 90% Internet приложений. Для операций записи тоже возможно кэширование, но это уже больше как “приятное дополнение” к чтению из-за природы самих приложений. 
Рассмотрим теперь модели контроллеров более детально.
6-ая серия RAID контроллеров Adaptec.
Общие характеристики контроллеров 6-ой серии:
• Базируются на микросхеме RoC (RAID on Chip) PM8013 8x портов SAS2 (6Гб/сек) PMC-Sierra (дополнительную информацию можно посмотреть на сайте www.pmcs.com;
• Модели с максимальным количеством портов – 8 портов SAS 2.0 (6Гб/сек), и слотом 8x PCI-express Gen 2.0;
• Кэш память — 512MB DDR2-667 DRAM.
• Опционально могут использовать Набор защиты кэша Adaptec Flash Module (AFM-600 Kit) в который входят:
o Дочерняя плата с flash-памятью;
o Выносной блок суперконденсатора.
Adaptec RAID 6805 с AFM-600 Flash Module.
Контроллеры 6 серии на уровне стека поддерживают:
Simple Volume, JBOD, RAID 0, 1, 10, 1E, 5, 6, 50, 60 Hybrid RAID 1, 10.
Максимальная производительность ядра контроллера 50 000 IOPS (4 KB blocks, random read).
Производительность для последовательных шаблонов в таблице ниже. 
Семейство 6T.
Основная цель появления таких контроллеров семейства 6T — исключить ситуации, когда негибкая часть кабеля (часть, примерно, 2 см длиной после разъема) упирается в крышку или корпус сервера, в радиатор процессора или другие части сервера. Для этого на 6-ой серии контроллеров порты расположены так, чтобы негибкая часть кабеля не выходила за геометрические границы контроллера. Помечено зеленой стрелкой на рисунке. Синий прямоугольник – негибкая часть кабеля.
Adaptec RAID 6805Т с AFM-600 Flash Module.
RAID контроллеры для проектов начального класса. Уменьшена оперативная память, по сравнению с обычными контроллерами 6-ой серии, упрощен стек, нет поддержки защиты кэша и экспандеров. Имеют упрощенный стек, поддерживают только Simple Volume, JBOD, RAID 0,1, 10, 1E, т.е., нет поддержки RAID 5,5EE,6, 50, 60, но поддерживают Hybrid RAID 1, 10 (см. раздел «Гибридные Тома» в главе «Основные функции RAID контроллеров» ниже.
Модель 6405E поддерживает максимально 4 диска. Модель 6805E – 8 дисков (поскольку нет поддержки SAS экспандеров). Модель 6405E имеет слот PCI-E 1x, модель 6805E – слот PCI-E 4x ver. 2.
Разъемы портов контроллеров 6-ой серии.
Все семейство RAID контроллеров 6-ой серии поддерживает только порты Mini-SAS.
Для внутренних портов используется разъем – SFF 8087 (internal mini-SAS),
для внешних – SFF-8088 (external mini-SAS).
Сводная таблица для контроллеров 6-ой серии. 
7-ая серия RAID контроллеров Adaptec. 
Adaptec RAID 71605.
Первый контроллер PCIe 3.0 LP MD2 с 16 портами SAS/SATA 6 Гбит/сек.
Первый контроллер PCIe 3.0 половинной длины с 24 портами.
Первое решение, использующее все преимущества шины PCIe 3.0.
Первое решение, обеспечивающее 450 тысяч IOPS и 6600 МБ/сек.
Первое решение, ориентированное на создание томов на базе SSD.
Впервые в полной мере допускается подключение внешних стоек RBOD, ленточных устройств и автозагрузчиков.
Общие характеристики контроллеров 7-ой серии:
• Базируются на микросхеме SRCv RoC (RAID on Chip) PM8015 SRCv 24x порта SAS2 (6Гб/сек) PMC-Sierra (дополнительную информацию можно посмотреть на сайте www.pmcs.com);
• Модели с максимальным количеством портов – 24 порта SAS 2.0 (6Гб/сек), и слотом 8x PCI-express Gen 3.0;
• Кэш память — 1024 MB DDR3-1333 DRAM.
o Опционально могут использовать Набор защиты кэша Adaptec Flash Module (AFM-700), в который входят:
o Дочерняя плата с flash-памятью;
o Выносной блок суперконденсатора.
Контроллеры 7-ой серии на уровне стека поддерживают: Simple Volume, JBOD, RAID 0, 1, 10, 1E, 5, 6, 50, 60, Hybrid RAID 1, 10 и режим HBA.
Начиная с 7-ой серии RAID контроллеры поддерживают режим HBA, т.е. по сути это не совсем RAID контроллер, это RAID контроллер и HBA на одной плате. См. в описании функций продуктов раздел «Режим HBA».
Прекращена поддержка RAID 5EE (причина в том, что производительность RAID6 из-за усиления архитектуры микросхемы RoC сравнялась с RAID5EE, а по всем остальным параметрам – надежность, легкость в обслуживании и т.д., RAID 6 или аналогичен или лучше RAID5EE, что лишает смысла существование RAID 5EE в стеке современного RAID контроллера).
Максимальная производительность ядра контроллера 600 000 IOPS. 
Все семейство RAID контроллеров 7-ой серии поддерживает только порты miniSAS-HD.
Для внутренних портов используется разъем – SFF-8643 (internal mini-SAS HD), 
для внешних – SFF-8644 (external mini-SAS HD). 
Обратите внимание на сбалансированность диапазонов пропускания со стороны SAS и PCI-E на примере 71605 контроллера – единственное в отрасли решение 16 портов SAS2 в низкопрофильном варианте.
Семейство 7E
RAID контроллеры для проектов начального класса. Уменьшена оперативная память, по сравнению с обычными контроллерами 6-ой серии, упрощен стек, нет поддержки защиты кэша. Имеют упрощенный стек, поддерживают только Simple Volume, JBOD, RAID 0,1, 10, 1E, т.е., нет поддержки RAID 5,5EE,6, 50, 60, но поддерживают Hybrid RAID 1, 10 (см. раздел «Гибридные Тома» в главе «Основные функции RAID контроллеров» ниже).
В отличие от 6E семейство 7E поддерживает экспандеры и имеют такой же разъем 8X PCI-E как и контроллеры без индекса «E».
Семейство 7Q
RAID контроллеры семейства 7Q обладают функцией SSD кэширования. Поддерживается выделение кэша на уровне логического диска. Оставшуюся емкость можно использовать как обычный RAID том. Поддерживается кэш и на чтение, и на запись. Более детальную информацию смотрите в разделе «SSD кэширование» в главе «Основные функции RAID контроллеров» ниже.
Сводная таблица для контроллеров 7-ой серии. 
8-ая серия RAID контроллеров Adaptec. 
Общие характеристики контроллеров 8-ой серии.
8-ая серия RAID контроллеров является флагманской группой RAID контроллеров на начало 2015 года. И базируется уже на технологии SAS3 (12 Гб/сек). Семейство включает в себя единственный в отрасли 16-портовый RAID-контроллер SAS 12 Гб/с со встроенным флэш-резервированием кэша — всё это в форм-факторе LP/MD2 — ASR-81605ZQ. Максимальные в отрасли для RAID контроллеров 700 000 операций ввода-вывода в секунду (IOPS). Max Cache 3.0 — уникальное для отрасли программное обеспечение уровневого управления и кэширования, обеспечивает хранилищам лучшую экономическую эффективность и производительность.
ASR-8885 имеет 8 внутренних/внешних портов SAS3 12 Гб/сек в низкопрофильном форм-факторе LP/MD2:
• Базируются на микросхеме SRCv RoC (RAID on Chip) PMC PM8063 16x портов SAS3 (12 Гб/сек) PMC-Sierra (дополнительную информацию можно посмотреть на сайте www.pmcs.com);
• Модели с максимальным количеством портов — 12 портов SAS 3.0 (12 Гб/сек) и слотом 8x PCI-express Gen 3.0;
• Кэш память — 1024 MB DDR3-1600 DRAM;
• Разъёмы HD miniSAS.
o Опционально могут использовать Набор защиты кэша Adaptec Flash Module (AFM-700), в который входят:
o Дочерняя плата с flash-памятью;
o Выносной блок суперконденсатора.
Модель AFM-700 модуля защиты кэша подходит к 7 и 8 серии контроллеров Adaptec.
Семейство 8Q
RAID контроллеры семейства 8Q поддерживают функцию SSD кэширования. Поддерживается выделение кэша на уровне логического диска. Оставшуюся емкость можно использовать как обычный RAID том. Поддерживается кэш и на чтение, и на запись. Более детальную информацию смотрите в разделе «SSD кэширование» в главе «Основные функции RAID контроллеров» ниже.
Сводная таблица для контроллеров 8-ой серии. 
Adaptec RAID 81605ZQ с подключенным блоком суперконденсатора.
6-ая серия HBA Adaptec 
Adaptec SAS HBA 6805H.
Общие характеристики HBA 6H серии:
• Крайне эффективные, с точки зрения цены, HBA решения, которые предоставляют 4 / 8 внутренних SAS портов (технологии SAS2 6Гб/сек);
• Производительность 250000 IOPS с размером блока. 512 Байт и 200000 IOPS с размером блока 4Kбайта;
• Все модели имеют низкопрофильный размер LP/MD2 и используют MiniSAS разъемы;
• Семейство использует 4x PCI-express Gen 2.0.
Сводная таблица для HBA 6-ой серии. 
7-ая серия HBA Adaptec. 
Adaptec SAS HBA 71605H.
Общие характеристики HBA 7H серии:
• Крайне эффективные, с точки зрения цены, HBA решения, которые предоставляют 16/ 8 внутренних или внешних SAS портов (технологии SAS2 6Гб/сек);
• Производительность 1 миллион IOPS с размером блока. 512 Байт и 800000 IOPS с размером блока 4Kбайта;
• Поддерживают недисковые устройства;
• Все модели имеют низкопрофильный размер LP/MD2 и используют MiniSAS-HD разъемы;
• Семейство использует 8x PCI-express Gen 3.0.
Сводная таблица для HBA 7-ой серии. 
Общий взгляд на ядро линейки продуктов с точки зрения поддержки функций RAID и HBA.
Информация предоставлена компанией Adaptec by PMC (Россия). Полный текст статьи можно найти на сайте Adaptec.
Другие статьи Тринити можно найтив хабе Тринити. Подписывайтесь!
Оборудование СХД: основные компоненты и их назначение
Система хранения данных (СХД) представляет собой комплекс аппаратного и программного обеспечения, который обеспечивает хранение данных на физических носителях и предоставляет доступ к этим данным на установленных условиях.
При построении СХД инженеры стараются подбирать компоненты решения таким образом, чтобы получить необходимый объем хранения, обеспечить высокую скорость обработки данных на чтение и на запись, а также их максимальную сохранность и доступность.
В этом материале мы представили справочную информацию о том, из чего состоят современные СХД, какие базовые характеристики существуют у их функциональных частей, и на что следует смотреть в первую очередь, если вы не так давно в этой отрасли.
Аппаратные компоненты СХД
С аппаратной точки зрения, система хранения данных выглядит как цепочка компонентов, включающая уровень физического размещения данных (например, жесткие диски), уровни их подключения и обработки (дисковый контроллер и контроллер СХД) и уровень передачи (сетевые адаптеры), на котором будут подключаться клиенты (серверы и компьютеры пользователей).
Рисунок 1. Цепочка оборудования в системе хранения данных.
Все эти компоненты имеют свои особенности и характеристики, которые следует учитывать при построении СХД или модернизации уже существующих систем. Понимание роли и места каждого уровня этой цепочки помогает понять, как образуется производительность системы, из чего складывается ее стоимость и на какие аспекты следует обратить внимание при эксплуатации.
Накопители в СХД
СХД может работать с разными носителями данных: магнитная лента, оптические диски, жесткие диски (HDD) и твердотельные накопители (SSD/NVMe). Мы рассмотрим только два последних типа, так как именно они распространены в качестве универсальных носителей в большинстве систем.
Надо понимать, что накопители в СХД задают аппаратный предел производительности: система не может работать быстрее, чем сумма производительности ее накопителей. Медленнее — может.
Накопители имеют много важных параметров и характеристик, которые следует учитывать при построении СХД, но базовыми атрибутами, пожалуй, можно назвать тип интерфейса и форм-фактор.
Интерфейсы современных HDD и SSD
Интерфейс представляет собой протокол взаимодействия накопителя и вычислительных ресурсов системы. Интерфейс является важным фактором, влияющим на параметры накопителя: от него зависит пропускная способность, время задержки, расширяемость, возможность горячей замены и, конечно же, стоимость.
Интерфейсы SATA и SAS изначально появились на HDD-дисках, но затем стали стандартом и для SSD. Однако SATA и SAS не могут раскрыть весь потенциал производительности SSD, поэтому для подключения твердотельных накопителей все чаще используется интерфейс PCIe и протокол NVMe. Также стоит отметить NL-SAS диски, которые по сути являются гибридом SAS-интерфейса и SATA накопителя.
Таблица 1. Общее сравнение характеристик HDD и SSD накопителей
| Класс | HDD | SSD | ||||
| Интерфейс | SATA | SAS | SATA | SAS | PCIe | |
| Накопитель | SATA | NL-SAS | SAS | SATA | SAS | NVMe |
| Надежность | Низкая | Средняя | Высокая | Средняя | Высокая | Высокая |
| Производительность | Низкая | Низкая | Средняя | Высокая | Высокая | Очень высокая |
| Стоимость | Низкая | Низкая | Средняя | Средняя | Высокая | Очень высокая |
Форм-фактор
Все HDD имеют схожую конструкцию подвижных элементов, поэтому их внешний корпус — это прямоугольный кейс типа SFF (Small Form Factor, 2.5″) или LFF (Large Form Factor, 3.5″). Каждый из этих типов корпуса может иметь различные разъемы интерфейса.
Рисунок 2. Western Digital Ultrastar SN640 в форм-факторе SFF 2.5″ (слева) и Seagate Exos X12 в форм-факторе LFF 3.5″ (справа).
Flash-накопители не имеют движущихся деталей и поэтому реализованы в более разнообразных формах. Дополнительным импульсом для разнообразия форм-факторов SSD стало развитие PCIe-интерфейса, который добавил варианты прямого размещения накопителей на серверной платформе.
Таблица 2. Форм-факторы HDD и SSD накопителей
| Форм-фактор | HDD | SSD |
| 3.5″ (LFF) | SATA, NL-SAS, SAS | — |
| 2.5″ (SFF) | SATA, NL-SAS, SAS | SATA, SAS, NVMe |
| M.2* | — | SATA, NVMe |
| Add-In Card (AIC) | — | NVMe |
| EDSFF | — | NVMe |
*используются в качестве системных дисков
Рисунок 3. Intel Optane SSD в форм-факторе Add-In-Card HHHL (Half-Height Half-Length).
Форм-фактор является достаточно динамичным параметром, который постоянно меняется и совершенствуется в зависимости как от изменения интерфейсов, так и от изменения подходов к построению СХД. Более подробно про актуальные форм-факторы можно прочитать на сайте SNIA.
В современных СХД накопители могут размещаться как в основном корпусе СХД, так и в дисковых корзинах — JBOD (Just a Bunch Of Drives). Физически такие корзины представляют собой корпус для монтажа в стойку, заполненный накопителями. Для NVMe накопителей сейчас активно используются JBOF (Just a Bunch Of Flash), специализированные дисковые корзины для флеш-накопителей. Например, OpenFlex Data24 от компании Western Digital.
Рисунок 4. Дисковая корзина WD Ultrastar Data102.
Дисковый контроллер и бэкплейн
Дисковый контроллер (HBA)
В системах хранения данных дисковый контроллер является устройством, через которое подключенные накопители передаются вычислительным ресурсам системы. Физически дисковый контроллер обычно представлен отдельной картой расширения, но также может быть в виде чипа, интегрированного в непосредственно в материнскую плату. Если говорить простым языком, то дисковый контроллер позволяет видеть и работать с дисками всем следующим уровням СХД.
HBA (Host Bus Adapter, адаптер главной шины) — разновидность дискового контроллера, которая позволяет системе видеть подключенные накопители по отдельности.
Рисунок 5. Дисковый контроллер от Broadcom (9400-8i Tri-Mode Storage Adapter).
Triple-mode
Существуют дисковые контроллеры, которые совмещают в себе возможность одновременной работы сразу с тремя протоколами (SATA, SAS, NVMe). Этот подход удобен и обеспечивает гибкость при проектировании системы хранения, так как позволяет подключать как традиционные SATA-диски, так и сверхбыстрые NVMe накопители.
Бэкплейн и экспандер
В большинстве случаев накопители в СХД подключаются непосредственно через бэкплейн (backplane) — специальную плату в дисковой полке или сервере с разъемами для SAS, SATA, NVMe накопителей, которая соединяется с дисковым контроллером. Сам дисковый контроллер, как правило, поддерживает прямое подключение ограниченного числа накопителей. Для увеличения числа подключаемых дисков используют экспандер. В большинстве случаев он представляет собой чип, который устанавливается на бэкплейн.
Рисунок 6. Бэкплейн Supermicro BPN-SAS-826TQ.
Рисунок 7. SAS-экспандер Broadcom в виде чипа.
Контроллер СХД
Контроллер системы (storage controller, он же управляющий узел или node) является главным управляющим компонентом СХД. Он представляет уровень обработки данных, который отвечает за создание дисковых массивов, расчет контрольных сумм, управление доступом и выполнение других служебных операций.
Контроллер СХД — это функциональный блок, поэтому физически он может быть представлен совершенно разным набором оборудования.
RAID-контроллер
В теории, понятие RAID-контроллера и контроллера СХД часто представляются как тождественные. Это связано с тем, что они оба выполняют свою основную функцию — создают и управляют дисковым массивом. На практике же под RAID-контроллером часто подразумевают адаптер, который вставляется в сервер и создает массив из подключенных накопителей. В таком случае RAID-контроллер создает подсистему хранения данных для конкретного локального клиента (инициатора), но не является СХД в ее устоявшемся значении.
Рисунок 8. RAID-контроллер от Microchip.
Контроллер СХД как специализированный компьютер
Если мы говорим о системе хранения данных как о самостоятельной единице инфраструктуры с подключаемыми по сети клиентами, то в этом случае контроллер СХД — это специализированный компьютер с управляющим ПО. Он оснащен материнской платой, центральным процессором и модулями оперативной памяти. Физически такой контроллер может размещаться как в специализированном корпусе, так и в обычном корпусе для монтажа в стойку.
В некоторых решениях управляющее ПО может брать на себя функцию создания RAID-массива из накопителей, что освобождает от необходимости использовать аппаратный RAID-контроллер. Такой механизм часто применяется в программно-определяемых СХД (software-defined storage), у которых контроллер системы может быть реализован на базе стандартных серверных платформ.
Рисунок 9. Supermicro 2029P-E1CR24H — пример стандартной серверной платформы для программно-определяемых СХД.
Двухконтроллерный режим
Системы хранения данных могут быть одноконтроллерные, двухконтроллерные и многоконтроллерные. Последние два варианта используются для повышения производительности, а также повышенной отказоустойчивости: при аппаратном сбое активного контроллера, второй узел «подхватывает» его работу без остановки всей системы. 
Рисунок 10. Схема двухконтроллерной СХД на базе RAIDIX.
В двух- и многоконтроллерных конфигурациях узлы соединены каналами связи. Эти каналы могут отличаться в зависимости от архитектуры и функциональных особенностей системы. Например, в классической двухконтроллерной системе на базе RAIDIX это:
Стоит отметить, что наличие двух контроллеров не означает использование двух отдельных физических корпусов. Нередко дублирующие материнские платы контроллеров размещаются в разных отсеках внутри одной платформы (рисунок 11).
Рисунок 11. Два контроллера внутри одного серверного корпуса.
Вычислительные ресурсы
С увеличением количества выполняемых функций и используемых накопителей, системе требуется больше вычислительных ресурсов. Например в одноконтроллерной СХД RAIDIX на 60 накопителей для оптимальной производительности требуется 2 восьмиядерных процессора с частотой не ниже 2.1 ГГц и 48 ГБ оперативной памяти, а для системы на 600 дисков требуется 2 восьмиядерных процессора с частотой уже от 3.5 ГГц и более 256 ГБ оперативной памяти.
В качестве процессоров для СХД сейчас в основном используются x86 чипы Intel Xeon и, чуть реже, AMD EPYC. Существуют решения собранные на других процессорах (например, на отечественном Эльбрусе), но они менее популярны на рынке.
Таблица 3. Базовые характеристики серверных процессоров Intel и AMD
| Intel Xeon Scalable | AMD EPYC | |||||
| Bronze | Silver | Gold | Platinum | 1-Socket | 2-Socket | |
| Кол-во сокетов | 1-2 | 1-2 | 2-4 | 2-8 | 1 | 2 |
| Кол-во ядер | 6-8 | 4-12 | 4-22 | 4-28 | 16-32 | 16-32 |
| Базовая частота | 1.7 ГГц | 1.8-2.6 ГГц | 1.9-3.5 ГГц | 2.0-3.6 ГГц | 2.0-2.4 ГГц | 2.0-2.4 ГГц |
| Тип поддерживаемой памяти | DDR4-2133 | DDR4-2400 | DDR4-2666 | DDR4-2666 | DDR4-2666 | DDR4-2666 |
| Кол-во линий PCIe | 48 | 128 | ||||
На объем вычислительных ресурсов в значительной мере влияют установленные бизнес-требования к инфраструктуре хранения, характер и интенсивность нагрузок, а также существующее сетевое окружение.
Сетевые адаптеры
Сетевые адаптеры (хост-адаптеры) являются финальным звеном цепочки обмена данными с клиентом. Именно при помощи этого устройства система хранения данных соединяется с «внешним миром»: серверами, рабочими станциями и другими компонентами сетевой инфраструктуры. Сетевой адаптер представляет собой плату с портами интерфейсов (Ethernet, FC, IB, SAS), которая использует разъем на материнской плате или впаивается в нее напрямую.
Рисунок 12. Сетевой адаптер Mellanox ConnectX-6.
Некоторые хост-адаптеры могут иметь одновременно несколько интерфейсов. Например, у Mellanox есть адаптер, работающий с интерфейсами Infiniband и Ethernet.
Таблица 4. Характеристики современных хост-адаптеров в СХД
| Тип интерфейса | Блочные протоколы | Файловые протоколы | Скорость | Популярные бренды |
| FC | Fibre Channel FC-NVMe | — | 8Gb/16Gb/32Gb | Marvell QLogic Broadcom ATTO |
| Ethernet | iSCSI, iSER, FCoE, NVMe-oF | SMB, NFS, AFP, FTP | 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb | Broadcom Mellanox |
| Infiniband | IB-SRP | — | 20Gb/40Gb/56Gb/100Gb | Mellanox |
| SAS | SAS | — | 12Gb | Broadcom Adaptec |
Выбор сетевого адаптера зависит от существующей сетевой инфраструктуры, планируемых задач и аппаратной конфигурации системы хранения данных.
Заключение
Оборудование современной СХД можно представить как цепочку уровней, по которым происходит передача и обработка данных между местом их хранения и клиентом. Такое представление процесса дает хорошее понимание того, что может стать «бутылочным горлышком» производительности, какой компонент оборудования несет избыточные характеристики и за счет чего можно сократить общую стоимость решения.
Использование этих знаний поможет сориентироваться при выборе оборудования для СХД, а также позволит упростить процесс подбора компонентов при обновлении и модернизации существующих систем.
