Конфигурация RAID или Intel® Optane™ памяти с Intel® RST на платформе с Intel® VMD возможностью
Тип материала Установка и настройка
Идентификатор статьи 000057787
Последняя редакция 28.07.2021
Драйвер Intel® Rapid Storage Technology (Intel® RST) версии 18.0 и новее поддерживает Intel® Volume Management Device (Intel® VMD).
Intel® VMD — это новый способ конфигурации платформ для Intel® RST управления томами RAID и Intel® Optane™ памяти.
Надлежащая поддержка ПО и BIOS в настоящее время доступна только в системах на базе процессоров 11-Intel® Core™ 11-го поколения, которые полностью настроены и готовы к работы.
Для настройки и конфигурации систем с поддержкой HW/BIOS для Intel® RST систем хранения данных через Intel® VMD. Это лишь упоминание для поставщиков систем и экспертных пользователей.
Следующие пакеты содержат только файлы драйвера и должны быть установлены с помощью процесса с диском:
F6flpy-x64 (Intel® VMD).zip:новый пакет драйверов, нацеленный только на платформы с поддержкой VMD. Двоичный драйвер — iaStorVD.sys.
F6flpy-x64 (non-Intel® VMD).Этот пакет драйверов нацелен на платформы, которые не имеют включенной VMD или не поддерживают VMD. Двоичный драйвер — iaStorAC.sys.
Загрузите пакеты SetupRST.exe и f6flpy-64 (Intel® VMD) на флэш-устройство USB. (Обязательно размыть пакет f6). Отложите для использования во время процесса установки ОС.
Для управления устройствами хранения с помощью Intel® VMD необходимо обновить следующие поля:
Шаг 3. Установка операционной системы (64-® Windows® 10)
Во время процесса установки ОС необходимо будет установить соответствующий драйвер VMD с Intel® RST Intel® VMD f6flpy VMD.
С диском USB, который содержит драйвер, загруженный ранее, во время установки ОС на следующем экране выполните следующие действия:
После загрузки операционной системы приложение Intel® Optane™ Memory and Storage Management должно быть загружено из Microsoft Store* для управления томами RAID/Intel® Optane™ памяти.
Безопасно внедряйте системы хранения нового поколения
Intel® VMD — это функция масштабируемых процессоров Intel® Xeon®, которая позволяет напрямую контролировать SSD-накопители NVMe и управлять ими с шины PCIe без дополнительных аппаратных адаптеров. Эта надежная функциональность SSD-накопителей NVMe обеспечивает плавный переход к хранилищам данных NVMe при одновременном ограничении времени простоя важнейших объектов инфраструктуры. Благодаря технологии Intel® VMD SSD-накопители с интерфейсом NVMe отличаются надежностью, доступностью и удобством обслуживания (RAS), поэтому вы сможете осуществлять безопасное развертывание систем хранения нового поколения.
Переход на NVMe с технологией Intel® VMD
Технология Intel® Volume Management Device (Intel® VMD) предназначена для управления корпоративного уровня SSD-накопителями NVMe, подключенными к ЦП Intel® Xeon®. Каждый корневой порт состоит из группы из 16 линий PCIe процессора Intel® Xeon®, образующих один домен Intel® VMD. Корневые порты действуют как интегрированный HBA, обеспечивая надежную основу для поддержки экосистемы NVMe с помощью нижеуказанных функций:
Ознакомьтесь с приведенной ниже информацией о технологиях Intel® Virtual RAID on CPU (Intel® VROC) и Direct Assign, касающейся реализаций технологии Intel® VMD и кратких описаний продукции.
На базе процессоров Intel® Xeon®
По мере увеличения вычислительной мощности чрезвычайно важным условием реализации истинного потенциала ЦП становится доступ с высокой пропускной способностью к системам хранения с низким уровнем задержек. Intel® VMD и Intel® VROC являются функциями масштабируемых процессоров Intel® Xeon®, которые позволяют плавно перейти на быстродействующие системы хранения NVMe для обеспечения максимального доступа ЦП к данным без нарушения функций хранения данных.
Поддерживаемые процессоры
Количество доменов VMD на конкретном ЦП зависит от количества линий PCIe. Для каждых 16 линий PCIe доступен один домен Intel VMD.
Примечание: некоторые платформы могут поддерживать дополнительный домен Intel VMD на наборе микросхем, который не включен в приведенный выше расчет. Этот домен используется главным образом для загрузки с целью сохранения линий PCIe ЦП для более производительных устройств.
Интегрированный RAID-контроллер: Intel® Virtual RAID on CPU
Intel® Virtual RAID on CPU (Intel® VROC) — решение RAID корпоративного класса, которое позволяет повысить производительность SSD-накопителей NVMe. Аппаратное обеспечение Intel® VMD позволяет Intel® VROC предоставлять загрузочный RAID без дискретного аппаратного RAID-контроллера HBA.
Драйверы Intel® VMD и Intel® VROC поставляются вместе в составе блока системы хранения корпоративного класса через поставщиков платформ. В Windows и Linux эти пакеты обеспечивают возможности управления светодиодами и горячего подключения для массивов RAID0, 1, 5 и 10 с прямым подключением. Если RAID не требуется, то можно использовать Intel® VROC в сквозном режиме для включения только доменов Intel® VMD.
В средах VMware технология Intel® VMD может использоваться как в режиме vSAN, так и в режиме с прямым подключением, при этом дополнительным преимуществом является возможность использования массива RAID1 для избыточного загрузочного тома.
NVMe для HCI: Intel® VMD Direct Assign
В связи с дальнейшим переходом модернизированных ЦОД на архитектуры гиперконвергентной инфраструктуры (HCI) требуются новые инструменты для поддержки платформ более высокой плотности и производительности. Технология Intel® VMD Direct Assign позволяет назначать домен Intel® VMD непосредственно ВМ, полностью обходя гипервизор, с тем чтобы сократить время задержек при хранении данных и увеличить пропускную способность. Гостевая ОС наследует основную функцию Intel® VMD, позволяющую использовать производительность хранилища данных NVMe при реализации HCI при сохранении необходимых функций хранения данных и виртуализации.
Связанная продукция и решения
Системы хранения данных Intel®
Узнайте, как Intel оптимизирует системы хранения в ЦОД и облачных средах с помощью масштабируемых и оптимизированных под системы хранения технологий, открывающих новые возможности.
Семейство твердотельных накопителей Intel® для центров обработки данных
Устраните ограничения производительности с помощью оптимальных накопителей для центров обработки данных. Модернизируйте свою инфраструктуру в соответствии с требованиями цифрового бизнеса. Твердотельные накопители Intel® для центров обработки данных оптимизированы для обеспечения высокой производительности, надежности и долговечности.
Поддержка накопителей NVMe в серверах Intel на базе Xeon Scalable
В предыдущих поколениях серверов (включая серверы на базе Intel Xeon E5-2600v4) использование твердотельных накопителей NVMe 1 было связано с рядом ограничений:
Это объясняется тем, что управление интерфейсом NVMe осуществлялось не внешним контроллером, как в случае дисков SAS или SATA, а контроллером самого накопителя. Вследствие этого такие события, как извлечение накопителя или возникновение неисправности, не всегда могли корректно обрабатываться системой.
В серверах Intel на базе процессоров Intel Xeon Scalable эти ограничения сняты благодаря новым технологиям Intel VMD и Intel VROC.
Что такое Intel VMD и Intel VROC
Intel VMD (Volume Management Device) – встроенный в процессор Intel Xeon Scalable аппаратный контроллер интерфейса NVMe, обеспечивающий возможность горячей замены накопителей, корректную индикацию статуса, а также работу с RAID-массивами.
Intel VROC (Virtual RAID on CPU) – набор инструментов для накопителей NVMe:
Intel VROC является гибридным RAID-решением, которое включает как аппаратные (Intel VMD), так и программные компоненты. Технология Intel VROC доступна в серверах на платформе Intel.
Использование Intel VMD и Intel VROC проиллюстрируем на конкретном примере: рассмотрим процесс создания загрузочного массива из накопителей NVMe на платформе Intel R1208WF.
Создание загрузочного RAID-массива из накопителей NVMe
Advanced/PCI Configuration/Volume Management Device
необходимо включить Intel VMD на тех портах шины PCIe, к которым подключены накопители NVMe. По умолчанию Intel VMD выключена на всех портах:
На платформе Intel R1208WF накопители NVMe подключаются к портам OCuLink на материнской плате (два порта на каждый процессор) и/или к портам NVMe-адаптера, установленного в слот райзер-карты ( Riser1,Slot1/ Riser2,Slot1 ).
В нашем сервере два накопителя NVMe подключены к портам OcuLink CPU1. Включаем Intel VMD на этих портах:
Переходим в раздел BIOS
Advanced/PCI Configuration/UEFI Option ROM Control
Здесь появился дополнительный RAID-контроллер Intel(R) Virtual RAID on CPU:
Перемещаем на него курсор и заходим в раздел Intel(R) Virtual RAID on CPU :
Пока в сервере не установлен лицензионный ключ, накопители NVMe можно использовать лишь в режиме Pass-Through. Для создания RAID-массивов необходим ключ Standard или Premium.
После установки ключа Standard данный раздел будет выглядеть так:
Переходим здесь в раздел All Intel VMD Controllers :
Выбираем Create RAID Volume и создаем нужный RAID-массив:
Теперь можно перейти к установке на этот RAID-массив операционной системы. В процессе установки потребуются драйверы Intel VROC, которые можно скачать с сайта Intel. Загрузка сервера должна выполняться в режиме UEFI.
Технические характеристики технологии Intel VROC
Процессоры семейства Intel Xeon Scalable имеют три домена (контроллера) шины PCIe, каждый из которых управляет 16 линиями PCIe. Всего в процессоре 48 таких линий.
Каждый домен PCIe процессора является отдельным VMD-контроллером. Поскольку стандартный накопитель с интерфейсом NVMe использует 4 линии PCIe, к одному VMD-контроллеру можно напрямую подключить до 4 накопителей NVMe. Если накопители подключать через NVMe-адаптеры (коммутаторы), к одному VMD-контроллеру можно подключить максимально до 24 накопителей. Такое же ограничение действует на процессор и сервер в целом.
RAID-массив, созданный из накопителей одного VMD-контроллера, может быть загрузочным. Можно создавать RAID-массивы из накопителей, подключенных к разным VMD-контроллерам и даже к разным процессорам в рамках одного сервера, однако загрузочными такие массивы быть не могут.
Основные возможности Intel VROC приведены в следующей таблице:
| Поддерживаемые серверные платформы | Платформы на базе процессоров Intel Xeon Scalable (на данный момент серверные платформы Intel) |
| Поддерживаемые операционные системы | Windows 2016, Windows 2012 R2, Windows 10, Windows 7 SP2 Red Hat Enterprise Linux 7.3 SUSE Linux Enterprise 12 SP3 |
| Поддерживаемые SSD-накопители с интерфейсом NVMe | Все SSD-накопители Intel с интерфейсом NVMe семейств “Data Center” и “Professional” Накопители отдельных серверных серий других производителей |
| Поддерживаемые конфигурации | До 24 SSD-накопителей на VMD-контроллер, на RAID-массив, на систему До 12 RAID-массивов на систему До 2 томов на RAID-массив До 2 уровней коммутации Том данных может принадлежать нескольким VMD-контроллерам Загрузочный том должен принадлежать одному VMD-контроллеру |
| Лицензионные ключи | Без ключа: накопители в режиме Path-Through Standard: RAID 0/1/10 Premium: RAID 0/1/10/5 |
| Ключевые возможности | Горячая замена LED-индикация статуса накопителя Нот Spare – автоматическое подключение запасного накопителя взамен неисправного Auto-Rebuild – автоматическое перестроение массива Уведомления по Email Защита от потери питания при перестроении массивов RAID 5 Управление «плохими» блоками Выбор Strip Size (4K, 8K, 16K, 32K, 64K, 128K) |
Каждый накопитель NVMe имеет два LED-индикатора: активности и статуса. В следующей таблице приведена информация о состоянии этих индикаторов в зависимости от режима накопителя.
| LED-индикатор | Режим накопителя | Состояние индикатора |
| Зеленый | Питание есть, режим простоя | Горит |
| Питание есть, активность | Мигает при выполнении команды | |
| Питание есть, режим энергосбережения | Не горит | |
| Питание есть, включается | Мигает | |
| Янтарный | Исправен | Не горит |
| Режим идентификации (Locate) | Мигает с частотой 4Hz | |
| Отказ | Горит | |
| Перестроение массива | Мигает с частотой 1Hz |
Замечания и вопросы Вы можете оставить в комментариях к этой статье.
1 Здесь имеются ввиду только твердотельные накопители форм-фактора 2.5″ с интерфейсом PCIe, подключаемые через разъем U.2 (SFF-8639)
2 Международный стандарт «International Blinking Pattern Interpretation (IBPI) standard» (SFF-8489)
Intel® Volume Management Device (Intel® VMD) ESXi Tools
Введение
Эти утилиты относятся к Intel® Volume Management Device (Intel® VMD) версии 1.4 и новее.
Лицензия на использование программного обеспечения Intel
Файлы, доступные для скачивания
Подробное описание
Intel® Volume Management Device (Intel® VMD) — инструменты управления светодиодными индикаторами драйверов NVMe* для VMware ESXi*
См. примечания к выпуску для инструкций по установке, поддерживаемых аппаратных средств, новых, исправлений ошибок и известных проблем.
Этот скачиваемый файл подходит для нижеуказанных видов продукции.
Документация
Содержание данной страницы представляет собой сочетание выполненного человеком и компьютерного перевода оригинального содержания на английском языке. Данная информация предоставляется для вашего удобства и в ознакомительных целях и не должна расцениваться как исключительная, либо безошибочная. При обнаружении каких-либо противоречий между версией данной страницы на английском языке и переводом, версия на английском языке будет иметь приоритет и контроль. Посмотреть английскую версию этой страницы.
Для работы технологий Intel может потребоваться специальное оборудование, ПО или активация услуг. // Ни один продукт или компонент не может обеспечить абсолютную защиту. // Ваши расходы и результаты могут отличаться. // Производительность зависит от вида использования, конфигурации и других факторов. // См. наши юридические уведомления и отказ от ответственности. // Корпорация Intel выступает за соблюдение прав человека и избегает причастности к их нарушению. См. Глобальные принципы защиты прав человека в корпорации Intel. Продукция и программное обеспечение Intel предназначены только для использования в приложениях, которые не приводят или не способствуют нарушению всемирно признанных прав человека.
RAID-массивы на NVMe
В данной статье мы расскажем про разные способы организации RAID-массивов, а также покажем один из первых аппаратных RAID-контроллеров с поддержкой NVMe.
Все разнообразие применений технологии RAID встречается в серверном сегменте. В клиентском сегменте чаще всего используется исключительно программный RAID0 или RAID1 на два диска.
В этой статье будет краткий обзор технологии RAID, небольшая инструкция по созданию RAID-массивов с помощью трех разных инструментов и сравнение производительности виртуальных дисков при использовании каждого из способов.
Что такое RAID?
RAID (англ. Redundant Array of Independent Disks — избыточный массив независимых (самостоятельных) дисков) — технология виртуализации данных для объединения нескольких физических дисковых устройств в логический модуль для повышения отказоустойчивости и производительности.
Конфигурация дисковых массивов и используемые при этом технологии зависят от выбранного уровня RAID (RAID level). Уровни RAID стандартизированы в спецификации Common RAID Disk Data Format. Она описывает множество уровней RAID, однако самыми распространенными принято считать RAID0, RAID1, RAID5 и RAID6.
RAID0, или Stripes, — это уровень RAID, который объединяет два или более физических диска в один логический. Объем логического диска при этом равен сумме объемов физических дисков, входящих в массив. На этом уровне RAID отсутствует избыточность, а выход из строя одного диска может привести к потере всех данных в виртуальном диске.
Уровень RAID1, или Mirror, создает идентичные копии данных на двух и более дисках. Объем виртуального диска при этом не превышает объема минимального из физических дисков. Данные на виртуальном диске RAID1 будут доступны, пока хотя бы один физический диск из массива работает. Использование RAID1 добавляет избыточности, но является достаточно дорогим решением, так как в массивах из двух и более дисков доступен объем только одного.
Уровень RAID5 решает проблему дороговизны. Для создания массива с уровнем RAID5 необходимо как минимум 3 диска, при этом массив устойчив к выходу из строя одного диска. Данные в RAID5 хранятся блоками с контрольными суммами. Нет строгого деления на диски с данными и диски с контрольными суммами. Контрольные суммы в RAID5 — это результат операции XOR, примененной к N-1 блокам, каждый из которых взят со своего диска.
Хотя RAID-массивы повышают избыточность и предоставляют резервирование, они не подходят для хранения резервных копий.
После краткого экскурса по видам RAID-массивов можно переходить к устройствам и программам, которые позволяют собирать и использовать дисковые массивы.
Виды RAID-контроллеров
Существует два способа создать и использовать RAID-массивы: аппаратный и программный. Мы рассмотрим следующие решения:
Linux Software RAID
Программные RAID-массивы в семействе ОС Linux — достаточно распространенное решение как в клиентском сегменте, так и в серверном. Все, что нужно для создания массива, — утилита mdadm и несколько блочных устройств. Единственное требование, которое предъявляет Linux Software RAID к используемым накопителям, — быть блочным устройством, доступным системе.
Отсутствие затрат на оборудование и программное обеспечение — очевидное преимущество данного способа. Linux Software RAID организует дисковые массивы ценой процессорного времени. Список поддерживаемых уровней RAID и состояние текущих дисковых массивов можно посмотреть в файле mdstat, который находится в корне procfs:
Поддержка уровней RAID добавляется подключением соответствующего модуля ядра, например:
Все операции с дисковыми массивами производятся через утилиту командной строки mdadm. Сборка дискового массива производится в одну команду:
После выполнения этой команды в системе появится блочное устройство /dev/md0, которое представляет из тебя виртуальный диск.
Intel® Virtual RAID On CPU
Intel® VROC Standard Hardware Key
Intel® Virtual RAID On CPU (VROC) — это программно-аппаратная технология для создания RAID-массивов на базе чипсетов Intel®. Данная технология доступна в основном для материнских плат с поддержкой процессоров Intel® Xeon® Scalable. По умолчанию VROC недоступен. Для его активации необходимо установить аппаратный лицензионный ключ VROC.
Стандартная лицензия VROC позволяет создавать дисковые массивы с 0, 1 и 10 уровнями RAID. Премиальная версия расширяет этот список поддержкой RAID5.
Технология Intel® VROC в современных материнских платах работает совместно с Intel® Volume Management Device (VMD), которая обеспечивает возможность горячей замены для накопителей с интерфейсом NVMe.
Intel® VROC со стандартной лицензией Настройка массивов производится через Setup Utility при загрузке сервера. На вкладке Advanced появляется пункт Intel® Virtual RAID on CPU, в котором можно настроить дисковые массивы.
Создание массива RAID1 на двух накопителях
Технология Intel® VROC имеет свои «козыри в рукаве». Дисковые массивы, собранные с помощью VROC, совместимы с Linux Software RAID. Это означает, что состояние массивов можно отслеживать в /proc/mdstat, а администрировать — через mdadm. Эта «особенность» официально поддерживается Intel. После сборки RAID1 в Setup Utility можно наблюдать синхронизацию накопителей в ОС:
Отметим, что через mdadm нельзя собирать массивы на VROC (собранные массивы будут Linux SW RAID), но можно менять в них диски и разбирать массивы.
LSI MegaRAID 9460-8i
Внешний вид контроллера LSI MegaRAID 9460-8i
RAID-контроллер является самостоятельным аппаратным решением. Контроллер работает только с накопителями, подключенными непосредственно к нему. Данный RAID-контроллер поддерживает до 24 накопителей с интерфейсом NVMe. Именно поддержка NVMe выделяет этот контроллер из множества других.
Главное меню аппаратного контроллера
При использовании режима UEFI настройки контроллера интегрируются в Setup Utility. В сравнении с VROC меню аппаратного контроллера выглядит значительно сложнее.
Создание RAID1 на двух дисках
Объяснение настройки дисковых массивов на аппаратном контроллере является достаточно тонкой темой и может стать поводом для полноценной статьи. Здесь же мы просто ограничимся созданием RAID0 и RAID1 с настройками по умолчанию.
Диски, подключенные в аппаратный контроллер, не видны операционной системе. Вместо этого контроллер «маскирует» все RAID-массивы под SAS-накопители. Накопители, подключенные в контроллер, но не входящие в состав дискового массива, не будут доступны ОС.
Несмотря на маскировку под SAS-накопители, массивы с NVMe будут работать на скорости PCIe. Однако такая особенность позволяет загружаться с NVMe в Legacy.
Тестовый стенд
Каждый из способов организации дисковых массивов имеет свои физические плюсы и минусы. Но есть ли разница в производительности при работе с дисковыми массивами?
Для достижения максимальной справедливости все тесты будут проведены на одном и том же сервере. Его конфигурация:
Тестирование
В первую очередь проверим задержки при работе с диском. Тест выполняется в один поток, размер блока 4 КБ. Каждый тест длится 5 минут. Перед началом для соответствующего блочного устройства выставляется none в качестве планировщика I/O. Команда fio выглядит следующим образом:
Из результатов fio мы берем clat 99.00%. Результаты приведены в таблице ниже.
| Случайное чтение, мкс | Случайная запись, мкс | |
|---|---|---|
| Диск | 112 | 78 |
| Linux SW RAID, RAID0 | 113 | 45 |
| VROC, RAID0 | 112 | 46 |
| LSI, RAID0 | 122 | 63 |
| Linux SW RAID, RAID1 | 113 | 48 |
| VROC, RAID1 | 113 | 45 |
| LSI, RAID1 | 128 | 89 |
Помимо задержек при обращении к данным, хочется увидеть производительность виртуальных накопителей и сравнить с производительностью физического диска. Команда для запуска fio:
Производительность измеряется в количестве операций ввода-вывода. Результаты представлены в таблице ниже.
| Случайное чтение 1 поток, IOPS | Случайная запись 1 поток, IOPS | Случайное чтение 128 потоков, IOPS | Случайная запись 128 потоков, IOPS | |
|---|---|---|---|---|
| Диск | 11300 | 40700 | 453000 | 105000 |
| Linux SW RAID, RAID0 | 11200 | 52000 | 429000 | 232000 |
| VROC, RAID0 | 11200 | 52300 | 441000 | 162000 |
| LSI, RAID0 | 10900 | 44200 | 311000 | 160000 |
| Linux SW RAID, RAID1 | 10000 | 48600 | 395000 | 147000 |
| VROC, RAID1 | 10000 | 54400 | 378000 | 244000 |
| LSI, RAID1 | 11000 | 34300 | 229000 | 248000 |
Легко заметить, что использование аппаратного контроллера дает увеличение задержек и просадку по производительности в сравнении с программными решениями.
Заключение
Использование аппаратных решений для создания дисковых массивов из двух дисков выглядит нерационально. Тем не менее, существуют задачи, где использование RAID-контроллеров оправдано. С появлением контроллеров с поддержкой интерфейса NVMe у пользователей появляется возможность использовать более быстрые SSD в своих проектах.
