FAQ : RAID : Общие вопросы
Избежать описанной проблемы можно или с помощью установки на RAID контроллер BBU (см. ниже), или посредством подключения всего сервера через источник бесперебойного питания (UPS) с функцией программируемого выключения.
Существуют три разновидности BBU :
Обратите внимание: резервирование позволяет восстановить данные, находившиеся на неисправном диске, если все диски подключены к одному и тому же RAID контроллеру.
«Резервный» диск может быть создан одним из двух способов:
В течение процесса автоматического восстановления система продолжает нормально функционировать, однако производительность системы может слегка ухудшиться.
Для того, что бы использовать восстанавливающую особенность резервирования, Вы должны всегда иметь резервный диск ( Hotspare ) в вашей системе. В случае сбоя дисковода, резервный дисковод автоматически заменит неисправный диск, и данные будут восстановлены. После этого, системный администратор может отключить и удалить неисправный диск, заменить его новым диском и сделать этот новый диск резервным.
В этом разделе использованы материалы с сайта «3dnews».
В: Нужно ли заниматься архивированием данных в случае использования RAID?
О: Конечно да! RAID это вовсе не замена архивированию, основное его назначение это повышение скорости и надежности доступа к данным в нормальном режиме работы. Но только регулярное архивирование данных гарантировано обеспечит их сохранность при любых отказах оборудования, пожарах, потопах и прочих неприятностях.
Global hot spare что это
Добрый день уважаемые читатели и гости блога, я хочу продолжить с вами тему серверных технологий, а именно хочу поговорить про отказоустойчивость. Когда многие слышат это слово, то у них две ассоциации с ним, первое это технологий рейд массивов и контроллеров, а второе это репликация. В данном материале мы поговорим про первый вариант, а именно про Reudant Array of Independed Disks, или как в простонародье RAID.
Что такое RAID и зачем он нужен?
Акроним RAID (Reudant Array of Independed Disks) избыточный массив независимых дисков, впервые был использован в 1988 году исследователями из института Беркли Паттерсоном (Patterson), Гибсоном (Gibson) и Кацем (Katz). Они описали конфигурацию массива из нескольких недорогих дисков, обеспечивающих высокие показатели по отказоустойчивости и производительности.
Наиболее «слабой» в смысле отказоустойчивости частью компьютерных систем всегда являлись жесткие диски, поскольку они, чуть ли не единственные из составляющих компьютера, имеют механические части. Данные записанные на жесткий диск доступны только пока доступен жесткий диск, и вопрос заключается не в том, откажет ли этот жесткий диск когда-нибудь, а в том, когда он откажет.
Обычно RAID используется в больших файл серверах или серверах приложений, когда важна, высока скорость и надежность доступа к данным. Сегодня RAID находит применение так же в настольных системах, работающих с CAD, мультимедийными задачами и когда требуется обеспечить высокую производительность дисковой системы.
Можно ли использовать в RAID массиве диски разного размера?
Да. можно. Но, при этом, используемая емкость у ВСЕХ дисков будет равна емкости наименьшего диска.
Из этого следует, что добавлять в уже существующий RAID массив можно только диски такого же или большего размера
Можно ли использовать в RAID массиве диски разных производителей?
Да, можно. Но при этом надо иметь ввиду, что точные размеры дисков одинаковой емкости (36/73/146. ГБ) у разных производителей могут отличаться на несколько килобайт. Когда вы создаете новый RAID массив, на это можно не обращать внимание, но если вы добавляете диски к уже существующему массиву (например, меняете вышедший из строя диск), то важно, чтобы новый диск был больше чем старые, или точно такого же размера.
Что такое Write Through и Write Back?
Это способ записи данных, полученных RAID контроллером, на дисковый массив. По другому эти способы еще называются так: прямая запись (Write Through) и отложенная запись (Write Back). Какой из этих способов будет использоваться определяется в BIOS-е контроллера (либо при создании массива, либо позднее).
Write Back работает быстрее, но при этом надо помнить, что в случае сбоя питания все данные, которые находились в этот момент вкэш-е, будут потеряны. Причем, управляющая ОС (а следовательно и приложение, записывавшее эти данные) ничего об этом «не узнают», так как они уже получили сообщение от контроллера об успешном завершении записи. Например, если в кэше находились данные транзакции сервера СУБД, то СУБД будет уверенна, что с данными все хорошо, хотя на самом деле это не так.
Избежать описанной проблемы можно или с помощью установки на RAID контроллер BBU (см. ниже), или посредством подключения всего сервера через источник бесперебойного питания (UPS) с функцией программируемого выключения.
Кстати, некоторые RAID контроллеры не позволяют включить функцию Write Back без установленного BBU.
Что такое BBU и зачем он нужен?
Существуют три разновидности BBU:
Что такое Hotswap?
Что такое Hot Spare (Hotspare)?
Обратите внимание: резервирование позволяет восстановить данные, находившиеся на неисправном диске, если все диски подключены к одному и тому же RAID контроллеру.
«Резервный» диск может быть создан одним из двух способов:
В течение процесса автоматического восстановления система продолжает нормально функционировать, однако производительность системы может слегка ухудшиться.
Для того, что бы использовать восстанавливающую особенность резервирования, Вы должны всегда иметь резервный диск ( Hotspare ) в вашей системе. В случае сбоя дисковода, резервный дисковод автоматически заменит неисправный диск, и данные будут восстановлены. После этого, системный администратор может отключить и удалить неисправный диск, заменить его новым диском и сделать этот новый диск резервным.
Что такое Copyback Hot Spare?
Copyback Hot Spare это функция RAID контроллера, которая позволяет пользователям закрепить физическое расположение диска «горячего резерва» (Hot Spare), что позволяет улучшить управляемость системы.
Что такое JBOD?
JBOD (Just a Bunch of Disks) это способ подключить диски к RAID контроллеру не создавая на них никакого RAID. Каждый из дисков доступен так же, как если бы он был подключен к обычному адаптеру. Эта конфигурация применяется когда необходимо иметь несколько независимых дисков, но не обеспечивает ни повышения скорости, ни отказоустойчивости.
Что такое размер страйпа (stripe size)?
Нужно ли заниматься архивированием данных в случае использования RAID?
О: Конечно да! RAID это вовсе не замена архивированию, основное его назначение это повышение скорости и надежности доступа к данным в нормальном режиме работы. Но только регулярное архивирование данных гарантировано обеспечит их сохранность при любых отказах оборудования, пожарах, потопах и прочих неприятностях.
Global hot spare что это
Добрый день! Уважаемые читатели и гости одного из крупнейших IT блогов в рунете Pyatilistnik.org. В прошлый раз мы с вами рассмотрели ошибку «windows не удается получить доступ к указанному устройству». Идем дальше и поговорим на тему систем хранения данных и RAID массивов, а именно разберем вопрос чем отличаются Global Hot Spare и Dedicated Hot Spare при добавлении диска горячей замены. Уверен, что многие знают эти отличия, но для новичков это будет полезно.
Что такое Global Hot Spare и Dedicated Hot Spare
Если вы хоть раз настраивали сервер, то наверняка задавались вопросом его отказоустойчивости, которая может быть на разных уровнях, например два блока питания или дисковая подсистема, которая для сервера очень важна. Потеря данных просто неприемлема в современной модели бизнеса. Для этого существует технология RAID, где за счет избыточности достигается некий баланс безопасности и денег.
Существует много видов RAID массивов и у каждого свое количество дисков которое может выйти, прежде чем весь массив развалится. Для дополнительной защиты принято выделять один или несколько запасных дисков горячей замены, которые должны успеть подменить выходящий из строя диск, до момента его замены. Существует два вида дисков горячей замены, это Global Hot Spare и Dedicated Hot Spare.
Из схемы видно, что выделенные диски будут являться резервными только для группы A и B, а вот глобальный Hot Spare для всех массивов.
Что применяется первым из Global Hot Spare и Dedicated Hot Spare
Предположим, что у вас есть два виртуальных диска, для каждого из них есть по одному Dedicated Hot Spare и два общих Global Hot Spare, если выходит из строя один из дисков виртуального массива, вопрос, куда буду переноситься данные? Правильный ответ:
Как начинается процесс восстановления поврежденного диска RAID
Если у вас в системе есть назначенные Global Hot Spare и Dedicated Hot Spare и они полностью отвечает требованиям восстановления поврежденного диска RAID, восстановление начнется автоматически. Hot Spare диски должны быть запланированы до начала восстановления и должны соответствовать всем требованиям для виртуального диска. Если вы удалите виртуальный диск, то Dedicated Hot Spare станет Global Hot Spare.
shared hotspare для mdadm
(сомневался сюда писать или в системное администрирование)
Я обнаружил, что в интернете очень мало (и не очень внятно) объяснено, как mdadm работает с общими (глобальными) дисками горячей подмены. В заметке я опишу, что это такое, и объясню, почему shared hotspare не отмечены в /proc/mdstat как общие, а вместо этого выглядят как вполне себе локальные.
Что такое hot-spare?
(Я пишу не для новичков, так что галопом по европам)
Если массив обладает избыточностью и один из его дисков вышел из строя, то существует возможность восстановить избыточную информацию на резервный диск. Если диск добавляется в массив руками (админу пришло письмо о сбое, он прочитал письмо, проснулся/оделся, приехал на работу, вынул сбойный диск, вставил запасной, добавил его в массив, дал команду на восстановление избыточности), то такой диск называется cold-spare. Просто «запасной диск».
Если же в сервере есть простаивающий диск, на который осуществляется восстановление избыточности сразу после сбоя любого из дисков массива, то такой диск называется hot-spare. Главное достоинство — оно отребилдится (восстановит избыточность) даже если админ письмо прозевал или не успел вовремя приехать.
Локальные hot-spare
Обычно запасной диск добавляется для массива, то есть если в массиве сбой, то его резервный диск и используется. Если сбой происходит в соседнем массиве, то hot-spare из «чужого» массива не используется.
Это на самом деле логично — если у нас стоит выбор — использовать hot-spare для восстановления избыточности системного раздела или раздела с данными, то надо восстанавливать избыточность раздела с данными. А если системный раздел уже «занял» hot-spare, то будет бяка. Более того, некоторые производители предлагают 1EE hotspare, в которой резервный диск используется и для хранения данных (пустое место «размазано» между дисками массива, обеспечивая возможность быстрого ребилда и увеличивая производительность в нормальном режиме).
Глобальные (общие) hot-spare
Однако, бывает так, что массивов с данными много. И им всем нужны hot-spare диски. Но дисков жалко. И тогда возникает желание иметь «общий» диск, который может быть использован для любого из массивов (а ещё лучше 2-3 таких диска).
Это было вступление. Теперь переходим к сути вопроса.
linux md
mdadm (ядерный модуль в DM-стеке) не поддерживает shared hot-spare. Диск может быть добавлен как hot-spare только в конкретный массив.
Но mdadm поддерживает!
spare-group
Для возможности распределять диски между разными массивами есть понятие spare-group, то есть группа, в пределах которой возможно перекидывание дисков. Таких групп может быть много — и hot-spare переносятся только между ними.
Как легко понять из вышенаписанного про mdadm/linux md, в /proc/mdstat нет и не может быть ничего про spare-group. Потому что это личные мысли и соображения mdadm’а, а ядро про это ни сном, ни духом (файлы-то в /proc создаются модулями ядра. ).
Таким образом, обеспечивать shared hot-spare можно только с с помощью mdadm. Тут два варианта: если группа указана для массива, собирающегося при загрузке (/etc/mdadm/mdadm.conf), то там можно указать hot-spare, примерно так:
ARRAY /dev/md1 level=raid1 num-devices=2 metadata=1.2 spares=1 spare-group=myhostparegroupname name=server:1 UUID=18219495:03fda335:3f1ad1ee:a5f5cd44
devices=/dev/sda,/dev/sdb,/dev/sdc
ARRAY /dev/md2 level=raid1 num-devices=2 metadata=1.2 spare-group=myhostparegroupname name=server:2 UUID=18219495:03fda335:3f1ad1ee:a5f5cd45
devices=/dev/sdd,/dev/sde
Дописано по сравнению с выводом mdadm тут только spare-group. Обратите внимание — во втором массиве НЕТ hot-spare, однако, т.к. группа указана, то в случае сбоя будет использоваться диск из другого массива с той же самой группой. В нашем случае это будет /dev/md1.
Самих групп при этом на одной системе может быть несколько.
Local && global hotspare
А вот тут, увы, йок. Насколько я знаю, mdadm не поддерживает одновременно и локальные (которые будут принадлежать только одному массиву) и общие hotspare. Если есть два массива с одним spare-group, то все hot-spare из одного массива могут быть использованы на благо другого.
Сценарий не такой редкий, как кажется. Вот простенькая топология:
SYS_ARRAY
DATA_ARRAY
2 hot-spare
Логично было бы один hot-spare сделать принадлежащим только DATA_ARRAY, а второй сделать общим, чтобы использовался и как резерв для SYS_ARRAY, и как «второй уровень резерва» для DATA_ARRAY.
Увы, увы, увы, этого нет (если меня разубедят в комментариях, я буду очень рад).
Global hot spare что это
Добрый день! Уважаемые читатели и гости одного из крупнейших IT блогов в Рунете Pyatilistnik.org. В прошлый раз мы с вами разобрали подробно все методы подключения к удаленному рабочему столу. Двигаемся дальше и в сегодняшней публикации мы рассмотрим, как создать RAID массив на контролере Dell PERC H330 Adapter. Мы рассмотрим подготовку дисков в режим RAID или обратное конвертирование в Non-RAID. Рассмотрим поддерживаемые варианты и какой из них лучше в той или иной ситуации. Проделывать я все буду на сервере Dell R740, ну что поехали.
Методы создания RAID массивов на Dell
И так предположим, что у вас есть сервер Dell R740, вы обновили все его прошивки, настроили порт управления IDRAC и подошли вплотную, чтобы установить на него Windows Server 2022, но перед тем как это сделать, вам нужно на контроллере PERC H330 Adapter создать зеркальный массив из 4 дисков. Существует как минимум три метода, которые позволят вам это осуществить.
Создания RAID на PERC H330 Adapter через BIOS
Перезагружаем сервер и дожидаемся, когда у вас появится выбор меню, нас будет интересовать пункт «F2 = System Setup«.
Или может быть еще вот такое меню..
У вас запуститься окно «System Setup» для входа в настройки RAID контроллера PERC H330 Adapter, перейдите в пункт «Device Settings«.
В списке устройств находим наш контроллер «RAID Controller in Slot 4: Dell PERC
Преобразование дисков в RAID Capable
Далее, чтобы мы могли сделать из физических дисков RAID массив, нам необходимо их конвертировать в «RAID Capable«, для этого есть два варианта. Первый вариант это зайти в пункт «Physical Disk Management«.
Далее выбираете нужный физический диск, я выберу первый 00:01:00.
Далее в списке опций выберите пункт «Convert to RAID Capable«.
У вас появится кнопка «GO«, нажмите на нее, чтобы запустить процесс преобразования диска.
Все операция завершена успешно.
В итоге диск теперь имеет статус «Ready«, а не «Non-RAID«.
Второй метод конвертировать физические диски в RAID Capable, это выбрать пункт «Configuration Mnagement«
Тут сразу есть отдельный пункт «Convert to RAID Capable«
Выберите нужное количество физических дисков, я выберу еще три и нажмите «OK«.
Подтверждаем, что все данные при преобразовании будут удалены.
Создание виртуально массива RAID-1
Теперь нам необходимо создать виртуальный диск, для этого выберите пункт «Create Virtual Disk«.
Тут же кстати мастер создания виртуального массива, вам так же предложит преобразовать диски в RAID Capable. Я пропущу данный шаг, нажимаю «Skip«.
В «Select RAID Level» выберите нужный вам тип, я выберу RAID1
Теперь вам нужно указать из каких физических дисков мы будем строить RAID1, нажмите «Select Physical Disks«.
Выберите для RAID1 два диска, не забудьте указать их тип, я выбрал SSD. После чего нажмите «Apply Changes«.
Задайте для удобства в поле «Virtual Disk Name» говорящее имя для виртуального диска, выставите нужный объем GB/TB. Если у вас SSD, то советую включить кэширование на них, я писал об этом в статье «Максимальная производительность SSD». После этого нажмите «Create Virtual Disk«.
Подтверждаем выполнение нашей операции.
Все наш RAID1 успешно создан и его можно проверить в соответствующем пункте, где так же можно изменить при желании его свойства.
Добавление резервного диска в виртуальный массив
Еще одним из методов дополнительной защиты RAID являются диски горячей замены, так называемые «Hot Spare«. У PERC H330 Adapter два вариант:
Я больше привык назначать «Global Hot Spare». Выберите нужный физический диск в меню «Physical Disk«, в моем примере это будет диск с номером 00:01:02.
В списке операций выберите пункт «Assign Global Hot Spare«.
Нажмите «GO«, чтобы активировать задание добавляющее диск горячей замены.
Если вы хотите исключить диск из горячей замены, то выполните операцию «Unnasing Global Hot Spare«.
Ваш диск в итоге получит статус «Hot Spare«.
Как удалить виртуальный диск или конфигурацию RAID через BIOS
У вас может возникнуть ситуация, что вы захотите удалить виртуальный массив или полностью всю конфигурацию RAID, для этого есть определенные пункты:
Создания RAID на PERC H330 Adapter через Lifecycle Controller
Lifecycle Controller это по сути мастер по настройке сервера, вы там его прошиваете, создаете RAID массивы и многое другое. Чтобы попасть в Lifecycle Controller вам нужно перезагрузить сервер, после появления меню нажмите «F10 = Lifecycle Controller (Config IDRAC, Update FW, Install OS«
В мастере создания RAID массива вам нужно выбрать тип, будет создан виртуальный диск для Windows RAID или Linux RAID.
Если у вас есть диски Non-RAID, то тут вы их можете выбрать и конвертировать.
Подтверждаем, что все данные при преобразовании будут удалены.
Все диски теперь имеют нужное состояние и готовы стать часть RAID массива.
Далее вам на контроллере PERC H330 Adapter нужно выбрать нужный тип RAID, в моем примере я делаю раздел для ОС, поэтому сделаю классическое зеркало RAID 1.
Нам напоминают, что можно использовать максимум два физических SSD диска. Выбираем два диска и нажимаем «Next».
Укажите имя виртуального диска в поле «Virtual Disk Name«, при желании вы можете поменять политики кэширования «Read Policy и Write Policy». Так же если у вас есть запасной диск, то сделайте из него «Hot Spare Disk«
Завершаем создание RAID 1 на контроллере PERC H330 Adapter.
Все успешно создано.
Из минусов данного метода, то что если вы сделаете ошибку, удалить его в данном меню можно через пересоздание нового RAID, там получиться выбрать нужные диски.
Как удалить виртуальный диск или конфигурацию RAID через IDRAC
Подтверждаем, что все данные с диском будут удалены.
В результате у вас будет создано задание по конвертированию, нажмите «Apply Now«.
Переходим в список заданий, нажмите «Job Queue«.
дожидаемся окончания выполнения операции преобразования.
Создаем виртуальный диск в IDRAC
Задаем имя для нашего виртуального диска, тип RAID, политику кэширования.
Далее указываем, какие диски мы будим для этого использовать. В моем случае, это два первых физических SSD.
Теперь вы должны задать размер вашего виртуального диска, я оставлю по умолчанию полный объем.
Если все верно, то нажимаем «Add to Pending«.
Сразу же запускаем нашу задачу, для этого нажмите «Apply Now«.
Как добавить диск горячей замены в IDRAC
Подтвердите создание задания и дождитесь его завершения.
Теперь в списке дисков, он будет иметь статус «Global«.
