Fibre Channel: жизненная сила подключения к хранилищам в центре обработки данных
Все мы знаем, что объем данных продолжает расти в геометрической прогрессии, и что сами данные являются той новой валютой, на которую рассчитывают предприятия. Способность своевременно реагировать на эти данные может повлиять на конкурентоспособность бизнеса на рынке. Поэтому быстрый и надежный доступ к данным имеет первостепенное значение, а базовая инфраструктура, которая связывает пользователя с системами хранения данных, является более важной, чем когда-либо прежде.
В современном центре обработки данных архитекторы могут выбирать из множества различных вариантов подключения, но Fibre Channel был и останется источником жизненной силы для подключения к общим хранилищам. Это связано с тем, что Fibre Channel является наиболее безопасным, надежным, экономически эффективным и масштабируемым протоколом для соединения серверов и хранилищ, а также единственным протоколом, специально предназначенным для передачи трафика хранилища.
Fibre Channel существует уже несколько десятилетий и по-прежнему является основным выбором для подключения к общему хранилищу в центре обработки данных. С помощью Fibre Channel создается выделенная сеть хранения, а команды хранения SCSI направляются между сервером и устройствами хранения с пропускной способностью до 28,05 Гбит / с (32GFC) и с IOPS, превышающим один миллион. Поскольку Fibre Channel изначально был разработан для трафика хранилищ, он работает очень надежно и обеспечивает высокопроизводительную связь. Адаптеры HPE StoreFabric 16GFC и 32GFC и инфраструктура коммутации обеспечивают пропускную способность, количество операций ввода-вывода в секунду и низкую задержку, необходимые в центрах обработки данных сегодня и на годы вперед.
Достижения в технологии Fibre Channel держат его на опережение, когда дело доходит до подключения.
Другой популярный вариант подключения к хранилищу – iSCSI. С iSCSI, команды хранения в стандартной сети TCP / IP, и это отлично подходит для систем низкого и среднего уровня, где производительность и безопасность не являются основными требованиями. Распространенное заблуждение о Fibre Channel заключается в том, что, поскольку он использует выделенную сеть хранения данных, он дороже, чем iSCSI. Хотя iSCSI может работать в той же сети Ethernet, что и весь обычный сетевой трафик, для обеспечения производительности, необходимой большинству клиентов от своих систем хранения, iSCSI должен работать в сегментированной или выделенной сети Ethernet, изолированной от обычного сетевого трафика. Это означает сложные конфигурации VLAN и политики безопасности или полностью выделенную сеть Ethernet. Так же, как Fibre Channel.
Единственная реальная разница в стоимости между FC и iSCSI – это когда DAC — кабели используются в реализациях iSCSI. Но с ограничением расстояния 5 метров, используя DAC — кабели.
Это может нормально работать для клиентов малого и среднего бизнеса, имеющих только один массив хранения, но DAC — кабели плохо работают в крупномасштабном центре обработки данных.
Когда вы смотрите на топологию сети хранения данных, лучшие практики идентичны для iSCSI и Fibre Channel. Для обеспечения отказоустойчивости и устранения простоев в проекте сети хранения данных (SAN) предусмотрено два идентичных сетевых пути между серверами и хранилищем.
Однако одно существенное отличие заключается в том, что сети Fibre Channel не так подвержены нарушениям безопасности, как Ethernet. Когда вы в последний раз слышали о взломе сети Fibre Channel? Никогда? Как насчет сети Ethernet?
Безопасность является одной из главных причин того, что Fibre Channel будет оставаться опорой в центре обработки данных в течение многих лет.
Современная инфраструктура HPE StoreFabric 16GFC и 32GFC, которая поддерживает команды SCSI, также может запускать команды NVMe в сети SAN или в структуре, как она называется. При использовании Ethernet клиентам потребуется внедрить RDMA с низкой задержкой по сравнению с конвергентным Ethernet или RoCE, чтобы в полной мере использовать преимущества NVMe. Однако этот подход требует сложной реализации Ethernet без потерь с использованием мостов центров обработки данных (DCB) и управления приоритетными потоками (PFC). Сложность сети для NVMe через Ethernet будет огромным барьером для большинства клиентов, особенно когда развернутая сегодня FC SAN прекрасно работает с хранилищем NVMe завтрашнего дня.
Суть в том, что Fibre Channel останется источником жизненной силы для связи между серверами и общим хранилищем.
FCoE: Будущее Fibre Channel
Шум вокруг планов в отношении Fibre Channel over Ethernet (FCoE), объявление о поддержке его почти каждым производителем в нашей индустрии, все выглядит так, словно этот транспорт намеревается в ближайшее время окончательно вытеснить существующие сети Fibre Channel. Усилия по стандартизации завершились ратификацией, в 2009 году, поэтому многие производители, в том числе (и одними из первых) NetApp, и наш давний партнер Cisco, активно выводят продукты с использованием FCoE на рынок.
Что такое FCoE?
Fibre Channel over Ethernet, или FCoE, это новый протокол (транспорт), определенный стандартом в комитете T11. (T11 это комитет в составе International Committee for Information Technology Standards— INCITS —отвечающий за Fibre Channel.) FCoE переносит фреймы Fibre Channel через Ethernet, инкапсулируя кадры Fibre Channel в jumbo frames Ethernet-а. Стандарт в полном объеме ратифицирован в 2009 году.
Почему FCoE?
Предпосылки, стоящие за созданием FCoE были в идее консолидировать ввод-вывод, и позволившей бы, тем самым, безопасно сосуществовать различным типам трафика в одном «проводе», что уменьшит номенклатуру и упростит кабельное хозяйство, уменьшит количество необходимых адаптеров на хост и снизит энергопотребление.
Рис 1) Снижение сложности с использованием FCoE.
Сила, которая ведет вперед FCoE, это необходимость снижения совокупной стоимости владения (total cost of ownership (TCO)), одновременно с сохранением существующей инфраструктуры и обратной совместимости, а также привычных процедур и процессов. С помощью конвергенции Fibre Channel и Ethernet, и устранения необходимости в использовании разных сетевых технологий, FCoE обещает значительное снижение сложности сетевой структуры, а учитывая еще и стремительное дешевение элементов инфраструктуры 10Gb Ethernet — еще и снижение стоимости.
Первоначально, большинство внедрений FCoE делалось на «уровне» хост-систем и коммутаторов, в то время, как системы хранения продолжали использовать нативный Fibre Channel вместо FCoE. Это помогает сохранить большие инфраструктурные вложения, которые делались в FC на протяжении многих лет.
Большое достоинство FCoE в том, что он обеспечивает плавную миграцию от FC, как интерфейса, к Ethernet (сохраняя при этом FC как протокол). Можно будет расширять, или заменять часть вашей сети FC на коммутаторы Ethernet, позволяя вам осуществить переход от одной сетевой технологии (FC) к другим (Ethernet), по мере того, как это станет необходимым.
В дальней перспективе, если FCoE окажется успешен, вы сможете выбрать при обновлении вашей инфраструктуры, или построении нового датацентра, систему хранения, нативно поддерживающую FCoE. NetApp объявил о нативной поддержке в своих системах протокола и target HBA FCoE и параллельно продолжит поддержку Fibre Channel на всех своих системах.
А недавно NetApp и Cisco объявили о завершении процесса сертификации первого в индустрии решения «полностью FCoE», «от хоста, до хранилища», для систем серверной виртуализации под управлением VMware vSphere.
Внедрение FCoE
Рис 3) Стек программного инициатора FCoE.
Что сохраняется?
Для тех, кто уже использует Fibre Channel, при использовании FCoE сохранится необходимость настройки зонинга и маппинга LUN-ов, равно как и обычные задачи в фабрике, такие как registered state change notification (RSCN) и link state path selection (FSPF). Это означает, что миграция на FCoE будет относительно простой и знакомой. Любые изменения болезненны, однако переход на новый протокол, когда он может использовать наработанные процедуры, процессы и ноу-хау, делает такой переход в Ethernet проще, и будет являться большим преимуществом FCoE.
Чем FCoE отличается от iSCSI?
Рис 4) Сравнение различных блочных протоколов.
Так как в FCoE целиком и полностью не используется уровень IP, то это значит, что FCoE не маршрутизируемый. Однако, это не означает, что он не может быть маршрутизирован вовсе. Маршрутизация FCoE может быть выполнена, при необходимости, при помощи таких проколов, как FCIP.
Протокол iSCSI может быть использован в сети с потерей пакетов, и не безусловно требующей 10GbE. Для FCoE необходим именно 10GbE, и сеть без потерь пакетов, с инфраструктурными компонентами, правильно обрабатывающими запросы pause frame и per priority pause flow control (PFC), основанными на различных классах трафика, соответствующих разным приоритетам. Идея, лежащая в основе PFC состоит в том, чтобы, в моменты высокой загрузки канала, предоставить высокоприоритетному трафику преимущество в передаче, в то время, когда низкоприоритетный трафик будет задержан в пользу высокоприоритетного с помощью pause frame.
На коммутаторах 10GbE также потребуется поддержка Data Center Ethernet (DCE), расширения Ethernet, включающего в себя классы сервиса (classes of service), лучшую регулировку потока (congestion control), и улучшенные возможности управления. FCoE также требует поддержку Jumbo Frame, так как пакет FC имеет размер 2112 байт и не может быть разделен при передаче; iSCSI не требует обязательного использования Jumbo Frames.
Выбор между FCoE и iSCSI
Что будет с Fibre Channel?
Со всем этим шумом вокруг FCoE, что же случится с Fibre Channel? Произойдет ли переход на технологии 16Gb FC, или рулить теперь станет только FCoE? Будет ли Ethernet продолжать дальнейшую разработку (40GbE и 100GbE)? Как можно увидеть в текущих роадмапах, 16Gb FC запланирован на 2011 год. В свежих пресс-релизах FCIA утверждается сильная поддержка разработки 16Gb FC наряду с поддержкой FCoE. Я думаю, что 16Gb FC несомненно появится, но большой вопрос, насколько быстро он будет принят рынком, относительно FCoE. На сегодняшний день уже существующий несколько лет 8Gb FC явно не повсеместно заменяет собой 4Gb FC. Многие как производители оборудования, так и заказчики с большими сетями FC уже сегодня активно переориентируются на FCoE, как на более перспективное в будущем и экономически более целесообразное решение.
Что вам нужно делать?
Что вам нужно делать зависит от вашей ситуации. Если вы многое вложили в Fibre Channel, и вам не нужно обновляться в течение нескольких ближайших лет, то лучше, возможно, не делать ничего. Если вы запланировали обновление в на ближайший год-два, то тогда обратите серьезное внимание на FCoE. Судя по всему, нынешние производители коммутаторов FC намерены переводить своих пользователей в Ethernet, и, возможно, прекратят создание собственных FC-коммутаторов.
Технологии могут решить многие проблемы, однако вопросы взаимодействия между группами в крупных организациях явно не то, где они помогут. Одной из проблем, с которыми, например, столкнулись при внедрении iSCSI в больших компаниях, был конфликт областей ответственности между группами сетевых администраторов, и администраторов сети и систем хранения. В традиционной инфраструктуре FC, парни из группы админов сети хранения полностью отвечают за FC-fabric и владеют на нее всеми правами, в случае iSCSI она находится в ведении группы сетевых админов компании. В случае успеха FCoE, группы должны будут сблизиться, им придется работать ближе друг к другу, чем когда-либо, и это, как ни парадоксально, может оказаться крупнейшей проблемой, стоящей на пути FCoE в IT-инфраструктуры компаний.
Fibre Channel (FC) — волоконный канал) — семейство протоколов для высокоскоростной передачи данных. Стандартизацией протоколов занимается Технический комитет T11, входящий в состав Международного комитета по стандартам в сфере ИТ (InterNational Committee for Information Technology Standards — INCITS), аккредитованного Американским национальным институтом стандартов (ANSI). Изначальное применение FC в области суперкомпьютеров впоследствии практически полностью перешло в сферу сетей хранения данных, где FC используется как стандартный способ подключения к системам хранения данных уровня предприятия. Fibre Channel Protocol (FCP) — транспортный протокол (как TCP в IP-сетях), инкапсулирующий протокол SCSI по сетям Fibre Channel. Является основой построения сетей хранения данных.
Содержание
В русскоязычной литературе термин используется без перевода.
История
История Fibre Channel началась в 1985 году, а в 1994 году был утверждён ANSI как стандарт, упрощавший интерфейс HIPPI, для которого применялся массивный 50-парный кабель с громоздкими коннекторами. Первоначально интерфейс Fibre Channel должен был повысить дальность и упростить подключение линий передачи, а не увеличить скорость.
| Название | Пропускная способность (Gbps) | Производительность (MBps) | Год |
| 1GFC | 1.0625 | 100 | 1997 |
| 2GFC | 2.125 | 200 | 2001 |
| 4GFC | 4.25 | 400 | 2005 |
| 8GFC | 8.5 | 800 | 2008 |
| 10GFC Последовательный | 10.51875 | 1000 | 2004 |
| 10GFC Параллельный | 12.75 | ||
| 16GFC | 14.025 | 3200 | 2011 |
| 20GFC | 21.04 | 2000 | 2008 |
Топологии Fibre Channel
Топологии FC определяют взаимное подключение устройств, а именно передатчиков (трансмиттеров) и приёмников (ресиверов) устройств. Существует три типа топологии FC:
Устройства соединены напрямую — трансмиттер одного устройства соединён с ресивером второго и наоборот. Все отправленные одним устройством кадры предназначены для второго устройства.
Устройства объединены в петлю — трансмиттер каждого устройства соединён с ресивером следующего. Перед тем, как петля сможет служить для передачи данных, устройства договариваются об адресах. Для передачи данных по петле устройство должно завладеть «эстафетой» (token). Добавление устройства в петлю приводит к приостановке передачи данных и пересобиранию петли. Для построения управляемой петли используют концентраторы, которые способны размыкать или замыкать петлю при добавлении нового устройства или выходе устройства из петли.
Основана на применении коммутаторов. Позволяет подключать большее количество устройств, чем в управляемой петле, при этом добавление новых устройств не влияет на передачу данных между уже подключёнными устройствами. Так как на основе коммутаторов можно строить сложные сети, на коммутаторах поддерживаются распределённые службы управления сетью (fabric services), отвечающие за маршруты передачи данных, регистрацию в сети и присвоение сетевых адресов и проч.
Иногда под топологией FC ошибочно подразумевают топологию сети хранения данных, то есть, взаимное подключение оборудования инфраструктуры и оконечных устройств.
Уровни
Fibre Channel состоит из пяти уровней:
Логические типы портов
В зависимости от поддерживаемой топологии и типа устройства порты разделяются на несколько типов:
Варианты оптической среды передачи данных
Инфраструктура Fibre Channel
Оборудование для инфраструктуры Fibre Channel подразделяется на несколько классов.
Для увеличения дальности соединения используют дополнительное трансмиссионное оборудование, такое как мультиплексоры на основе WDM и др.
Основные производители оборудования для инфраструктуры Fibre Channel: Brocade, Cisco, QLogic, Emulex.
Логические элементы потока данных
При передаче данных выделяют следующие логические последовательности:
Упорядоченные наборы (Ordered Sets)
Четырёхбайтные слова (Transmission Words), содержащие данные и специальные символы. Разбиение потока данных на упорядоченные наборы позволяет сохранять синхронизацию между передатчиком и ресивером на уровне битов и слов. Упорядоченные наборы всегда начинаются с символа K28.5. Основные типы наборов определяются сигнальным протоколом.
Разделители кадров
Разделители кадров используются для отделения одного кадра от другого. Существует два таких набора:
Базовые сигналы
Протоколы (Protocols)
Адресация
Уникальный адрес устройства
Каждое устройство имеет уникальный 8-байтовый адрес, называемый NWWN (Node World Wide Name), состоящий из нескольких компонентов: A0:00:BB:BB:BB:CC:CC:CC || | | || | ±—— Назначаются производителем устройства. || ±————— Назначаются IEEE для каждого производителя. |±——————— Всегда 0:00 (Зарезервировано стандартом) ±——————— Число произвольно выбирается производителем.
Классы служб (CoS)
Fibre Channel поддерживает следующие классы служб (Classes of service, CoS).
Стандарт FC-PH определяет Классы 1-3, Класс 4 определён в стандарте FC-PH-2 (в FC-FS-2 установлен устарелым), Класс 5 предложен для изохронного режима, но недостаточно стандартизирован, Класс 6 определён в стандарте FC-PH-3, Класс F — в стандартах FC-SW и FC-SW2.
Сферы применения Fibre Channel
Fibre Channel широко применяется для создания Сетей Хранения Данных (Storage Area Networks). Благодаря высокой скорости передачи данных, малой задержке и расширяемости практически не имеет аналогов в этой области. Однако, в последние годы, область его применения постепенно перемещается в сегмент высокопроизводительных систем и решений, а бюджетный сегмент с успехом осваивается недорогими решениями iSCSI на базе Gigabit Ethernet и 10G Ethernet. Наметилась также тенденция к переносу транспортного уровня протокола FC в тот же Gigabit и 10G Ethernet при помощи протоколов FCoE и FCIP.
Brocade SAN Часть 1: Введение, теория Fiber Channel, аппаратная часть
Прежде чем говорить об аппаратном обеспечении и SAN, нужно всё-таки начать с того, что из себя SAN представляет в принципе, откуда он появился и почему.
Когда то давно, на заре компьютерной эры, внешние устройства хранения обычно подключались напрямую к серверам (DAS — Direct-attached storage), используя SCSI, но из-за крайне стремительного роста требования к системам хранения данный подход стал слишком неэффективным. Для изменения конфигурации хранилища, подключенного по технологии DAS требовало физического отключения сервера, построение отказоустойчивых систем то же было затруднительно ввиду необходимости иметь физическое подключение всех серверов ко всем устройствам хранения, а жёсткие ограничения по максимальному расстоянию между устройствами делали подобные расширения порой слишком сложными, да и производительность SCSI оставляла желать лучшего. Изменение подхода к подключению внешних хранилищ позволило получить следующие преимущества:
Обычно говоря SAN подразумевают сети на безе протокола Fibre Channel, но стоит отметить что протокол iSCSI позволяет строить аналогичные по своим характеристикам сети, основанные на IP сетях. Изначально, переход от SCSI к Fiber Channel был обусловлен желанием увеличить расстояние подключения, а не пропускную способность. Первая версия протокола, появившаяся в 1997 году, предоставляла скорость в 1Gb/s. Каждая новая версия прокола, постоянно «удваивает» скорость предыдущего поколения. На данный момент, актуальным является 6 поколение протокола, работающего на скорости 32/128Gb/s.
Fibre channel, как сетевой протокол, состоит из нескольких уровней:
FC-0 Физический: в котором описывается среда передачи данных, характеристики кабелей, трансиверов, HBA. Физические и электрические характеристики, скорость передачи данных.
FC-1 Кодирование: описывает как данные будут кодироваться/декодироваться (8/10 или 64/66) для передачи
FC-2 Кадрирование и сигнализация: определяет структуру передаваемой информации, занимается контролем целостности данных и управляет непосредственно передачей данных. На этом уровне происходит разбиение потока данных на кадры и сборка кадров. Определяет правила передачи данных между двумя портами, классы обслуживания.
FC-3 Общий для узла служб: заложен для нового функционала, который может быть реализован в протоколе, но на данный момент этот уровень не используется
FC-4 Отображения протоколов: описывает протоколы, которые для своей работы могут использоваться FC: проброс SCSI (SCSI-FCP) или TCP/IP (FC-LE) 
Так же как и в сетевом протоколе, любое устройство в SAN сети имеет собственный уникальный 64-разряднй идентификатор — WWN, задаваемый производителем (аналогия с MAC-адресом сетевого устройства), так же каждое устройство получает 24-х битный адрес в сети, который дается при подключении устройства. Основой SAN сети является Фабрика — совокупность всех подключенных к сети устройств. Стоит отметить, что фабрика сама по себе является единой точкой отказа, по этому в SAN сетях нормальной практикой является построение нескольких параллельных фабрик (обычно двух), которые являются зеркальным отражением друг друга. Это позволяет строить отказоустойчивые решения. Хотя порой фабрики могут и отличаться (к примеру, дублируется подключение только критически важных систем) — всё зависит от возлагаемых на них задач.
Основой передачи данных в FC сетях является кадр. Кадр содержит в себе не только данные, но и заголовок, которые описывает служебную информацию из разряда — «откуда-куда», а так же разделите, указывающие на качало и конец фрейма.
Формат фрейма Fibre Channel
Start of Frame — 4 байта — идентификатор начала фрейма.
Header — 24 байта — заголовок. Содержит такую информацию как адрес источника и приёмника, тип фрейма, номер последовательности и порядковый номер фрейма в ней и прочая служебно-контрольная информация.
Data — 0-2112 байт — непосредственно данные.
CRC — 4 байта — контрольная сумма.
End of Frame — 4 байта — идентификатор конца фрейма.
Последовательность представляет собой набор кадров, которые передаются из одной точки в другую. Для исправления возможных ошибок каждый кадр содержит уникальный счетчик последовательности. Исправление ошибок осуществляется протоколом более высокого уровня, обычно на уровне FC-4. Несколько последовательностей составляют обмен (exchange). Обмены представляют собой последовательности двусторонних направлений; т.е. в обмен входят последовательности данных, передающихся в разных направлениях, хотя каждая последовательность передается только в одном направлении. При каждом обмене только одна последовательность может быть активна в текущий момент времени. Но, так как одновременно могут быть активны несколько обменов, различные последовательности из этих обменов также могут быть активны одновременно. Каждый обмен выполняет одну функцию, например реализует команду SCSI Read.
Brocade DCX 8510-4 Backbone
Типы портов:
Порты узлов:
N_Port (Node port), порт устройства с поддержкой топологии FC-P2P («Точка-Точка») или FC-SW (с коммутатором).
NL_Port (Node Loop port), порт устройства с поддержкой топологии FC-AL (arbitrated loop — управляемая петля).
Порты коммутатора/маршрутизатора (только для топологии FC-SW):
F_Port (Fabric port), порт «фабрики» (switched fabric — коммутируемая связная архитектура). Используется для подключения портов типа N_Port к коммутатору. Не поддерживает топологию петли.
FL_Port (Fabric Loop port), порт «фабрики» с поддержкой петли. Используется для подключения портов типа NL_Port к коммутатору.
E_Port (Expansion port), порт расширения. Используется для соединения коммутаторов. Может быть соединён только с портом типа E_Port.
EX_port порт для соединения FC-маршрутизатора и FC-коммутатора. Со стороны коммутатора он выглядит как обычный E_port, а со стороны маршрутизатора это EX_port.
TE_port (Trunking Expansion port (E_port)) внесен в Fibre Channel компанией CISCO, сейчас принят как стандарт. Это расширенный ISL или EISL. TE_port предоставляет, помимо стандартных возможностей E_port, маршрутизацию множественных VSANs (Virtual SANs). Это реализовано применением нестандартного кадра Fibre Channel (vsan-тегирование).
Общий случай:
U_Port (Universal port), порт, который ещё не определился в каком режиме он работает. Обычно после инициализации становится F_Port или E_Port.
L_Port (Loop port), любой порт устройства с поддержкой топологии «Петля» — NL_port или FL_port.
G_port (Generic port), порт с автоопределением. Автоматически может определяться как порт типа E_Port, N_Port, NL_Port.
SAN состоит из:
Сердцем оборудование для SAN сетей является ASIC (application specific integrated circuit) — специализированная схема, разработанная компанией Brocade для возможности реализации большей части функционала оборудования на аппаратном уровне, что в итоге приводит к более высокой производительности и надёжности. Именно использование ASIC позволяет удерживать столь низкие задержки в SAN-сетях.
Brocade ASIC
Он обеспечивает плавный переход между FC-0 и FC-1, занимаясь:
ASIC обслуживает сами порты, при этом — ОС коммутатора работает на отдельных чипах, по этому при обновлении прошивки коммутатора у вас нет недоступности. На момент перезагрузки ОС — ASIC продолжает обслуживать текущие соединения, но блокирует установление новых. Подробнее об этом мы поговорим 6 части материала. 
И раз уж на картинке выше у нас есть SFP:
SFP — это отдельные модули, необходимые для подключения кабеля к порту, но о них подробнее, о их типах и различиях я буду говорить в следующих материалах.
Я очень надеюсь что всё что я смог выжать из себя сегодня — удобоваримо и понятно для читателя. Ведь без основ двигаться дальше очень сложно, с точки зрения понимания процессов работы системы. Лично для меня — теория всегда была самой сложной частью. Не все вещи можно просто понять, как «трава зелёная», некоторые вещи нужно просто принять и запомнить как они работают.
