Настройка свитчей уровня доступа в сети провайдера
В статье я расскажу о том, как мы (небольшой региональный провайдер) настраиваем коммутаторы уровня доступа.
В начале, кратко пробежимся по тому, что такое иерархическая модель построения сети, какие функции рекомендуют вешать на каждый ее уровень и как именно устроена сеть, на примере которой я буду излагать настройку свитча. Ну и затем настроим свитч исходя из предложенных требований.
Иерархическая модель построения сети
И так, в иерархической модели построения сети коммутации выделяют три уровня — уровень доступа (access layer), уровень агрегации (distibution layer) и уровень ядра (core layer). Деление на уровни позволяет добиться большей легкости в обращении с сетью: упрощается мастшабируемость сети, легче настраивать устройства, легче вводить избыточность, проектировать сеть и тому подобное.
Применительно к сети провайдера получается следующая картина:
На ditribtution уровне и, тем более, на core уровне, как правило работают продвинутые коммутаторы Cisco и/или Juniper, но на access уровень приходится ставить более дешевые железки. Как правило это D-Link (или Linksys или Planet).
Пара слов об устройстве сети
И так, с уровнем доступа в первом приближении, разобрались, теперь, прежде чем переходить к непосредственно настройке коммутатора, несколько слов о том, как устроена сеть, в которой коммутатору предстоит работать.
Во-первых, мы не используем VLAN per user. Сеть достаточно старая и начинала строиться во времена, когда Q-in-Q еще не был стандартом, так что большая часть старого оборудования двойное тегирование не поддерживает.
Во-вторых, мы использует PPPoE. И не используем DHCP. То есть клиент получает один белый адрес, через PPP протокол, домашняя сеть отсутствует как класс.
В-третьих, все коммутаторы живут в отдельном, выделенном только для них VLAN, все домашние PPPoE клиенты также живут в одном VLAN’е.
Настройка коммутатора
И так, поехали. Все команды приведены для означенной выше модели D-Link, впрочем не составит никакого труда проделать все то же самое и на устройстве другого вендора.
Исходя из вышеприведенных требований к коммутатору уровня доступа, сформулируем, что именно мы хотим на нем настроить и сделаем это.
И так, на необходимо…
Создать два VLAN, один для клиентов, другой для управления коммутатором и назначить их на порты свитча. 100 мегбитные порты — клиентские, гигабитные порты — аплинки.
create vlan USER tag 2
create vlan MANAGEMENT tag 3
config vlan USER add untagged 1-8
config vlan USER add tagged 9-10
config vlan MANAGEMENT add tagged 9-10
Настроить port security, запретив более одного mac адреса на порту (таким образом мы боремся с нежелательной и потенциально опасной ситуацией, когда клиент подключает в сеть провайдера не маршрутизатор, а коммутатор, сливая бродакстовый домен своей домашней сети с бродкастовым доменом провайдера)
config port_security ports 1-8 admin_state enable max_learning_addr 1 lock_address_mode DeleteOnTimeout
Запретить STP на клиентских портах, чтобы пользователи не могли гадить в сеть провайдера BPDU пакетами
config stp version rstp
config stp ports 1-8 fbpdu disable state disable
Настроить loopback detection, чтобы 1) глючные сетевые карточки, которые отражают пакеты обратно и 2) пользователи, создавшие в своей квартире кольца на втором уровне не мешали работе сети
enable loopdetect
config loopdetect recover_timer 1800
config loopdetect interval 10
config loopdetect ports 1-8 state enable
config loopdetect ports 9-10 state disable
Создать acl, который запретит прохождение не PPPoE пакетов в USER vlan’е (блокируем DHCP, IP, ARP и все остальные ненужные протоколы, которые позволят пользователям общаться напрямую между собой, игнорируя PPPoE сервер).
create access_profile ethernet vlan 0xFFF ethernet_type profile_id 1
config access_profile profile_id 1 add access_id 1 ethernet vlan USER ethernet_type 0x8863 port 1-10 permit
config access_profile profile_id 1 add access_id 2 ethernet vlan USER ethernet_type 0x8864 port 1-10 permit
config access_profile profile_id 1 add access_id 3 ethernet vlan USER port 1-10 deny
Создать ACL, который запретит PPPoE PADO пакеты с клиентских портов (блокируем поддельные PPPoE сервера).
create access_profile packet_content_mask offset1 l2 0 0xFFFF offset2 l3 0 0xFF profile_id 2
config access_profile profile_id 2 add access_id 1 packet_content offset1 0x8863 offset2 0x0007 port 1-8 deny
И, наконец, включить STORM Control для борьбы с бродкастовыми и мультикастовыми флудами. Может показаться, что мы уже решили эту проблему, запретив не PPPoE трафик, однако есть но. В PPPoE первый запрос (на поиск PPPoE сервера) отсылается бродкастом, и если оборудование клиента в силу глюка, вируса или иных причин, посылает такие запросы интенсивно, это вполне может вывести сеть из строя.
config traffic control 1-8 broadcast enable multicast enable action drop threshold 64 countdown 5 time_interval 5
Таким образом, мы решаем многие проблемы, присущие плоской сети — поддельные DHCP и PPPoE сервера (зачастую многие включают такие вещи ненамеренно, а по не знанию, то есть злого умысла нет, но работать другим клиентам мешают), бродкастовые штормы, глючные сетевые карточки и прочее.
Коммутаторы ядра сети — что это такое, для чего нужны и как выглядят
О периферийных устройствах написано достаточно много. Это и понятно, потому что большое число задач требует разнообразный парк оборудования: точки доступа, коммутаторы уровня доступа, межсетевые экраны и так далее.
В случае с корпоративной ИТ инфраструктурой все эти компоненты работают на «нижних этажах», обеспечивая доступ пользователей и конечных устройств к сети.
А вот про уровень ядра сети сказано довольно мало. Причина вполне понятна — больших организаций меньше, чем маленьких, поэтому крупных корпоративных сетей также меньше. Попытаемся восполнить этот пробел. Для начала расскажем об общих чертах и потом перейдём к конкретным моделям (описанию и вариантам использования). Помимо общих принципов, разберём конкретные модели по винтикам, (в том числе и буквально — отверткой), чтобы посмотреть, что и как устроено.
Попробуем расколоть этот орешек знаний, чтобы добраться до ядра.
Вступление
Как мы уже писали ранее в статье «Коммутаторы L2, L2+ и L3 — что, когда, куда, откуда, как, зачем и почему?» — корпоративную сеть можно условно разделить на три уровня:
Рисунок 1. Уровни корпоративной сети
Коммутаторы ядра находятся в самом центре корпоративной сети и обеспечивают общую коммутацию (а если необходимо, то и маршрутизацию), связывающие все остальные сегменты.
Разумеется, нельзя каждый уровень рассматривать отдельно от предыдущего.
Общее увеличение трафика на уровне доступа ведёт к дополнительной нагрузке на коммутаторы уровня распределения, что в итоге влияет на загрузку ядра. Разумеется, возможны ситуации, когда всплеск трафика происходит локально в рамках одного сегмента (в переделах одного коммутатора уровня агрегации или даже уровня доступа). Но если имеется общая тенденция к росту трафика и передаваемых объёмов, это всё равно приводит к повышению нагрузки на ядро сети.
Поэтому важно учитывать не только сиюминутные потребности, но и что ждёт в будущем.
Особенности нагрузки в ядре сильно отличаются от нагрузки на уровне доступа. Если коммутатор уровня доступа привязан к работе пользователей (которых может попросту не быть в офисе), то на коммутаторе ядра будет присутствовать трафик обмена данными между серверами, СХД, облачными системами для резервного копирования и т.д. Поэтому коммутаторы ядра необязательно самые быстрые, но уж точно самые надёжные, рассчитанные на долговременную загрузку
Важный нюанс — уровень ядра наиболее критичен к простоям при выполнении технических работ. Выключение и замена одного коммутаторов уровня ядра приводит к бездействию большого числа участников сетевого обмена. Поэтому желание сократить число и продолжительность таких «остановок» вполне объяснимо. Для этого необходимо: во-первых, выбрать оптимальную архитектуру будущей сети, во-вторых, подобрать наиболее подходящие коммутаторы ядра.
Примечание. Учитывая массовый характер закупок, особенно при развёртывании сети с нуля, ошибка при выборе коммутаторов уровня распределения/агрегации и даже уровня доступа тоже может обернуться значительными финансовыми потерями. И хотя масштабы «катастрофы» принято оценивать по количеству простаивающих узлов за выбранный промежуток времени, к выбору оборудования для «младших» уровней следует подходить не менее ответственно.
Особенности коммутаторов ядра
Как уже было сказано выше, в ИТ инфраструктуре корпоративной сети коммутаторы уровня ядра являются центральным звеном, который объединяет другие сегменты (обычно уровня агрегации/распределения, реже — уровня доступа). Через ядро проходит большая часть от всего трафика между клиентами, серверами, Интернет и так далее.
Поэтому главное «умение» ядра сети — не падать при максимальной загрузке. Этот уровень всегда состоит из высокоскоростных коммутаторов и маршрутизаторов, производительных и отказоустойчивых. Немаловажную роль играет «железо», в том числе характеристики коммутирующей матрицы, производительность процессора или контроллер.
Примечание. «Универсалы vs узких профи» Существует мнение, что для высокоскоростной передачи трафика, коммутаторы ядра не должны выполнять какие-либо манипуляции с пакетами, такие как маршрутизация между VLAN, ACL (Access Control List) и так далее — в такой архитектуре все эти функции возложены на коммутаторы уровня агрегации/доступа. Однако построить идеальную инфраструктуру и уложиться в выделенный бюджет удаётся далеко не всегда. Часто на практике используется некий смешанный вариант, при котором уровень ядра и уровень агрегации/доступа является неким общим уровнем «ядра+распределения». Разумеется, с точки зрения классической архитектуры это выглядит как вопиющее отступление от правил, зато с финансовой стороны — вполне разумно.
А теперь кратко, просто и понятными словами
Проще говоря, коммутаторы уровня ядра — это очень надёжные производительные коммутаторы L3 или L2+, которые могут выполнять те или иные задачи, но главное — устойчивая передача трафика. Ниже мы подробно остановимся на некоторых нюансах.
Производительность
Как уже было сказано выше, скорость пересылки пакетов и ёмкость коммутации — важные характеристики для коммутатора ядра в корпоративных сетях. Ядро должно обеспечивать требуемую скорость и пропускную способность.
Хорошая новость — трафик не берётся из ниоткуда. То есть, зная кого, чего и сколько вы собираетесь подключить к сети и какой «толщины» будут внешние каналы, можно спрогнозировать верхнюю и нижнюю цифры по загрузке ядра сети. А дальше уже дело за выбором оборудования.
Разумеется, корпоративная жизнь порой подбрасывает сюрпризы вроде рождения новых бизнес-подразделений «с нуля» или построения новых сегментов вроде приватных облаков. Поэтому резервировать от 20 до 35% запаса производительности «на вырост» и такой же резерв по количеству портов для ядра сети — это совсем неплохая идея. Как было сказано выше, обосновать остановку или временное замедление в работе практический всей корпоративной сети, чтобы заменить коммутатор в ядре — та ещё задачка.
Надёжность оборудования
При проектировании ядра уделяют больше внимания избыточности по сравнению с другими уровнями. Вроде всё понятно: зачем и почему, но давайте посмотрим более детально.
Как было сказано выше, нагрузка на коммутаторы уровня ядра имеет другой характер, нежели уровня доступа. Соответственно, температурное воздействие тоже выше, и самое главное — держится на одной отметке. И это должно учитываться при проектировании системы охлаждения.
Ещё один важный нюанс — электропитание. Наличие двух источников питания — не роскошь, а необходимость. Разумеется, можно использовать дополнительные «хитрые» внешние модули АВР (Автоматический Ввод Резерва) или SmartPDU, которые позволяют переключить подачу энергии на резервную линию, даже если на самом устройстве один блок питания. Но что будет с ядром сети, если единственный блок питания внутри коммутатора выйдет из строя? Нужно ли это проверять?
При наличии второго блока питания, когда один из них выходит из строя, другой немедленно берёт на себя все функции по обеспечению энергоснабжения. То есть стандартная схема: Active-Passive вполне пригодится.
Многое зависит от производителя блока питания и элементной базы. Если внутри всё сделано непонятно из чего и непонятно как — наверное, вообще не стоит устанавливать подобное оборудование, а уж в ядро сети — тем более.
Устойчивость к атакам и пиковым нагрузкам
Поскольку коммутаторы ядра являются центром сети, они должны уметь не только быстро перебрасывать Ethernet кадры, но и обладать расширенной защитой от DDoS с использованием протоколов уровня 2 и 3. И дело тут не только в «злобных хакерах». Криво работающее сетевое приложение может «навести шороху» не меньше, нежели «тёмные рыцари клавиатуры».
Кроме защиты от атак, сама по себе возможность работы при пиковых нагрузках является важной характеристикой. Обычно советуют избегать таких конфигураций, как дотошные списки доступа и фильтрация пакетов, особенно на фоне деградации производительности. Но в любом случае запас по мощности не повредит.
Стек и масштабирование. Агрегирование каналов.
Разумеется, ситуация, когда из-за проблемы с центральным коммутатором не работает крупный сегмент, а то и вся корпоративная сеть — мало кого устраивает. Чтобы избежать ситуаций, когда одно-единственное устройство объединяет большое число подключений и в случае выхода из строя ничто не может взять на себя его функции — используют резервирование и объединяют сетевое оборудование в стек.
Стек — это соединение нескольких физических коммутаторов в один «супер-коммутатор», когда при выходе одного из физических устройств отказоустойчивая схема продолжает работать.
Однако на одной только отказоустойчивости свет клином не сошёлся. Рано или поздно сеть разрастётся и возникнет дефицит вычислительных ресурсов и свободных портов. Даже если вначале были закуплены коммутаторы с хорошим запасом по портам и мощности, всё равно рано или поздно придётся проводить модернизацию. Стек коммутаторов даёт нам возможность добавить в ядро новые устройства, не снимая с эксплуатации старые.
Например, серия XGS4600 поддерживает стек до 4 коммутаторов, а XGS3700 — до 8. Проще говоря, если у вас в ядре присутствует, допустим два коммутатора XGS4600-52F, вы можете удвоить их количество, доведя их число до 4, не прерывая работу сети.
Также полезным выглядит использование отказоустойчивых протоколов, например, VRRP для построения отказоустойчивой схемы маршрутизации.
Крайне важно, чтобы остальные участники сетевого обмена не теряли связь с ядром. Для этого используется агрегирование каналов, когда несколько физических портов на коммутаторе уровня агрегации/распределения объединяются в общий UPLink и подключаются к двум портам на коммутаторах уровня ядра. Таким образом при обрыве подключения на одном из портов, связь всё равно не теряется.
«Quality of Service» (QoS) — является важной функцией, позволяющей обеспечить стабильное прохождение определённых типов трафика. Например, на современных предприятиях требуется видеоконференцсвязь. Такой трафик требует непрерывной передачи голоса и видеоданных, в отличие, например, от просмотра текстовых страниц в формате html. Ещё один пример — резервное копирование, когда данные идут плотным потоком и необходимо успеть всё передать за короткое «окно бэкапа». В таких случаях выручает использование системы приоритетов и ограничение полосы пропускания. То есть — QoS.
Благодаря QoS коммутаторы ядра получают возможность предоставлять разную полосу пропускания различным приложениям в соответствии с характеристиками. По сравнению с трафиком, который не так требователен к полосе пропускания и задержкам во времени (например, электронная почта), критический трафик получит более высокий приоритет, и будет передаваться с высокой скоростью и гарантированно низкой потерей пакетов.
Управление
Для описания основных принципов работы с коммутаторы ядра сети очень даже подходит известная пословица: «Работает? Не трогай!».
Но бывают ситуации, когда трогать нужно, например, при модернизации всей сети, подключения дополнительных сегментов и так далее.
И, разумеется, необходимо вовремя получать данные о работе сетевого оборудования.
Поэтому коммутаторы ядра сети поддерживают различные методы контроля и управления, начиная от SNMP и заканчивая подключением консоли.
Также полезно иметь выделенный порт управления (не объединяемый с передачей данных), который можно подключить в отдельный VLAN или даже коммутатор. Помимо повышения уровня безопасности, это позволяет упорядочить архитектуру сети и сохранить возможность управления даже при резком возрастании трафика через ядро.
Ниже идут описания и ТТХ конкретных моделей от Zyxel. Если не любите, когда производитель в своём же блоге описывает спецификации и возможности своих же устройств и считаете это «сплошной рекламой» — можно сразу перейти в следующий раздел: «Подведение итогов и рекомендации».
Рассмотрим на конкретных моделях
В качестве примера мы выбрали линейку коммутаторов, предназначенных для уровней ядра и агрегации/распределении. Откуда такое двойное назначение? Всё зависит от целей и задач, в первую очередь от архитектуры корпоративной сети. Бывают ситуации, когда на коммутаторы уровня агрегации/распределения ложится нагрузка, сопоставимая с уровнем ядра сети. Например, если активно используется маршрутизация между VLAN, списки доступа (ACL), фильтрация трафика и так далее.
Запас мощности и широкий набор возможностей в любом случае не помешает.
О каких моделях речь?
На сегодняшний день линейка XGS4600 насчитывает 3 коммутатора: XGS4600-32, XGS4600-32F, XGS4600-52F. Основное различие между ними — в количестве и конструкции портов. Ниже приводится таблица, в которой указаны основные различия и общие моменты.
| Характеристика | XGS4600–32 | XGS4600–32F | XGS4600–52F |
|---|---|---|---|
| Общее число портов | 32 | 32 | 52 |
| Gigabit SFP | — | 24 | 48 |
| 100/1000 Mbps | 24 | — | — |
| Gigabit combo (SFP/RJ‑45) | 4 | 4 | — |
| 10-Gigabit SFP+ | 4 | 4 | 4 |
| Производительность коммутации (Gbps) | 136 | 136 | 176 |
| Скорость пересылки пакетов (Mpps) | 101.1 | 101.1 | 130.9 |
| Буфер пакетов (байт) | 4 Мбайт | 4 Мбайт | 4 Мбайт |
| Таблица MAC-адресов | 32 Кбайт | 32 Кбайт | 32 Кбайт |
| Таблица пересылки L3 | Макс. 8 тыс. записей IPv4; Макс. 4 тыс. записей IPv6 | Макс. 8 тыс. записей IPv4; Макс. 4 тыс. записей IPv6 | Макс. 8 тыс. записей IPv4; Макс. 4 тыс. записей IPv6 |
| Таблица маршрутизации | 12 тыс. | 12 тыс. | 12 тыс. |
| Число IP интерфейсов | 256 | 256 | 256 |
| Flash/RAM | 64 Мб / 1 Гб | 64 Мб / 1 Гб | 64 Мб / 1 Гб |
Ниже мы кратко опишем, почему эти коммутаторы пригодны для использования в качестве ядра сети.
Стек и High Availability
С помощью одного или двух слотов 10-Gigabit SFP+ можно объединить в физический стек до 4 коммутаторов. Также поддерживается динамическая маршрутизация для упрощения обмена данными между подсетями. Эта функция очень удобна для больших отелей, университетов и других компаний, где используется сложная сетевая инфраструктура. Для коммутаторов серии XGS4600 можно приобрести дополнительную лицензию с поддержкой протоколов OSPFv3 и RIPng для динамической маршрутизации IPv6.
XGS4600 Series оборудован гигабитными портами и четырьмя интегрированными слотами 10-Gigabit SFP+.
Другие меры обеспечения надёжности
Помимо объединения в стек, коммутаторы серии хранят два файла конфигурации и два образа микропрограммы. Это своего рода защита от случайных сбоев. Представьте, что закачанный файл микропрограммы оказался повреждён при передаче по сети. Наличие второго файла позволяет решить эту проблему «без лишней крови», просто перезагрузив устройство с рабочей прошивкой.
Примерно такой же алгоритм восстановления, если изменения конфигурации оказались «несовместимы с жизнью». Просто подгружаем другой файл — и «дело в шляпе».
Схема питания — два независимых блока
XGS4600 Series поддерживает резервирование питания по схеме Active-Standby. В случае выхода из строя основного источника питания коммутатор будет работать от резервного источника питания.
Сами блоки питания — от известного производителя DELTA Electronics.
А что с «железом»?
Разумеется, лучше один раз увидеть, чем сто раз услышать (а ещё лучше пощупать своими руками). И мы прямо в офисе вскрыли две модели чтобы посмотреть, что внутри.
Ниже прилагаем несколько фотоснимков, сделанных прямо в офисе Zyxel Россия.
Интересная информация. Zyxel не пытается «поймать» своих клиентов на мелочах. «Хитрые» пломбы, болтики из мягкой стали (у которых шлицы повреждаются даже при самом аккуратном откручивании), голографические наклейки и прочие «уловки» с целью лишить потребителя гарантийного обслуживания — это всё не нужно.
Рисунок 2. Коммутаторы серии XGS4600, вид спереди: вверху — XGS4600-32F, снизу XGS4600-32
Рисунок 3. Коммутаторы серии XGS4600, вид сзади: вверху — XGS4600-32F, снизу XGS4600-32.
Во всех моделях, предназначенных для ядра — два блока питания.
Рисунок 4. Внутреннее устройство коммутатора XGS4600-32.
Правильная компоновка и аккуратный монтаж плат и разъёмов очень важны. У производителя не должно возникать желания «впихать невпихуемое» в небольшой корпус.
Присутствуют мощные радиаторы и блок из трёх вентиляторов. Для коммутаторов ядра сети важно иметь хорошее охлаждение.
Рисунок 5. Коммутатор XGS4600-32 — блоки питания.
Рисунок 6. Коммутатор XGS4600-32. Фрагмент материнской платы с микросхемами памяти.
Рисунок 7. Крупным планом.
Рисунок 8. Внутреннее устройство коммутатора XGS4600-32F.
Рисунок 9. Блок питания коммутатора XGS4600-32F.
Рисунок 10. В правой части расположены UPLINK, порт MGMT для управления коммутатором и консольный порт.
Обратите внимание на выделенный порт управления (OOB) — на панели он показан как MGMT. В отличие от консольного RS-232 (который тоже в наличии) данный порт предназначен для удалённого управления устройством по сети.
Также присутствует индикатор номера коммутатора в стеке — Stack ID.
Различные функции
Как уже было сказано выше, несмотря на то, что основная задача ядра — стабильная работа под нагрузкой, время от времени возникает необходимость управлять трафиком, и это требует определённых инструментов.
Например, поддержка VLAN, а также QoS и списки доступа — довольно полезные функции.
Полный список функций можно посмотреть здесь.
Подведение итогов и рекомендации
Невозможно объять необъятное, поэтому наш рассказ про коммутаторы ядра подходит к концу.
Существует множество факторов, которые определяют, какие коммутаторы ядра наиболее подходят для ядра сети в каждом конкретном случае. Однако существуют некоторые общие рекомендации, которые желательно соблюдать, чтобы избежать длительных простоев сетевой инфраструктуры.
Помимо «голой теории» мы показали, как эти особенности выглядят на примере конкретной реализации. Описанные принципы подходят при оценке любых других коммутаторов уровня ядра сети. Надеемся, это поможет при разработке новых проектов и модернизации уже существующих.
