102 IX: как мы подключили больше ста точек обмена трафиком и автоматизируем пиринг
Качественный BGP-пиринг — одна из главных причин хорошей связности глобальной сети G-Core Labs, охватывающей пять континентов. Мы присутствуем уже на 102 точках обмена трафиком, работаем с 5000 партнёрами по пирингу и входим в топ-10 сетей мира по количеству прямых пирингов. О том, как нам это удаётся — под катом.
Что такое BGP-пиринг
BGP-пиринг — это обмен интернет-трафиком между автономными системами (AS) напрямую, в обход вышестоящих операторов связи (аплинков).
Он помогает участникам точки обмена трафиком (IX, Internet Exchange) сокращать маршруты передачи данных между сетями, снижать затраты на трафик, а также в большинстве случаев и время отклика (RTT). Через точку обмена трафиком проще соединиться сразу c несколькими участниками: вместо отдельного коннекта к каждому достаточно одного соединения с IX, где все эти участники присутствуют.
Каждый участник IX выигрывает за счёт экономии на каналах и закупке трафика у аплинков. Это выгодно и для конечного пользователя: сокращаются сетевые задержки и время отклика до ресурсов.
Таким образом, чем больше точек обмена трафиком, тем лучше связность интернета и тем он доступнее.
Первые точки обмена трафиком начали появляться с 1994 года в крупных европейских городах: Лондоне (LINX), Франкфурте (DE-CIX), Амстердаме (AMS-IX), Москве (MSK-IX). Сейчас во всём мире работает более 500 IX
Internet Exchange Map
Как мы выбираем дата-центры и точки обмена трафиком
Мы подбираем дата-центры по количеству операторов первого (Tier1) и второго (Tier2) уровней и локальных IX.
Публичный пиринг. Выбираем ведущих интернет-провайдеров в каждом регионе и стыкуемся с ними в крупнейших точках обмена трафиком.
Приватный пиринг. У нас более 5000 партнёров по пирингу по всему миру. Это позволяет сохранять локальность трафика в разных регионах, сокращая задержки доставки контента между сетями.
Подробней о нашей сетевой архитектуре можно узнать тут.
Почему пиринг требует нестандартных решений
BGP-пиринг — это не просто наше присутствие на отдельно взятой точке обмена трафика. Здесь требуются комплексный подход и слаженная работа всех команд.
Быть участником IX недостаточно, так как многие eyeball-операторы связи имеют закрытую пиринговую политику (например, Selective или Restrictive). Это означает, что оператор не отдаёт свои сети на Route Server (сетевой сервис, позволяющий упростить пиринговое взаимодействие между участниками IX и сократить количество индивидуальных администрируемых пиринговых сессий).
Поднятие пирингов с такими операторами — это результат долгих переговоров между пиринг-менеджерами, в результате которых появляется сам BGP-пиринг и обмен трафиком происходит напрямую.
Немалую роль здесь играет и автоматизация самого процесса по конфигурации. Когда количество точек обмена трафиком переваливает за 15, а общее количество пиров за 1000, управлять этим вручную силами инженеров становится невозможно. Поэтому мы разработали полностью автоматизированный цикл настройки и управления BGP-сессиями без участия человека. Сетевому инженеру остаётся лишь согласовать пиринг, остальное делает автоматика.
Почему мы не стали использовать готовые решения по автоматизации пиринга
Подходы к автоматизации пиринга от большой четвёрки глобальных операторов (Google, Microsoft, AWS, Cloudflare) нам не подошли.
Google и Microsoft используют Web Peering Portal, к которому непросто получить доступ. К тому же в случае Microsoft надо оформить минимальную подписку на Azure.
После получения доступа вам нужно заполнить информацию о себе (как об операторе), пройти верификацию и только потом получить возможность создавать запросы на пиринг. Для каждого запроса обычно создаётся отдельная задача, где также требуется заполнить информацию и внести (выбрать) параметры для BGP-сессии.
Как правило, на создание одного запроса может уходить до 10 минут. Теперь представим, что нам нужно сделать 200 таких запросов, чтобы поднять все нужные нам сессии по всему миру. И это только для одного оператора. Можно легко посчитать, сколько времени нужно затратить на такую задачу. И это без учёта времени ответа на письма, в которых могут быть дополнительные вопросы. Куда проще послать одно письмо из нескольких слов и в течение суток получить ответ уже с преднастроенной конфигурацией.
С какими проблемами пришлось столкнуться:
Человеческий фактор. Управлять конфигурацией в ручном режиме не представлялось возможным — одной из главных проблем стал бы человеческий фактор. Поскольку как бы ни был хорош сетевой инженер, в таких глобальных масштабах и он может допускать ошибки, которые могут приводить к простою сервиса.
Автоматизация. Мы разработали собственную систему автоматизации с нуля и постоянно её дорабатываем. Ведь важно не только настроить BGP-сессию, но и поддерживать дальнейшее оперирование. Например, по статистике ежедневно мы поднимаем более 40 сессий, а удаляем примерно 20. Если смотреть за месяц, то это примерно 1200 новых сессий и 600–800 удалённых.
Как автоматизирован наш пиринг сегодня
Достаточно послать запрос на noc@gcore.lu с темой Peering и номером ASN, отличным от нашей (199524).
Зачастую наши потенциальные пиринг-партнёры сами направляют запросы на организацию пиринга. Далее эти запросы попадают в оркестратор и система проводит анализ их целесообразности. Если запрос удовлетворяет нашим критериям, система автоматически настраивает соответствующие сессии и высылает конфигурацию участнику.
Мы предпочитаем настраивать пиринг на всех точках обмена трафиком, где у нас есть совпадения с оператором, который запросил пиринг. Такой подход экономит время и для нашего пиринг-партнёра, позволяя добиваться максимальной эффективности. По мере роста сети этот подход оказался самым удобным и для нас, и для партнёров.
Бывают и обратные ситуации, когда мы делаем запрос на пиринг с потенциально интересующим нас партнёром, как правило, с крупным оператором.
Как мы оцениваем целесообразность пиринга:
В первую очередь оценивается количество indirect-трафика (то есть трафика через наши upstream-каналы) за последние 30 дней.
Если значение выше порогового, то в оценку идут другие параметры, например, есть ли сети данного оператора на Route Server в полном составе.
Затем идёт выбор точек обмена трафика наиболее эффективных для нас.
Какие данные мы анализируем
Мы анализируем данные, которые собираются с наших пограничных маршрутизаторов посредством NetFlow/JFlow. Имея эти данные, мы знаем о своём трафике всё до последнего байта.
Как мы оцениваем эффективность пиринга и связность сети
Мы используем телеметрию с наших сервисов. Для этого у нас есть разные продукты, в том числе CDN, насчитывающая уже больше ста точек присутствия и входящая в топ-10 сетей доставки контента в Европе и Азии по данным CDNPerf.
Основные метрики, которые мы берём в расчёт со стороны сети, — это Packet Loss и Round-Trip Time до конечного пользователя.
На скольких IX мы присутствуем
Мы присутствуем уже на 102 точках обмена трафиком по всему миру. Это стало возможным благодаря мощной сетевой инфраструктуре, без которой пирингов быть не может. Ведь чтобы включить точку обмена трафиком нужно локальное присутствие, а это уже подразумевает наличие инфраструктуры, сетевого оборудования и каналов передачи данных.
Internet Exchange Participants Report (Hurricane Electric, август 2021)
Как мы планируем улучшать связность сети
Сейчас в приоритете страны Латинской Америки, Африки и Азии. Это потенциально очень большой и перспективный рынок, над которым мы работаем и будем продолжать работать.
Приглашаем к бесплатному пирингу
G-Core Labs — быстро развивающийся контент-оператор с собственной экосистемой облачных сервисов и глобальной инфраструктурой. В её развитии нам помогают технологии Intel: в апреле 2021 мы одними из первых начали интеграцию Intel Xeon Scalable 3-го поколения (Ice Lake) в серверную инфраструктуру своих облачных сервисов.
Мы сформировали обширную пиринговую сеть и придерживаемся открытой пиринговой политики. Сейчас мы приглашаем всех заинтересованных участников к бесплатному пирингу через точки обмена трафиком.
Что такое точка обмена интернет-трафиком (IXP)?
Точка обмена интернет-трафиком (IXP) — это физическое здание, через которое компании инфраструктуры интернета, такие как поставщики интернет-услуг (ISP) и CDN, соединяются друг с другом. Эти места существуют на «краю» различных сетей, и позволяет провайдерам обмениваться трафиком за пределами своей сети. Благодаря присутствию внутри точки обмена интернет-трафиком, компании могут сократить путь транзита из других участвующих сетей, тем самым сокращая задержки, улучшая время в пути туда и обратно и потенциально снижая затраты.
Как работает точка обмена данными в интернете
По своей сути IXP — это одно или несколько физических расположений, содержащих сетевые коммутаторы, которые маршрутизируют трафик между различными сетями-членами. С помощью различных методов эти сети совместно покрывают расходы на поддержание физической инфраструктуры и связанных с ней услуг. Аналогично тому, как начисляются расходы при перевозке грузов через сторонние пункты, когда трафик передается через различные сети, иногда эти сети взимают деньги за доставку. Чтобы избежать этих затрат и других недостатков, связанных с отправкой трафика через стороннюю сеть, компании-члены связываются друг с другом через IXP, чтобы сократить расходы и уменьшить задержки.
IXP являются большими LAN уровня 2 (модели сети OSI), которые построены с одним или многими коммутаторами Ethernet, соединенными вместе через одно или несколько физических зданий. IXP ничем не отличается в базовой концепции от домашней сети, с единственной реальной разницей в масштабе. Точки обмена трафиком могут варьироваться от 100мб/с до многих тб/с. Независимо от размера, их основная цель состоит в том, чтобы убедиться, что маршрутизаторы многих сетей соединены вместе чисто и эффективно. Для сравнения, дома у кого-то обычно есть только один маршрутизатор и много компьютеров или мобильных устройств.
За последние двадцать лет произошло значительное расширение сетевых соединений, параллельно с огромным расширением глобального интернета. Это расширение включает в себя новые объекты центра обработки данных, разрабатываемые для размещения сетевого оборудования. Некоторые из этих центров обработки данных привлекли огромное количество сетей, в немалой степени благодаря процветающим точкам обмена данными интернет-трафиком, которые работают в них.
Почему важны точки обмена интернет?
Без IXP трафик, идущий от одной сети к другой, полагался бы на промежуточную сеть для переноса трафика от источника до назначения. Они называются транзитными поставщиками. В некоторых ситуациях нет никаких проблем с этим: это то, как большая часть международного интернет-трафика течет, поскольку поддержание прямых соединений с каждым провайдером в мире стоит непомерно дорого. Однако использование магистрального интернет-провайдера, для передачи локального трафика, может отрицательно сказаться на производительности, иногда из-за магистрального оператора, отправляющего данные в другую сеть в совершенно другом городе. Эта ситуация может привести к тому, что известно, как тромбонинг, где в худшем случае трафик из одного города, предназначенного для другого провайдера в том же городе, может проделывать огромные расстояния для обмена, а затем вернуться. CDN с присутствием IXP имеет преимущество оптимизации пути, через который проходят потоки данных в его сети, сокращая неэффективные пути.
BGP, магистральный протокол интернета
Сети общаются друг с другом с помощью протокола BGP (Border Gateway Protocol). Этот протокол позволяет сетям четко разграничивать внутренние требования и конфигурации сети. Все пиринги на IXP используют BGP.
Как поставщики делят трафик между различными сетями?
Транзит
Соглашение между клиентом и его вышестоящим поставщиком. Транзитный провайдер предоставляет своим клиентам полное подключение к остальной части интернета. Транзит — платная услуга. Протокол BGP используется, чтобы позволить IP-адресам клиента быть объявленными к транзитному провайдеру и затем к остальной части глобального сети.
Пиринг
Соглашение между провайдерами на совместное использование IP-адреса, без посредника между ними. В пунктах обмена интернет-трафиком затраты, на передачу данных между участвующими сетями, отсутствуют. Когда трафик передается бесплатно из одной сети в другую, связь называется пирингом.
Пиринг против оплачиваемого транзита
К сожалению, для некоторых сетей, передача данных не всегда без затрат. Например, крупные сети с относительно равной долей рынка с большей вероятностью будут взаимодействовать с другими крупными сетями, но могут взимать плату за услуги пиринга с меньших сетей. В одном IXP компания-член может иметь различные договоренности с несколькими различными членами. В подобных случаях компания может настроить протоколы маршрутизации таким образом, чтобы обеспечить оптимизацию для снижения затрат или задержки с помощью протокола BGP.
Deepering
Со временем отношения могут меняться, и иногда сети больше не хотят делиться бесплатным соединением. Когда сеть решает закончить их пиринговое расположение, они проходят через процесс, называемый deepering. Депиринг может произойти по целому ряду причин, таких как, когда одна сторона выигрывает больше, чем другая из-за плохих коэффициентов трафика, или когда сеть просто решает начать взимать деньги с другой стороны. Этот процесс может быть очень эмоциональным, и отвергнутая сеть может намеренно нарушить трафик другой стороны после прекращения пиринговых отношений.
На видео: Можно ли поломать интернет?
Как IXP использует BGP
Через локальную сеть IXP, различные провайдеры в состоянии создать индивидуальные соединения с помощью протокола BGP. Этот протокол был создан, чтобы позволить разрозненным сетям объявлять свои IP-адреса друг другу, плюс IP-адреса, которые они предоставили подключение к нисходящим (т. е. их клиентам). Как только две сети настроили сеанс BGP, их маршруты меняются и трафик может протекать непосредственно между ними.
Соединение IXP или PNI
Две сети могут считать свой трафик достаточно важным, чтобы перейти от общей инфраструктуры точки обмена интернет-трафиком к выделенному соединению между двумя сетями. PNI (соединение частной сети) — это просто темное оптоволоконное соединение (обычно в пределах одного центра обработки данных или здания), которое напрямую соединяет порт в сети A с портом в сети B. BGP почти идентичен общей настройке пиринга IXP.
Точка обмена трафиком — IX Point
Интернет сегодня звучит просто и привычно, однако на самом деле это целый стек технологий, суть которой – передача информации от одного участника сети другому. С ростом количества пользователей сети и территории распространения, возникают вопросы пропускной способности и способах организации сетей для обеспечения высококачественного интернет-трафика в нужных регионах.
Если для объединения нескольких устройств в локальную сеть, достаточно обойтись простыми решениями, вроде wi-fi-канала, патч-корда, свитча или хаба, то организация магистральных сетей, состоящих из миллионов устройств, происходит иначе. Обмен данными с таким объемом клиентов по устойчивому каналу решается с помощью точек обмена интернет–трафиком. Без них мы бы никогда не получили широкий доступ в Интернет.
Что такое Internet Exchange?
Точка обмена трафиком (или в англ. Internet Exchange Point, сокращается до анаграммы IX) – это сетевая инфраструктура, на базе которой становится возможен межоператорский обмен IP-трафиком.
Возникновение точек для обмена трафиком
Изначально компьютерные сети строились на базе имеющихся телефонных линий. С одной стороны, это уменьшало затраты на прокладку новых кабельных линий, но с другой стороны, не давало желаемой скорости взаимодействия. Тем не менее выход в Интернет был уже в СССР – еще с 1982 года (по стандарту X.25). Активный рост интереса частных пользователей произошел уже после 1990 года, когда появились первые провайдеры, а вместе с ними и потребность в единой точке их взаимодействия.
Слабо развитая инфраструктура имела свои недостатки. Так, у провайдеров не существовало инструмента по фильтрации и делению трафика по географическому признаку, и поэтому нередки были случаи, когда обмен данными внутри страны происходил через точку, которая фактически находилась в Европе или еще дальше. А трафик по такому маршруту обходился провайдерам очень дорого. Конечно, материально все это ложилось на плечи абонентов.
В целях оптимизации маршрутов и удешевления доступа провайдеры стали объединять свои усилия и организовывать первые точки обмена IP-трафиком. Они создавались в крупных городах, таких как Лондон, Амстердам, Франкфурт. Не стала исключением и Москва.
В 1995 году сразу несколькими телекоммуникационными компаниями совместно создается первая точка взаимообмена IP-трафиком в России, располагающаяся на Московской междугородной телефонной станции № 9 (ММТС-9). Подключиться к точке обмена трафиком могли не только местные провайдеры, но и университеты, научно-исследовательские институты, а также другие организации, которые формировали серьезный интернет–трафик внутри страны. На текущий момент в России работает уже несколько десятков IX, а многие ЦОДы на их базе оказывают услуги организации соединительных линий (Meet-Me Room). Тем не менее площадка ММТС-9 по сей день является самой крупной точкой обмена трафиком в России и Восточной Европе.
Преимущества точек обмена IP-трафиком
1. Снижение стоимости трафика. Казалось бы, Интернет – единая глобальная сеть. Откуда взяться разным ценам? Все просто. Построение собственной инфраструктуры всегда обходится очень дорого, одни из самых дорогостоящих – магистральные каналы (прокладка, обслуживающее оборудование, ряд согласований при международных работах и т.д.). Все это ложится на плечи локальных провайдеров, которые хотят пользоваться готовой инфраструктурой, и, в конечном счете, на абонентов. Но разделение трафика на локальный и внешний внутри страны отсекает из схемы дорогостоящую аренду международных магистральных каналов обмена данными. Кроме того, через единую точку обмена тем же внешним каналом уже можно пользоваться не единолично (беря на себя все расходы), а совместно с другими провайдерами. Что и влечет за собой снижение расходов сначала для провайдеров, а затем и для конечных пользователей.
2. Повышение доступности ресурсов. Единая точка подключения открывает широкие возможности для обмена данными между провайдерами. Сети легко объединяются, настраиваются, могут использоваться единые сервера для кэширования и многое другое. Здесь преимущества получают не только операторы связи и провайдеры, но и конечные абоненты, ведь контент доставляется быстрее.
3. Готовая инфраструктура. Этот аспект очень важен для новых и небольших провайдеров. Для построения собственной сети требуются огромные средства, а они не всегда имеются на старте бизнеса. И даже если оператор услуги смог построить небольшую локальную сеть, то без доступа к глобальной она малопривлекательна для потенциальных потребителей. С подключением к Internet Exchange Point провайдер получает готовый выход на внешние (иностранные) сети, гибкие тарифы на транспортировку трафика, обмен с другими внутренними операторами и др.
4. Быстрая скорость коннекта — за счет прямого подключения к провайдеру, минуя лишние стыки.
5. Простота технического подключения — для этого нужно лишь разместить оборудование на точке обмена трафиком.
Кому это интересно?
В первую очередь, коммерческим компаниям и бизнесу. Чаще всего подключиться к Internet Exchange необходимо тем компаниям, для которых важно быстрое взаимодействие аудитории с их сервисом в определенном регионе:
Как технически подключиться к IX?
Для того, чтобы получить присутствие, достаточно разместить оборудование на площадке — точке обмена трафиком, – после чего организовать подключение к необходимому провайдеру путем прокладки соединительной линии. На самой крупной площадке IX в России — ММТС-9 присутствует более 500 операторов связи, с которыми можно организовать соединительные линий.
Предлагаем выгодные условия организации meet-me-room:
поделится с друзьями:
Протестируйте сервер перед покупкой
Оставьте свои данные, чтобы мы могли подобрать нужную конфигурацию
Точка обмена трафиком: от истоков к созданию собственной IX
«We set up a telephone connection between us and the guys at SRI. », Kleinrock… said in an interview:
«We typed the L and we asked on the phone, „Do you see the L?“»
«Yes, we see the L,» came the response.
«We typed the O, and we asked, „Do you see the O.“»
«Yes, we see the O.»
«Then we typed the G, and the system crashed»…
Yet a revolution had begun.
The beginning of the internet.
Меня зовут Александр, я сетевой инженер в компании Linxdatacenter. В сегодняшней статье речь пойдет про точки обмена трафиком (Internet Exchange Point, IXP): о том, что предшествовало их появлению, какие задачи они решают и как строятся. Также в данной статье я продемонстрирую принцип работы IXP с помощью платформы EVE-NG и программного маршрутизатора BIRD, чтобы было понимание, как это работает «под капотом».
Немного истории
Если посмотреть сюда, то можно заметить, что бурный рост количества точек обмена трафиком начался в 1993 году. Это связано с тем, что большинство трафика существовавших на тот момент операторов связи проходило через backbone-сеть США. Так, например, когда трафик шел от оператора во Франции до оператора в Германии, он из Франции сначала попадал в США, и только потом из США в Германию. Backbone-сеть в данном случае выступала транзитом между Францией и Германией. Даже трафик внутри одной страны часто проходил не напрямую, а через опорные сети американских операторов.
Такое положение вещей сказывалось не только на стоимости доставки транзитного трафика, но и на качестве каналов и задержке. Количество пользователей сети Интернет увеличивалось, появлялись новые операторы, объем трафика возрастал, интернет взрослел. Операторы по всему миру начали понимать, что нужен более рациональный подход к организации межоператорского взаимодействия. «Зачем мне, оператору А, платить за транзит через другую страну, чтобы доставить трафик оператору Б, который располагается на соседней улице?». Примерно такой вопрос задавали себе операторы связи в то время. Так, в разных частях мира в точках концентрации операторов начали появляться точки обмена трафиком:
Интернет и наши дни
Концептуально архитектура современного интернета представляет из себя множество автономных систем (autonomous system, AS) и множество связей между ними, как физических, так и логических, которые определяют путь прохождения трафика от одной AS к другой.
В качестве AS обычно выступают операторы связи, интернет-провайдеры, CDN, дата-центры, компании энтерпрайз сегмента. AS организуют логические связи (peering) между собой, как правило, средствами протокола BGP.
То, как автономные системы организуют эти связи, определяется рядом факторов:
Схематически это можно представить так:
На данной картинке видно, что трафик агрегируется снизу вверх, т.е. от конечных пользователей к tier-1 операторам. Также имеет место горизонтальный обмен трафиком между примерно равнозначными между собой AS.
Неотъемлемой частью и одновременно недостатком данной схемы является некая беспорядочность связей между автономными системами, располагающимися ближе к конечному пользователю, в пределах географической зоны. Рассмотрим картинку ниже:
Предположим, что в крупном городе присутствует 5 операторов связи, пиринг между которыми, по тем или иным причинам, организован, как показано выше.
Если пользователь Петя, подключенный к интернет-провайдеру Go, захочет получить доступ к серверу, подключенному к провайдеру ASM, то трафик между ними будет вынужден проходить через 5 автономных систем. Таким образом увеличивается задержка, т.к. увеличивается количество сетевых устройств, через которые пойдет трафик, а также объем транзитного трафика на автономных системах между Go и ASM.
Как сократить количество транзитных AS, которые вынужден проходить трафик? Правильно – точка обмена трафиком.
В наши дни появление новых IXP обусловлено все теми же потребностями, что и в начале 90-х-2000-х, только в более мелком масштабе, в ответ на увеличивающееся количество операторов связи, пользователей и трафика, растущее количество контента, генерируемого CDN-сетями и дата-центрами.
Что такое точка обмена трафиком?
Точка обмена трафиком – это место со специальной сетевой инфраструктурой, где заинтересованные во взаимном обмене трафиком участники, организуют взаимный пиринг. Основные участники точек обмена трафиком: операторы связи, интернет-провайдеры, провайдеры контента и дата-центры. В точках обмена трафиком участники соединяются между собой напрямую. Это позволяет решить следующие задачи:
Если вышеописанную ситуацию с Петей решать с помощью IXP, то получится примерно так:
Как устроена точка обмена трафиком?
Как правило, IXP – это отдельная AS со своим блоком публичных IPv4/IPv6 адресов.
Сеть IXP чаще всего представляет из себя сплошной L2 домен. Иногда это просто VLAN, в котором размещаются все клиенты IXP. Когда же речь идет о более крупных, географически распределенных IXP, то для организации L2 домена могут использоваться такие технологии, как MPLS, VXLAN и т.д.
Элементы IXP
Например, хорошей практикой является пропуск трафика только с определенного mac-адреса участника IXP, который обговаривается заранее. Запрет трафика с полями ethertype, отличающимися от 0x0800(IPv4), 0x08dd(IPv6), 0x0806(ARP); это делается для того, чтобы отфильтровать трафик, которому нет места при BGP-пиринге. Также могут применяться такие механизмы как GTSM, RPKI и т.д.
Пожалуй, вышеперечисленное – это основные составляющие любой IXP вне зависимости от масштаба. Конечно, у крупных IXP могут применяться дополнительные технологии и решения.
Бывает, что IXP также предоставляет своим участникам дополнительные сервисы:
Принцип работы
Разберем принцип работы точки обмена трафиком на примере простейшей IXP, смоделированной средствами EVE-NG, а после рассмотрим базовую настройку программного маршрутизатора BIRD. Для упрощения схемы мы опустим такие важные вещи, как резервирование и отказоустойчивость.
Топология сети представлена на рисунке ниже.
Предположим, что мы администрируем небольшую точку обмена трафиком и предоставляем следующие варианты пиринга:
50.50.50.254 – IP-адрес, настроенный на интерфейс route server’а, с данным IP клиенты будут устанавливать BGP-сессию в случае пиринга через RS.
Также для пиринга через RS мы разработали простейшую политику маршрутизации на основе BGP community, которая дает возможность участникам IXP регулировать кому и какие маршруты отправлять:
| BGP community | Описание |
| LOCAL_AS:PEER_AS | Передать префиксы только PEER_AS |
| LOCAL_AS:IXP_AS | Передать префиксы всем участникам IXP |
| Клиент | Номер AS клиента | Анонсируемые клиентом префиксы | ip адрес выданный клиенту для подключения к IXP |
| ISP #1 | AS 100 | 1.1.0.0/16 | 50.50.50.10/24 |
| ISP #2 | AS 200 | 2.2.0.0/16 | 50.50.50.20/24 |
| ISP #3 | AS 300 | 3.3.0.0/16 | 50.50.50.30/24 |
Базовая настройка BGP на маршрутизаторе клиента:
Здесь стоит отметить настройку no bgp enforce-first-as. По умолчанию, BGP требует, чтобы в as-path принимаемого BGP апдейта, присутствовал номер as bgp пира, от которого данный апдейт был получен. Но поскольку route server не вносит изменения в as-path, его номер будет отсутствовать в as-path и апдейт будет отброшен. Данная настройка применяется, чтобы маршрутизатор начал игнорировать данное правило.
Также мы видим, что клиент установил bgp community 555:555 на данный префикс, что согласно нашей политике означает, что клиент хочет анонсировать данный префикс всем остальным участникам.
Для маршрутизаторов остальных клиентов настройка будет аналогичная, за исключением их уникальных параметров.
Пример конфигурации BIRD:
Далее описывается фильтр, который не принимает martians префиксы, а также префиксы самой IXP:
Данная функция реализует политику маршрутизации, которую мы описали ранее.
Настраиваем пиринг, применяем соответствующие фильтры и политики.
Стоит отметить, что на route server’e является хорошим тоном складывать маршруты от разных пиров в разные RIB. BIRD позволяет это делать. В нашем же примере для простоты все апдейты, принятые от всех клиентов, складываются в одну общую RIB.
Итак, проверим, что у нас получилось.
На route server’e видим, что со всеми тремя клиентами установлена BGP-сессия:
Видим, что мы получаем префиксы от всех клиентов:
На маршрутизаторе as 100 видим, что при наличии всего одной BGP-сессии с сервером маршрутов, мы получаем префиксы и от as 200 и от as 300, при этом BGP-атрибуты не поменялись, как если бы пиринг между клиентами осуществлялся напрямую:
Таким образом мы видим, что наличие сервера маршрутов значительно упрощает организацию пиринга на IXP.
Надеюсь, что данная демонстрация помогла вам лучше понять, как устроены точки обмена трафиком и как реализуется работа сервера маршрутов на IXP.
Linxdatacenter IX
В Linxdatacenter мы построили собственную IXP на базе отказоустойчивой инфраструктуры из 2-х коммутаторов и 2-х route-серверов. Сейчас наша IXP запущена в тестовом режиме, и мы приглашаем всех желающих подключиться к Linxdatacenter IX и принять участие в тестировании. При подключении вам будет предоставлен порт с пропускной способностью 1 Gbit/s, возможность пиринга через наши route-сервера, а также доступ в личный кабинет IX-портала, доступного по адресу ix.linxdatacenter.com.
Пишите в комментарии или личные сообщения для получения доступа к тестированию.
Вывод
Точки обмена трафиком возникли на заре интернета как инструмент решения вопроса неоптимального прохождения трафика между операторами связи. Сейчас с появлением новых глобальных сервисов и увеличением количества CDN трафика точки обмена все также продолжают оптимизировать работу глобальной сети. Увеличение количества IXP в мире несет пользу как для конечного пользователя сервиса, так и для операторов связи, операторов контента и т.д. Для участников IXP выгода выражается в сокращении расходов на организацию внешних пирингов, сокращении количества трафика, за который приходится платить вышестоящим операторам, оптимизации маршрутизации, возможности иметь прямой стык с операторами контента.
