hba sas контроллер что это

Выбор контроллера SAS

Контроллеры

Конечно, сложные IT-проекты могут быть выполнены силами наших инженеров «под ключ» — от планирования до внедрения и поддержки. Но среди наших клиентов есть большое число маленьких компаний с небольшим парком серверов, где периодически требуется сделать выбор на уровне отдельных компонентов. Надеемся, что данная статья поможет нашим клиентам самостоятельно выбрать SAS HBA или RAID-контроллер, соответствующий решаемым задачам и бюджету.

В данной статье рассматривается продукция только двух производителей SAS-контроллеров — Avago (до поглощения — LSI) и Adaptec (торговая марка принадлежит компании PMC-Sierra). Есть ещё несколько производителей SAS RAID и HBA контроллеров: ATTO, Areca, HighPoint — но они почти не представлены на российском рынке. Intel использует продукты Avago (LSI) в качестве основы для своих RAID-контроллеров.

HBA или RAID?

SAS HBA (Host Bus Adapter) — простой контроллер SAS, обеспечивающий лишь передачу команд от хоста к дискам или другим таргетам. Никакого кэширования, оптимизации команд, размещения метаданных на дисках.

Контроллер SAS RAID отличается от HBA архитектурой. Микрокод RAID-контроллера обеспечивает широкий функционал: организация массивов из подключённых дисков, оптимизация обработки команд (переупорядочивание, объединение команд, кэширование). Для всего этого требуется более производительный процессор, желательно с аппаратной поддержкой рассчёта контрольных сумм для RAID-5 и RAID-6. По сути получается небольшой встраиваемый компьютер с процессором, памятью, достаточно сложной операционной системой. Хост не получает прямого доступа к дискам, а работает только с виртуальными дисками, массивами (массив может состоять из даже из одного диска), которые презентует ему RAID-контроллер

Традиционное утверждение о том, что аппаратные RAID-контроллеры всегда обеспечивают существенно более высокий уровень производительности системы в целом за счёт отсутствия нагрузки процессор и наличия аппаратных блоков расчёта контрольных сумм, является излишне категоричным. Для современных процессоров даже нагрузка, связанная с обработкой записи на RAID-6 не является сколь-нибудь значительной. MDRAID в Linux может обеспечить приемлемый уровень производительности, а Microsoft Storage Spaces при добавлении SSD в качестве кэша и/или быстрого яруса может масштабироваться нескольких сотен тысяч IOPS. Ещё один пример — системы хранения данных на базе ПО RAIDIX в своё время появились из-за необходимости обеспечить высокую производительность (несколько ГБ/с при последовательном доступе) для хранения и обработки медиаконтента, которую невозможно было получить с использованием аппаратных RAID-контроллеров.

В тоже время вычислительные возможности процессора RAID-контроллера не безграничны. Например, пределы для контроллеров на базе LSI 2108 (SAS2 первого поколения, на этом чипе до сих пор производятся контроллеры Avago 9250 и 9260) — 2,8 / 1,3 ГБ/с на чтение/запись при последовательном доступен в RAID-5 и 6, для доступа небольшими блоками 4КиБ — 130 тысяч IOPS. Даже один современный серверный SSD может обеспечить больше 100 тыс. IOPS на чтение, так что такой контроллер легко может стать узким местом для производительности дисковой подсистемы. В то же время SAS2 HBA того же поколения на чипе LSI 2008 обеспечивают предел уже в 320 тыс. IOPS. Лимиты современных RAID-контроллеров — более полумиллиона IOPS и 4-6ГБ/с, но HBA по-прежнему могут обеспечить более высокую производительность.

Преимущество RAID-контроллера — во встроенных средствах управления, достаточно совершенных алгоритмах обработки отказов и наличии энергонезависимой (при наличии модуля защиты) памяти, использование которой для кэширования может существенно (в разы) увеличить производительность при некоторых типах нагрузки.

В настоящее время жёстких различий нет. Большая часть SAS HBA от Avago может использовать прошивку IR (Integrated RAID), которая обеспечивает базовый RAID-функционал: построение массивов 0, 1E и 10 из небольшого числа дисков вместе с базовыми сервисами (проверкой целостности, поддержкой hot-spare дисков, возможностью расширения объёма массива на лету). И наоборот — контроллеры Adaptec серий 7 и 8 могут предоставлять хосту прямой доступ к отдельным или всем дискам (HBA mode). Но в первом случае вы получите низкую производительность, во втором — высокую цену.

Что же выбрать? Всё зависит от конкретных задач. В случае подключения внешних СХД выбора, как правило, нет, нужен именно HBA. Для относительно бюджетных решений без использования СХД, связанных с хранением большого объёма данных и последовательной нагрузкой (резервное копирование, видеонаблюдение), лучше выбрать RAID-контроллер. Для тяжёлых нагрузок, связанных со случайным доступом (например, высоконагруженные СУБД), и при наличии большого числа подключаемых SSD стоит внимательно изучить ограничения выбранного контроллера.

Список SAS HBA

Все современные контроллеры LSI (Avago) имеют обозначение количества и типа портов (внутренние или внешние) в названии: цифра на конце обозначает количество портов (одиночных линий SAS, а не 4x разъёмов), i — internal (внутренние), e — external (внешние).

Наименование контроллеров Adaptec by PMC: первая цифра — поколение, вторая (или двузначное число для 16-портовых контроллеров) — количество внутренних портов, третья — количество внешних портов. Одна или две буквы на конце: H — HBA-контроллер, Z — наличие встроенного модуля защиты кэша, Q — поддержка технологии SSD-кэширования (Adaptec MaxCache).

Вендор Модель Порты Поколение SAS Форм-фактор Хост-интерфейс IOPS-лимит Примечание
Avago 9211-4i 4i SAS2 (6Гбит) LP PCI-E 2.0 x4 160k IR: RAID 0, 1, 1E, 10
Avago 9211-8i 8i SAS2 (6Гбит) LP PCI-E 2.0 x8 320k IR: RAID 0, 1, 1E, 10
Avago 9201-16i 16i SAS2 (6Гбит) FH PCI-E 2.0 x8 430k
Avago 9201-16e 16e SAS2 (6Гбит) FH PCI-E 2.0 x8 430k
Avago 9212-4i4e 4i + 4e SAS2 (6Гбит) LP PCI-E 2.0 x8 320k IR: RAID 0, 1, 1E, 10. Внутренние порты — одиночные SATA-разъёмы
Avago 9207-8e 8e SAS2 (6Гбит) LP PCI-E 3.0 x8 650k
Avago 9207-8i 8i SAS2 (6Гбит) LP PCI-E 3.0 x8 650k IR: RAID 0, 1, 1E, 10
Avago 9207-4i4e 4i + 4e SAS2 (6Гбит) LP PCI-E 3.0 x8 650k IR: RAID 0, 1, 1E, 10
Avago 9206-16e 16e SAS2 (6Гбит) LP PCI-E 3.0 x8 1M SFF8644
Avago 9300-4i 4i SAS3 (12Гбит) LP PCI-E 3.0 x8 1M IR: RAID 0, 1, 1E, 10
Avago 9300-4i4e 4i + 4e SAS3 (12Гбит) LP PCI-E 3.0 x8 1M IR: RAID 0, 1, 1E, 10
Avago 9300-8i 8i SAS3 (12Гбит) LP PCI-E 3.0 x8 1M IR: RAID 0, 1, 1E, 10
Avago 9300-8e 8e SAS3 (12Гбит) LP PCI-E 3.0 x8 1M IR: RAID 0, 1, 1E, 10
Avago 9300-16e 16e SAS3 (12Гбит) FH PCI-E 3.0 x8 2M
Avago 9300-16i 16i SAS3 (12Гбит) FH PCI-E 3.0 x8 2M
Avago 9302-16e 16e SAS3 (12Гбит) FH PCI-E 3.0 x16 2.8M
Adaptec by PMC 6405H 4i SAS2 (6Гбит) LP PCI-E 2.0 x4 280k
Adaptec by PMC 6805H 8i SAS2 (6Гбит) LP PCI-E 2.0 x4 280k
Adaptec by PMC 7805H 8i SAS2 (6Гбит) LP PCI-E 3.0 x8 800k SFF8643
Adaptec by PMC 71605H 16i SAS2 (6Гбит) LP PCI-E 3.0 x8 800k SFF8643
Adaptec by PMC 7085H 8e SAS2 (6Гбит) LP PCI-E 3.0 x8 800k SFF8644
Adaptec by PMC 70165H 16e SAS2 (6Гбит) LP PCI-E 3.0 x8 800k SFF8644

Возможности SSD-кэширования и отличия от Avago/LSI (Adaptec MaxCache 3.0): до 2ТБ кэша, поддержка RAID 10, 1E и RAID-5 для SSD в кэш пуле (т.е. можно получить защищённый кэш-пул на нечётном количестве дисков), возможность использования части объёма SSD для создания пользовательских томов.

Ещё одна особенность новых контроллеров — отсутствие фирменного RAID-5EE, что делает невозможным быструю миграцию таких томов переходе со старых контроллеров. RAID-5EE представлял собой обычный RAID-5 с распределённым hot-spare (пустыми страйпами), т.е. позволял немного увеличить производительность за счёт задействования дополнительного диска. С ростом объёма дисков RAID-5 уже давно перестал быть безопасным для надёжного хранения данных, но старые контроллеры недостаточно быстро работали с RAID-6. RAID-5EE был неким компромиссом, но сейчас необходимость в нём отпала.

Часто задаваемые вопросы

О: Метаданные с описанием конфигурации массива в современных контроллерах хранятся как в NVRAM самого контроллера, так и на дисках. Каждый производитель контроллеров использует свой формат метаданных, но, естественно, обеспечивается совместимость между контроллерами одной серии и обратная совместимость (контроллеры новой серии могут импортировать тома от старой или младшей серии). Следует обращать внимание на факторы, которые могут препятствовать импорту конфигурации: старый контроллер использует неподдерживаемый новым контроллером функционал (SSD-кэш, снапшоты через LSI Recovery, RAID-5EE), массивы в аварийном состоянии (просто в состоянии degrade, в процессе ребилда или расширения), более старая версия прошивки и т.п.

О: Для большинства нагрузок и конфигураций режим работы кэша Write-Back (когда контроллер сообщает хосту о завершении операции записи сразу после попадания данных в кэш) обеспечивает заметный прирост производительности. Особенно это заметно при случайном доступе к томам RAID-5 и 6 — без оптимизации (записи полного страйпа) производительность из-за необходимости перезаписи контрольных сумм будет снижена. Аварийное отключение питания приводит к потере данных, содержавшихся в кэше, но ещё не записанных на диски, что в свою очередь может привести к полной потере данных всего тома. ИБП не обеспечивает стопроцентную защиту, так как помимо простого отключения питания может произойти сбой материнской платы или контроллера.

Для конфигураций, состоящих исключительно из SSD, оптимальная производительность на контроллерах Avago (LSI) и Adaptec достигается без WriteBack кэша, следовательно защита кэша становится необязательной.

Второе применение — 2-узловые кластеры с использованием одного или нескольких общих дисковых полок. Примеры: Avago Syncro CS или Microsoft Storage Spaces.

О: Как правило нагрузка на системный том является сравнительно небольшой (в основном это запись логов), так что в большинстве случаев достаточно средствами контроллера создать небольшой том на той же группе дисков, которая будет использоваться для основной нагрузки.

О: Не поддерживают, но при использовании серверных SSD при типовых серверных нагрузках это мало влияет на производительность и ресурс. См. подробности в этой статье.

Источник

Что такое современный HBA?

Чем более ценную информацию приходится хранить на сервере, тем выше требования к надежности подсистемы хранения. Обеспечить ее может решение, построенное на базе HBA. Разбираемся, что это такое и почему вам уже следует присмотреться к HBA внимательнее.

Dell QLogic QLE2560

Определение понятия

Host Bus Adapter (HBA) – это устройство и одноименный режим, в которых реализованы порты для подключения дисковых и не дисковых устройств хранения. Сразу после подключения их начинает видеть и идентифицировать как блочные устройства операционная система. Детальная информация о них доступна в device manager, в файле devmgmt.msc (для семейства Windows).

Типы HBA

Различают три HBA: интегрированные в системную плату, в виде отдельного устройства и виртуальные, создаваемые посредством RAID-контроллера. Рассмотрим их подробнее.

Интегрированные в системную плату

О том, что в материнскую плату сервера может быть интегрирован HBA, знают далеко не все, хотя это довольно популярное исполнение. При этом порты для подключения дисков используются разрозненно, в то время как в настройках можно выбрать подходящие параметры для HBA (их совсем немного) и рассматривать подсистему хранения как единое целое. Такие HBA часто работают на базе SATA-технологии – например, популярной сегодня NVMe. Главный недостаток интегрированного решения в том, что оно поддерживает очень скромный перечень ОС (Linux и Windows), плюс к нему проблематично подключить дополнительные устройства.

В виде отдельного устройства

Такие HBA обычно основаны на технологии SAS 12G (или SAS3) и, соответственно, поддерживают режимы SATA I, II, III и SAS-1 SAS-2, SAS-3. Благодаря SAS с подключаемыми устройствами можно работать как с обычными SATA при условии прямого подключения, хотя в последнее время это практикуют нечасто, так как с большим количеством дисков лучше использовать SAS.

К материнской плате HBA-устройство подключается через разъем 8x PCI-e V3. Внутренних портов при этом будет максимум 24, но с помощью SAS-экспандеров их количество можно увеличить под нужды конкретного проекта. Таким образом, на выходе можно легко получить, например, 40-портовый SATA HBA. Нарастить подобным образом порты в интегрированных SATA HBA невозможно, разве что с помощью SATA multiplier, но по сравнению с SAS-технологией у нее меньше достоинств и больше недостатков.

НBA как RAID-контроллер

HBA можно представить как RAID-контроллер, но также и RAID-контроллер можно представить как HBA. Все актуальные сегодня RAID-контроллеры от Microsemi Adaptec могут работать как HBA, для многих других производителей это тоже справедливо. При такой реализации все диски, подключенные к RAID-контроллеру через SAS-экспандер, можно сделать доступными в системе именно через режим HBA. Также RAID может быть программным или аппаратным – оба варианта жизнеспособны и востребованы при современных проектах. Окончательный выбор между ними можно сделать только после изучения требований, которые предъявляются к системе хранения данных. Очень редко встречаются ситуации, когда мы можем использовать только аппаратный или, наоборот, только программный RAID.

Реализация HBA позволяет использовать несколько HBA SAS и SATA разных поколений от разных производителей, а также объединять их в единое устройство с интегрированным на материнской плате HBA.

Какие порты есть у HBA

Интегрированные в материнскую плату HBA располагают стандартными портами SATA или SAS. В последнее время также появились модели с PCI-портами (8x PCI), которые поддерживают подключение накопителей вида M.2 и U.2. У HBA в виде отдельных устройств другие порты – счетверенные SAS 4х. Для внутренних подключений они поддерживают формат Mini SAS-HD SFF8643, для внешних – SFF-8644.

Предпочтительные диски

Актуальные модели HBA поддерживают все доступные сегодня типы накопителей – в частности, SAS/SATA и SSD/HDD. Также возможно подключение устройств вроде DVD-ROM и ленточных накопителей. При этом речь идет не только о передаче информации от дисков в операционную систему, но и о поддержке их максимальной емкости и производительности работы. В большей степени это справедливо для серверных HBA в виде отдельных устройств. Также к HBA можно подключать внешние стойки JBOD, EBOD, RBOВ и ленточные библиотеки. В двух последних случаях потребуется дополнительная поддержка функции Multi-LUN.

Требования к HBA

Главное требование – надежность. Если в случае с дисками ею можно управлять с помощью RAID, а то для HBA нужно поддерживать постоянно высоким. В линейке HBA 1100/1200 Microchip Adaptec производитель заявляет о времени наработки от 1,36 до 2,73 млн часов при условии соблюдения температурного режима, плюс дает трехлетнюю гарантию. Для большинства ЦОДов это отличные показатели надежности. Второе обязательное требование к HBA – это производительность. Для указанной выше линейки устройств она составляет 1 700 000 iops, что дает возможность работать с современными накопителями SAS/SATA SSD без каких-либо ограничений.

Функции HBA

Параметры работы можно выбрать в настройках, но их перечень зависит от способа реализации HBA. Вполне ожидаемо, что у интегрированных моделей настроек меньше всего – там можно разве что активировать поддержку NCQ. У серверных SAS HBA ситуация получше: здесь доступна поддержка режимов legacy- и uEFI-, вывод при загрузке основных параметров устройства, поддержка SMART, интеграция в систему управления, поддержка CLI и функции шифрования.

Перспективы HBA

HBA можно назвать недооцененной, но очень перспективной технологией, которая в будущем может оказать большое влияние на принципы работы с дисками в дата-центрах. Мы видим, как на смену SATA постепенно приходит NVMe и как растет рынок материнских плат с интегрированными HBA. В серверных HBA и RAID-контроллерах с их поддержкой на уровне отдельных устройств NVMe тоже фигурируют все чаще. Вероятно, что скоро мы придем к единому универсальному решению, когда будет возможна одновременная поддержка устройств типа NVMe, SAS и SATA.

Сегодня HBA можно использовать во всех серверных проектах, в ходе тестирования дисковых накопителей, смены прошивки, подготовки их к работе, измерения производительности. HBA незаменим там, где нужно организовать работу со всеми типами дисков одновременно или программными RAID-томами на их основе под разными операционными системами.

Источник

HBA-адаптеры и контроллеры

Чем важнее данные, тем надежнее должна быть система, которая работает с ними. И обеспечить такой подход способны решения на основе HBA. Хотите узнать об этой технологии больше? Тогда добро пожаловать в нашу статью.

Расшифровка HBA

Аббревиатура HBA расшифровывается как Host Bus Adapter — хост-адаптер для подключения информационных носителей (накопителей с разным типом интерфейса) к шине. Это и устройство, и контроллер одновременно. В нем реализованы особые стандарты работы дисковых накопителей по SATA/SAS/PCI. Если задействовать HBA в системе, все тома начнут определяться как отдельные блоки внутри ОС с подробным описанием в файле настройки консоли devmgmt.msc (для OS Windows, соответственно).

Типы HBA адаптеров

В индустрии HBA подразделяются на несколько вариантов:

Первый вариант наиболее интересен с точки зрения позиционирования. Начнем с того, что далеко не все подозревают о наличие HBA на своей плате, хотя технология достаточно распространена в серверном сегменте. Все необходимые настройки для портов легко выбрать в BIOS, или на уровне софта.

Подобные HBA в большинстве своем работают на базе привычной нам SATA-архитектуры, но при некоторых усилиях можно завести и NVMe.

К недостаткам отнесем малое количество поддерживаемых операционных систем. Зачастую это семейство Windows и Linux. К тому же большое число дисков подключить затруднительно — только в имеющиеся порты на плате.

Второй вариант базируется на отдельной схеме и работает либо по технологии SAS 12G (полный дуплекс), либо по SATA 3.0. Само собой, предусмотрена обратная совместимость с SAS 1/2/3 и с SATA 1/2/3. Сразу скажем, что наличие SATA здесь бесполезно, поскольку все адекватные администраторы работают по SAS 12G, что не только быстрее, но и безопаснее в техническом плане.

К материнской плате подобный SAS HBA-адаптер подключается через PCI-E 3.0/4.0 x8/x16 (зависит от мощности и необходимой пропускной способности), добавляя к общему ансамблю до 24 дополнительных портов. Но и это не предел, ведь существуют еще и SAS-экспандеры, которые еще сильнее расширяют поле деятельности. На выходе можно получить хоть 30, хоть 40 портов под SAS HBA.

Третий вариант тесно связан с RAID-контроллером. Если говорить в общем и целом, то практически все современные аппаратные RAID-контроллеры способны функционировать в качестве HBA. Все присоединенные к RAID по SAS-экспандеру дисковые носители видны через HBA-режим.

Чем в целом хорош HBA? Технология позволяет поместить в корпус несколько совершенно разных накопителей (скорость, емкость), объединив их в умный узел для хранения данных.

HBA-контроллеры

Что это такое и для чего надо? HBA-контроллер — одна из разновидностей дисковых контроллеров, которая позволяет операционной системе видеть все подключенные устройства по отдельности. При этом все диски способны работать, как единое огромное хранилище. Стоит добавить, что на базе HBA нельзя построить RAID-массив, только перебросить устройства в систему. Иными словам, если вы захотите подсоединить к ПК или серверу 24 диска через JBOD, ОС увидит сразу 24 тома.

В продаже есть HBA-контроллеры, работающие со следующими протоколами:

Предусмотрены и универсальные устройства с принципом работы Triple-mode. Такой подход крайне удобен для строительства сложных систем хранения, поскольку подключать можно что угодно и в любом количестве (до разумных пределов). Но давайте будем реалистами: действительно хорошо контроллер умеет работать лишь с одним протоколом передачи данных. Комбайны в серверных системах недопустимы, чтобы ничего не посыпалось в самый неподходящий момент.

ISCSI и Fiber Channel HBA адаптеры

Разные типы HBA-карт работают на различных протоколах, что вполне логично. Например, для FC HBA адаптеров в сервере предусмотрены коммутаторы Fibre Channel, а соединение производят через оптический патч-корд. Под HBA желательно иметь отдельный PCI-e на сервере, или СХД-контроллере.

Второй популярный вариант — HBA на базе iSCSI. Эта карта обладает собственным портом RJ-45, или оптическим портом. Удобная штука, поскольку можно использовать как сетевой кабель, так и оптический. К тому же, открывается возможность отправлять SCSI-пакеты на удаленные сервера внутри TCP/IP. Карты iSCSI HBA — частые гости в IP SAN.

Какие диски выбрать для HBA

Ранее мы уже говорили, под нужды HBA можно приспособить любой современный накопитель, будь то HDD или SSD на SATA/SAS/NVMe. Даже DVD-привод и ленту, вот только незачем.

Если говорить о действительно эффективных решениях, то к HBA возможно подключить практически любые внешние стойки типа RBOB/EBOD/JBOD. В первом варианте, правда, понадобится еще озаботиться внедрением Multi-LUN, но это не критично.

Требования к организации работы HBA

Чтобы ваша HBA-платформа была безотказной, требуется задуматься над ее надежностью. И это не RAID, где вылетевший накопитель можно быстренько заменить на свежий, скинуть на него слепок данных и продолжить работу. В HBA все серьезнее, поэтому для этих целей производители даже выпускают отдельные линейки дисков. Например, производитель Microchip Adaptec выпускает серии 1100/1200, для которых заявляет время наработки на отказ 1.36 и 2.73 млн часов соответственно. Но только при создании адекватного температурного режима и бережного использования.

Второе требование к HBA — стабильно высокая скорость. При грамотном внедрении качественных SSD на базе SAS пиковая пропускная способность может достигать 1.7 млн IOPS, а это отличный показатель для скоростного хранилища, из которого постоянно требуется что-то скачать.

Функционал HBA

Все критерии работы HBA выбираются в настройках. Количество режимов работы, как и перечень, полностью зависят от вариантов реализации системы. Например, у встроенных в МП контроллеров общее число режимов гораздо меньше, чем у интегрированных решений. Можно выставить NCQ (Navite Command Queuing — установка очередности команд для повышения быстродействия SATA), но не более.

У SAS HBA ситуация уже интереснее. Для таких доступны как UEFI, так и Legacy, а также вывод логов во время операций по загрузке, собственное SMART-тестирование, интегрирование в систему управления, шифрование данных и CLI.

Перспективность в развитии HBA

Как нам кажется, HBA-режим недооценен. Перспектив ведь масса. В дальнейшем технология способна громко заявить о себе, сильно изменив принцип взаимодействия с большим массивом дисков в дата-центрах. Примерную ситуацию сейчас можно наблюдать с SATA. Устаревший протокол медленно и уверенно выдавливают с помощью NVMe.

Все больше производителей внедряют впаянные HBA-схемы на основных платах для серверных и коммерческих решений. В серверных HBA и RAID-контроллерах, и на совместимом с ними оборудовании, уже имеется поддержка NVMe-накопителей.

Пока неизвестно, когда именно индустрия придет к унифицированному стандарту, но с каждым годом количество разномастных протоколов обмена нулями и единицами сокращается в пользу универсальных решений. Почему бы и не дать зеленый свет HBA, ведь уже сегодня технология без особых проблем переваривает совместное сотрудничество SATA, SAS и NVMe.

На сегодняшний день HBA с успехом используют в большинстве серверных задач:

Также HBA попросту незаменим, если необходимо организовать стабильную совместную работу разномастного парка накопителей, объединив все это в единый удобоваримый массив.

Из-под HBA можно даже программный RAID поднять по необходимости для локальных проектов, что также не может не радовать.

Хотите получить больше информации о HBA-адаптерах и контроллерах? В компании Маркет.Марвел вы получите исчерпывающую консультацию по всем устройствам перед тем, как интегрировать их в свой бизнес. Мы работаем для того, чтобы вы могли использовать только качественное и проверенное оборудование.

Источник

Читайте также:  Что значит скорпион в солнце
Сказочный портал