ibm iib что это

IBM Integration Bus и с чем его едят

Добрый день, уважаемый читатель.

Существует такой класс продуктов как ESB. Как упоминается в Википедии это — связующее программное обеспечение, обеспечивающее централизованный и унифицированный событийно-ориентированный обмен сообщениями между… и далее по тексту. Примеров таких ESB не так много и применяются они достаточно узко. Одним из таких ESB является IBM Integration Bus (IIB), до 9 версии именовался IBM Message Broker.

Несколько лет назад я столкнулся с таким продуктом как IIB. Пытаясь понять, что это за зверь, я обнаружил, что упоминаний о нём в русскоязычном интернете крайне мало. Данный пост позволит представить эту самую интеграционную шину во всей красе и помочь таким же ищущим как я.

В России данных продукт применяется достаточно ограниченно в банковской, страховой и логистической сфере. Именно там, где большой документооборот и высокие требования к надёжности. Также недавно большой газовый проект искал специалистов по IIB. Как там применяется шина я до конца не знаю, но возможно для телеметрии (MQTT).

Суть данного программного обеспечения связать N систем между собой, даже если эти системы имеют абсолютно разные интерфейсы и форматы. Скажем система X создаёт в своей БД запись в таблице и при её появлении мы хотим вызывать REST API другого приложения с JSON внутри, где будут передаваться поля нашей записи, и проставлять метку об отправке в другой таблице приложения X. И это всё с поддержкой транзакционности и гарантированной доставкой. (Когда одно приложение лезет в базу другого это плохо, но такое бывает!) Вот так выглядит типичная задача для потока IIB.

На чём ведётся разработка в IIB

Одной из самых удобных вещей в IIB это графическое программирование. Когда в среде Eclipse на поле вытягиваешь с палитры ноды, соединяешь их между собой и вжух, всё работает.

Но писать код обычно тоже нужно. Для трансформации сообщений или логики основной язык это ESQL (Extend SQL). Синтаксически похож на PL/SQL, но заточен для работы с древовидными структурами данных.

Также есть поддержка нескольких языков программирования:

Очень наглядно, в отличии от того, если делаешь это в коде.

Выше я затронул вопрос трансформации сообщений, но до этого сообщение нужно получить. Для этого на политре есть достаточно большое количество Input узлов. Самые распространённые в моей практике это:

До последних версий IIB был неразрывно связан с IBM MQ, но в последнич версиях IIB это уже не требуется. Но часть функционала без MQ работать не будет, поэтому основная схема работы предполагает установку MQ.

Так как это первый пост, я его сделал ознакомительным. Если будет интерес к теме, я продолжу повествование.

Источник

IBM Integration Bus и с чем его едят

Добрый день, уважаемый читатель.

На чём ведётся разработка в IIB

Также есть поддержка нескольких языков программирования:

Очень наглядно, в отличии от того, если делаешь это в коде.

До последних версий IIB был неразрывно связан с IBM MQ, но в последней версии IIB (IBM App Connect Enterprise 11) это уже не требуется.

Так как это первый пост, я его сделал ознакомительным. Если будет интерес к теме, я продолжу повествование.

Источник

IBM ACE прямо из коробки совместим с несколькими платформами виртуализации, и Docker является ярким примером этого. С помощью ACE вы можете загрузить из глобального репозитория Docker среду выполнения IBM ACE и запустить ее локально. Поскольку административная консоль ACE встроена прямо в среду выполнения, после того, как образ Docker станет активным на вашем локальном компьютере, вы можете выполнять все команды настройки и администрирования, необходимые для полной активации любого потока сообщений или развертывания любого файла BAR. Фактически, вы можете создавать потоки сообщений, которые являются микросервисами, и напрямую упаковывать эти микросервисы в развертываемый объект Docker. Поскольку потоки сообщений и файлы BAR могут содержать файлы политик, эта конфигурация узла может быть автоматической, и для завершения развертывания приложения не требуется вмешательства человека.

Содержание

Характеристики

IBM представляет следующие особенности как ключевые отличия продукта IBM ACE по сравнению с другими отраслевыми продуктами, которые предоставляют услуги Enterprise Service Bus:

IBM поставляет программное обеспечение IIB либо в виде традиционного программного обеспечения, устанавливаемого в вашем локальном офисе, либо в локальной среде IBM Cloud Private, либо в управляемой IBM облачной среде. Шина интеграции в облачной среде сокращает капитальные затраты, повышает доступность приложений и оборудования и перекладывает навыки управления средой шины интеграции на облачных инженеров IBM. Это дает конечным пользователям возможность сосредоточиться на разработке решений, а не на установке, настройке и управлении программным обеспечением IIB. Предложение предназначено для совместимости с локальным продуктом. В рамках ограничений облачной среды пользователи могут использовать одни и те же инструменты разработки как для облачного, так и для локального программного обеспечения, и созданные активы могут быть развернуты в любом из них.

История

Продукт был добавлен к семейству WebSphere и переименован в «WebSphere MQ Integrator» в версии 2.1. После 2.1 номера версий стали более синхронизированными с остальной частью семейства WebSphere и перешли на версию 5.0. Имя изменено на «Посредник сообщений WebSphere Business Integration Message» (WBIMB). В этой версии среда разработки была переработана с использованием Eclipse, а поддержка веб-служб была интегрирована в продукт. Начиная с версии 6.0 этот продукт известен как «WebSphere Message Broker». Версия 7.0 WebSphere Message Broker была анонсирована в октябре 2009 г., а версия 8.0 WebSphere Message Broker анонсирована в октябре 2011 г.

В апреле 2013 года IBM объявила, что продукт WebSphere Message Broker подвергается очередному ребрендингу с изменением названия. IBM Integration Bus версии 9 включает новые узлы, такие как узел Decision Service, который обеспечивает маршрутизацию на основе содержимого на основе механизма правил и требует продукта IBM WebSphere Operational Decision Management. Продукт IBM WebSphere Enterprise Service Bus был прекращен с выпуском IBM Integration Bus, и IBM предлагает переходные лицензии для перехода на IBM Integration Bus. Лицензия WebSphere Message Broker Transfer для WebSphere Enterprise Service Bus позволяет клиентам обменивать некоторые или все свои лицензионные права на WebSphere Enterprise Service Bus на лицензионные права WebSphere Message Broker. После передачи лицензии право на использование WebSphere Enterprise Service Bus будет сокращено или прекращено. Это отражает отказ от лицензионных прав на WebSphere Enterprise Service Bus во время обмена. IBM объявила на Impact 2013, что срок службы WESB истечет через пять лет, и дальнейшая разработка функций продукта WESB производиться не будет.

Составные части

IBM Integration Bus состоит из следующих компонентов:

Как работает IBM Integration Bus

IBM Integration Bus включает в себя набор инструментов мониторинга производительности, который визуально отображает текущую пропускную способность сервера, показывая различные метрики, такие как прошедшее время и время ЦП, таким образом, чтобы сразу привлечь внимание к узким местам производительности и резким скачкам спроса. Вы можете детализировать подробные сведения, такие как ставки для отдельных соединителей, а инструменты позволяют соотносить информацию о производительности с изменениями конфигурации, чтобы вы могли быстро определить влияние конкретных изменений конфигурации на производительность.

В версии 7 и ранее основным способом моделирования и анализа общих текстовых и двоичных сообщений был контейнер, называемый набором сообщений и связанным с ним парсером «MRM». Начиная с версии 8 такие сообщения моделируются и анализируются с использованием новой открытой технологии, называемой DFDL, от Open Grid Forum. Это стратегическая технология IBM для моделирования и анализа общих текстовых и двоичных данных. Парсер MRM и наборы сообщений остаются полностью поддерживаемой частью продукта; Чтобы использовать наборы сообщений, разработчик должен включить их, поскольку они отключены по умолчанию, чтобы стимулировать внедрение технологии DFDL.

IBM Integration Bus поддерживает формирование трафика на основе политик, что обеспечивает большую прозрачность для системных администраторов и оперативный контроль над рабочей нагрузкой. Формирование трафика позволяет системным администраторам удовлетворять потребности, когда количество новых конечных точек (таких как мобильные и облачные приложения) экспоненциально увеличивается, регулируя доступные системные ресурсы для удовлетворения этого нового спроса, задерживая или перенаправляя трафик, чтобы справиться с пиками нагрузки. Мониторинг трафика позволяет отправлять уведомления системным администраторам и другим заинтересованным сторонам бизнеса, что повышает осведомленность бизнеса и позволяет обнаруживать тенденции.

Обзор

Разработчик создает потоки сообщений в циклическом рабочем процессе, возможно, более гибком, чем при разработке большинства других программ. Разработчики создадут поток сообщений, сгенерируют BAR-файл, развернут поток сообщений, содержащийся в BAR-файле, протестируют поток сообщений и, при необходимости, повторите для достижения надежной функциональности.

Положение на рынке

Ожидаемая производительность

IBM публикует отчеты о производительности для WebSphere Message Broker, в которых приводятся примерные показатели пропускной способности. Производительность зависит от размеров сообщений, объемов сообщений, сложности обработки (например, сложности преобразования сообщений), емкости системы (ЦП, память, сеть и т. Д.), Версии программного обеспечения и уровней исправлений, настроек конфигурации и других факторов. Некоторые опубликованные тесты демонстрируют, что скорость передачи сообщений превышает 10 000 в секунду в определенных конфигурациях.

Доступны узлы потока сообщений

Разработчик может выбрать из многих предварительно разработанный поток сообщений «узлов», которые используются для создания потока сообщений. Узлы имеют разное назначение. Некоторые узлы отображают данные из одного формата в другой (например, Cobol Copybook в канонический XML). Другие узлы оценивают содержимое данных и по-разному направляют поток в зависимости от определенных критериев.

Типы узлов потока сообщений

Существует много типов узлов, которые можно использовать при разработке потоков сообщений; доступны следующие варианты технологии преобразования узлов:

Локализация

IBM Integration Bus в распределенных системах была локализована для следующих культур:

Узоры

Версия 7 представила шаблоны, которые:

Источник

IBM Integration Bus FAQ for Databases

Question & Answer

Question

The following is a list of answers to frequently asked questions (FAQ) about Database in IBM Integration Bus (IIB) for new and experienced users.

Answer

1. What database versions are supported by IIB?

The following page lists the complete system requirements for IIB

The Prerequisites tab provides information on the database version support

The JDBC drivers supported by IIB can be found here.

The Prerequisites tab provides information on the JDBC driver versions supported

IIB provides DataDirect wire protocol drivers for ODBC connectivity for all supported databases except DB2 and Informix. For DB2 and Informix, database client is required to be installed on the IIB machine. For all the other supported databases, IIB does not require a database client installation on the IIB machine to connect to remote database.

IIB supports ODBC and JDBC connectivity with database. The following pages provide detailed steps required for configuring IIB connectivity with application databases using ODBC and JDBC.

5. How do I configure IIB for global co-ordination (XA) for my database?

6. Is there a way to configure connection pooling for database connections made by IIB?

Connection pooling for JDBC connections to databases can be configured in the JDBC configurable service using parameter ‘maxConnectionPoolSize’
ODBC connections to databases are managed internally by each IIB Int.Server, and therefore no configurable connection pooling options are provided.

7. Where can I download database drivers? Can I download drivers from DataDirect and use them?

Database drivers downloaded directly from DataDirect or other sources are not supported with IIB.

JDBC drivers are provided by the respective databases.

You can use a graphical map in IIB message flows to update/modify application databases using JDBC. It involves creating/using database definition files in the IIB Toolkit and using them to select or update the databases. The following links describe using the maps in IIB flows to update/modify the databases:

When a database call is made from within a message flow node, the flow constructs the appropriate SQL, which is sent using ODBC to the database manager. As part of this process, the SQL statement is prepared using the SQLPrepare function, and a statement handle is acquired so that the SQL statement can be executed.

For performance reasons, after the statement is prepared, the statement and handle are saved in a cache to reduce the number of calls to the SQLPrepare function. If the statement is already in the cache, the statement handle is returned so that it can be re-executed with newly bound parameters. The statement string is used to perform the cache look up. By using hardcoded SQL strings that differ slightly for each message, the statement is not found in the cache, and an SQLPrepare function is always performed (and a new ODBC cursor is opened).

When using PASSTHRU statements, use parameter markers so that the same SQL prepared statement can be used for each message processed, with the parameters being bound at run time. This approach is more efficient in terms of database resources and, for statements that are executed repeatedly, it is faster. However, it is not always possible to use parameter markers, or you might want to dynamically build the SQL statement strings at run time. This situation potentially leads to many unique SQL statements being cached. The cache itself does not grow that large, because these statements themselves are generally not big, but many small memory allocations can lead to memory fragmentation.

If you encounter these types of situations, disable the caching of prepared statements by setting the MQSI_EMPTY_DB_CACHE environment variable in the IIB start up environment to an arbitrary value. When this environment variable is set, the prepared statements are emptied at the end of processing for each message. This might cause a slight performance degradation because every SQL statement is prepared.

12. Are there any database configuration additional steps required for IIB migration?

From WebSphere Message Broker V7 onwards there is no database pre-requisite. IBM Integration Bus does not require a database for any internal function.

13. What database credential did I configure for database access?

The username(s) configured to access a datasource can be found in the following file:

The password is in file Password.dat in the same directory, however it is encrypted so it is not possible to find out what password you configured.

14. How can I view JDBC provider configurable service properties?

The following command display’s all configured JDBC provider properties:

15. Is there a way to validate ODBC configuration?

IIB provides a command mqsicvp which can be used to test and validate ODBC configuration.

Following is the command usage:

16. Does IIB report database SQL exceptions if an error occurs?

Yes. IIB reports database exceptions in the log when encountering database related errors, unless the message flow is designed to handle them. These messages are generated by IIB and will show the database SQL exceptions.

IIB reports SQL exceptions in messages BIP2322E and BIP2393E. These error messages include inserts which show the SQL exception received from database during processing. The database error insert helps identify the reason for the error.

17. Is there a database connection idle time? Can this be tuned?

18. Is IE02 SupportPac required for IIB to communicate with the databases?

IE02 is installed as a part of the IIB V9 and V10 installations.

From WMB V8 onwards, IE02 is required for an Execution Group (IIB Int.Server) to establish ODBC connectivity with all the supported databases. IE02 is installed when WMB V8 (or IIB) is installed.

For WMB V7, the SupportPac IE02 is required only for ODBC connectivity with Solid DB.
In WMB V7, IE02 has to be downloaded from the SupportPac link:http://www.ibm.com/support/docview.wss?uid=swg27007197#2

19. How do I capture ODBC / JDBC traces in IIB?

For JDBC trace instructions, please contact the appropriate database provider.

20. Are there any additional references that may help me with IIB connectivity with the application databases?

The following WSTE presentation gives the list of top ten known questions/problems
http://www.ibm.com/support/docview.wss?uid=swg27036313

Product Synonym

WMB MB WebSphere Message Broker IBM Integration Bus IIB IBMIB MQ Integrator WBIMB WBI-MB MQSI WMQI

Источник

Установка и базовая настройка IBM Integration Bus V9

В этой статье мы подробно рассмотрим процесс установки и базовой настройки IBM Integration Bus V9.0.0.2 на ОС Red Hat Enterprise Linux.

Базовая настройка будет включать:

Установка IIB V9

Для установки IIB V9.0.0.2 нам потребуются дистрибутив IIB V9.0.0.0 и fix pack 9.0.0.2. Fix pack для IIB – это, по сути, самостоятельный дистрибутив IIB, включающий все необходимое и не требующий предварительной установки базовой версии 9.0.0.0. Однако, из дистрибутива базовой версии нам будут нужны файлы лицензии, но об этом позже.

Все действия производим из-под пользователя root. Сначала создаем группу mqbrkrs и пользователя mqm из-под которого будет работать IIB:

Создаем директорию для размещения дистрибутивов, например:

Копируем в эту директорию дистрибутив IIB V9.0.0.0 и распаковываем его:

Создаем директорию для размещения дистрибутива fix pack 9.0.0.2, копируем его и распаковываем:

Копируем лицензию из дистрибутива базовой версии 9.0.0.0 в дистрибутив FP02:

Запускаем инсталлятор IIB V9.0.0.2 в консольном режиме и следуем его шагам:

После успешной установки IIB, запускаем инсталлятор IBM Integration Bus ODBC Database Extender в консольном режиме и следуем его шагам:

Если при установке появилась ошибка:

То необходимо установить недостающий пакет:

yum install glibc.i686

Если при запуске инсталлятора появилась ошибка:

То необходимо установить:

yum install libgcc.x86_64
yum install libgcc.i686

Опционально устанавливаем IBExplorer:

При запуске IBExplorer может возникнуть ошибка с libgcc_s.so.1, тогда выполняем команду:

После установки всех компонент изменяем владельца и группу на установленных файлах:

Из под пользователя mqm, “закрепляем” профайл IIB:

Профайл, т.е. запуск mqsiprofile, определяет настройки среды исполнения IIB.

P.S.: Для удаления IIB и его компонентов запустите uninstaller:

На этом установка IIB V.9.0.0.2 завершена. Мы установили среду исполнения IIB, инструмент управления, имеющий графический интерфейс – IBExplorer и ODBC Database Extender для подключения к БД. Теперь перейдем к настройке IIB.

Базовая настройка IBM Integration Bus

1. Создание узла интеграции

Необходимым условием для создания узла интеграции версии 9.0.0.2 является наличие менеджера очередей WebSphere MQ. Создадим узел интеграции MYIIB9:

В нашем примере будет создан узел интеграции MYIIB9 с параметрами:

-q queueManagerName

Имя менеджера очередей. Обязательный параметр. Необходим для связывания создаваемого узла интеграции с существующем менеджером очередей.

-g configurationChangeTimeout

Максимальное время (в секундах, от 10 до 3600), отведенное на выполнение запроса пользователя для изменения конфигурации узла интеграции. Опциональный параметр. Значение по умолчанию: 300 секунд.

-k internalConfigurationTimeout

Максимальное время (в секундах, от 10 до 3600), отведенное на выполнение внутреннего запроса по изменению конфигурации сервера интеграции. Например, это время за которое узел интеграции должен успеть запустить сервер интеграции после получения соответствующей команды. Опциональный параметр. Значение по умолчанию: 60 секунд. Относится ко всем серверам интеграции узла.

Статус административной защиты узла интеграции. Возможные значения: active/inactive. Опциональный параметр.

Подробную информацию о создании узла интеграции с помощью команды можно получить в соответствующем разделе IBM Integration Bus Knowledge Center.

Изменяем функциональный уровень IIB

Активация новых возможностей fix pack 9.0.0.2:

2. Создание сервера интеграции

Для создания сервера интеграции следует воспользоваться командой mqsicreateexecutiongroup:

Хорошая практика в названии сервера интеграции использовать номер внутреннего http порта, который будет присвоен этому серверу. Для того, что бы вывести список всех серверов интеграции узла и их соответствующие состояния, необходимо воспользоваться командой mqsilist:

3. Настройка параметров сервера интеграции

Переключение HTTPInput и HTTPReply nodes с листнера узла интеграции на встроенные листнеры серверов интеграции (Switching from a broker-wide listener to embedded listeners):

Устанавливаем http-порт для сервера интеграции:

Изменяем размер хипа JVM сервера интеграции (min 256 Mb/max 512 Mb):

После выполненных настроек требуется перезапустить сервер интеграции.

4. Вывод системного лога узла интеграции в отдельный файл

Системный лог узла интеграции, Administration Log, по умолчанию формируется в /var/log/messages.
Для того, что бы вывести системный лог узла интеграции в отдельный файл необходимо отредактировать /etc/rsyslog.conf.

В секции #### RULES #### добавить user.none:

Таким образом мы настроим вывод всех записей содержащих слово “IBM” в журнал /var/log/mqsi/.system/broker.myiib9.log.

Теперь настроим ротацию лога по размеру 20 Мб. Для этого в /etc/logrotate.d создаем файл iib со следующим содержанием:

Создаем пустой лог файл IIB и изменяем его владельца:

После всех настроек необходимо перезапустить rsyslog командой:

service rsyslog restart

Теперь в директории /var/log/mqsi/.system/ будет формироваться системный лог узла интеграции broker.myiib9.log, с ротацией и архивацией журнала по достижении 20 Мб, а так же глубиной хранения 10 архивных файлов.

5. Настройка ODBC подключения к БД Oracle

IBM Integration Bus ODBC Database Extender по умолчанию устанавливается в директорию /opt/ibm/IE02/2.0.1

После его установки необходимо перезапустить Integration Bus:

mqsistop MYIIB9
mqsistart MYIIB9

Затем перейти в каталог:

И скопировать файлы odbc.ini и odbcinst.ini в каталог /var/mqsi/odbc.

Установить права на файлы:

Затем отредактировать bash_profile пользователя mqm, который расположен в директории /var/mqm. В конец файла .bash_profile (или .bashrc) добавляем строки (перед строкой “. /opt/ibm/mqsi/9.0.0.2/bin/mqsiprofile“):

После чего перезапускаем систему, выполнив команду reboot.

После перезагрузки системы редактируем файл /var/mqsi/odbc/odbc.ini. Находим описание подключения к БД Oracle, раздел ORACLEDB:

Копируем или редактируем этот раздел для создания нового источника данных, например:

В самом низу файла, в секции “Mandatory information stanza” прописываем путь к драйверам в параметре InstallDir:

Сохраняем и закрываем файл.

Для многопоточного доступа к БД в файле odbcinst.ini следует добавить параметр Threading=2.

Командой mqsisetdbparms устанавливаем имя пользователя и пароль для подключения к базе:

После этого необходимо перезапустить сервер интеграции, иначе в логах могут быть ошибки:

Проверить соединение c БД можно с помощью команды mqsicvp. Для проверки всех DataSources узла интеграции:

mqsicvp MYIIB9

Для конкретного источника данных, например TEST.DS:

Настройка подключения к базе данных завершена.

6. Настройка доступа в IIB Web User Interface: role-based security

Ранее мы создали узел интеграции MYIIB9 с выключенной административной защитой. Это означает, что любой пользователь используя веб-браузер может зайти в административный интерфейс узла интеграции (Web User Interface) и выполнять любые действия по изменению конфигурации.

Допустим, нам необходимо ограничить доступ к веб-интерфейсу администрирования IIB для всех пользователей, кроме администраторов.

Для этого в системе создадим специального пользователя-администратора для WebUI, назовем его, например, webadmin:

Затем создадим этого пользователя в IIB (-r – роль/пользователь в системе, -a – пароль):

Останавливаем узел интеграции:

Запускаем узел интеграции:

Теперь доступ в WebUI защищен, а при попытке входа будет отображаться форма для ввода логина/пароля:

Подробнее о настройке доступа в WebUI можно ознакомиться в статье на DeveloperWorks:

На этом мы закончим рассматривать вопросы установки и базовой настройки продукта IBM Integration Bus V9.

3 комментария на “ Установка и базовая настройка IBM Integration Bus V9 ”

После прописывания пароля для датасорса, надо рестартать только ту/те eg которые его используют, весь брокер можно не грузить.

Так же не понял зачем всю железку грузить

Спасибо за добрые слова и комментарий!
В статье изменение параметров сервера интеграции дано для ознакомления, в качестве примера, и не является рекомендацией по тюнингу.

Значение ‘-1′ параметров jvmMinHeapSize и jvmMaxHeapSize, означает, что будет использоваться heap size по умолчанию, который равен 32 MB и 256 MB соответственно.
При активной работе у EG часто растет потребление памяти, но это не обязательно связано с утечками памяти и размером JVM, а вызвано конструктивными особенностями продукта.
Подробности тут:
http://www-01.ibm.com/support/docview.wss?uid=swg21106136

Причин для увеличения размера хипа может быть несколько. Например, рекомендуется увеличить хип при увеличении во флоу числа Node, написанных на java. При увеличении числа http тредов так же рекомендуется увеличить хип.

По поводу “После прописывания пароля для датасорса, надо рестартать только ту/те eg которые его используют, весь брокер можно не грузить.” – в статье не написано, что нужно перезапускать весь брокер.
Указано, что нужно перезапустить именно сервер интеграции (EG), а не узел инетграции (broker), цитата:
“После этого необходимо перезапустить сервер интеграции, иначе…”.

Источник