Common Data Model
Если приходится совместно использовать данные полученные из множества систем и приложений, то использование общих элементов данных позволит сократить прилагаемые усилия, упростить разработку, а также позволит ускорить анализ. Не имея возможности совместно использовать одни и те же данные, каждое приложение или проект интеграции данных требует собственной реализации, которая требует затрат времени, денег и усилий.
Common Data Model упрощает процесс по предоставлению общих данных для бизнеса и аналитических приложений. Система метаданных обеспечивает согласованность данных и их значений в приложениях и бизнес-процессах (например, PowerApps, Power BI, Dynamics 36 и Azure), которые хранят данные в соответствии с Common Data Model.
Дополнительно к системе метаданных, Common Data Model включает набор стандартизированных, расширяемых схем данных, которые Microsoft и ее партнеры опубликовывали. Эти коллекции предопределенных схем включают объекты, атрибуты, семантические метаданные и взаимосвязи.
CDM схема
Схемы представляют собой часто используемые понятия и действия, такие как Account и Campaign, чтобы упростить создание, сбор и анализ данных. Изображение ниже показывает некоторые элементы стандартных объектов.
Зачем использовать Common Data Model
Common Data Model (CDM) упрощает управление данными и разработку приложений объединяя данные в известные формы и применяя структурную и семантическую согласованность для нескольких приложений. Другими словами, если данные находятся в модели, то их можно использовать во многих приложениях. Дополнительно, интеграторы, которые получают данные из множества систем могут сфокусироваться на выгрузке данных в Common Data Model, вместо построения модели для каждого приложения.
Представим, что имеется дерево бизнес приложения, каждое из которых предназначено для склада, производства и продаж. Скорее всего каждое приложение будет разрабатываться независимо и с различной структурой, которая будет включать в себя сущность Account, возможно она будет схожая для каждого приложения. С помощью CDM можно было бы выстроить данные в стандартизованном формате и тогда каждое приложение могло бы использовать одни и те же данные как базовые. Конечно, каждое приложение может иметь собственные дополнительные данные и схемы, которые базируются на общей функциональности. А когда дело придет к разработке, то приложения и отчеты смогут получать элементы общей модели быстро и уверенно. А как насчет необходимости создания 4-го приложения? Данные уже готовы и находятся в схеме CDM, поэтому усилия по разработке могут быть сосредоточены именно на бизнес-логике, а не на болоте данных и их преобразованиях.
Common Data Model предлагает следующие преимущества:
Кто использует Common Data Model
Исторически сложилось так, что работа по созданию приложения была тесно связана с интеграцией данных, но с CDM и платформами, которые ее поддерживают, обе эти функции могут выполняться независимо друг от друга.
Где используются Common Data Model
Microsoft и ее партнеры используют CDM в своих собственных приложениях и строят дополнительные сервисы базирующиеся на схемах CDM.
Common Data Model
If you’ve ever had to bring data from multiple systems and applications together, you know what an expensive and time-consuming task that can be. Without being able to share and understand the same data easily, each application or data integration project requires a custom implementation.
Common Data Model simplifies this process by providing a shared data language for business and analytical applications to use. The Common Data Model metadata system makes it possible for data and its meaning to be shared across applications and business processes such as Microsoft PowerApps, Power BI, Dynamics 365, and Azure.
What’s in Common Data Model?
In addition to the metadata system, Common Data Model includes a set of standardized, extensible data schemas that Microsoft and its partners have published. This collection of predefined schemas includes entities, attributes, semantic metadata, and relationships. The schemas represent commonly used concepts and activities, such as Account and Campaign, to simplify the creation, aggregation, and analysis of data.
The graphic below shows some elements of the standard entities available within Common Data Model. More information: Common Data Model repository on GitHub.
Why use Common Data Model?
Imagine that you have three business apps—one each for materials, manufacturing, and sales. It’s likely that each app was created independently, with different structures to represent an entity, such as Account, in nearly (but not quite) the same way. If you’d used Common Data Model, you would have built your data in a standardized format (using the Common Data Model standard entities, attributes, and relationships) and then each app could use the same data. Of course, each app might have its own additional data and schemas, depending on its functionality. But when it comes to development, your apps and reports can pull common data elements quickly, cleanly, and with confidence.
And what if you need to create a fourth app? Your data will be ready in Common Data Model schema, so your development efforts can concentrate on business logic rather than data quagmires and sticky transformations.
Historically, the work to build an app has been tightly tied with data integration, but with Common Data Model and the platforms that support it, the two can happen independently:
App makers and/or developers: Whether these users leverage code-based platforms or a low-code/no-code platform such as Power Apps or Power BI, they need to store and manage data for their apps.
Data integrators: These users are responsible for bringing data from a variety of systems to make it accessible for apps to use.
Common Data Model simplifies data management and app development by unifying data into a known form and applying structural and semantic consistency across multiple apps and deployments. To summarize the benefits:
Structural and semantic consistency across applications and deployments.
Simplified integration and disambiguation of data that’s collected from processes, digital interactions, product telemetry, people interactions, and so on.
A unified shape, where data integrations can combine existing enterprise data with other sources and use that data holistically to develop apps or derive insights.
The ability to extend the schema and Common Data Model standard entities to tailor the model to your organization.
Common Data Model in action
Common Data Model is influenced by data schemas that are present in Dynamics 365, covering a range of business areas. If you are a customer or a partner using Dynamics 365, you are already using Common Data Model.
Thousands of independent software vendors (ISVs) and their partners use Common Data Model for their own solutions, and are building services and offerings based on Common Data Model schemas.
Organizations from industries such as healthcare are working closely with Microsoft to extend Common Data Model to their specific business concepts—for example, Budget and Currency—through industry accelerators. This extends the benefit of the Common Data Model standard entities to these verticals so that industry solutions can interoperate more easily.
Получите больше пользы от своих данных с помощью Common Data Model
Оперативно решайте проблемы. Внедряйте инновации быстрее. Единая модель данных позволяет быстрее обмениваться данными и их значением между приложениями и бизнес-процессами.
Повысьте гибкость благодаря общему пониманию своих данных
Добавьте возможности аналитики к своим данным
Возьмите за привычку основывать решения на аналитике данных организации. Обогащайте сырую информацию и превращайте ее в данные, которые затем смогут использовать приложения, алгоритмы машинного обучения и ИИ, чтобы предоставлять доступную, понятную и практически применимую аналитику.
Устраните барьеры для подключения нескольких приложений
Легко и быстро получайте ценную аналитику, одновременно повышая гибкость и поддерживая соответствие нормативным требованиям. Используйте расширенные отраслевые определения метаданных для максимально тесного взаимодействия между бизнес-приложениями и решениями, а также для устранения барьеров между командами и отделами.
Оптимизируйте производительность и экономьте
Устраните рассогласования между командами и отделами, предоставляя данные и их определения с помощью Common Data Model. Используйте согласованные и осмысленные определения данных, чтобы экономить время, снижать затраты и повышать производительность в разных сферах деятельности организации.
Создавайте интеллектуальные современные приложения
Обдуманно принимайте решения по всей организации. Используйте Common Data Model, чтобы разрабатывать современные решения, приложения и аналитику с общим пониманием ваших бизнес-данных. Расширяйте аналитику с помощью стандартной схемы, позволяющей быстро объединять данные.
About Common Data Model
Common Data Model is built upon a rich and extensible metadata definition system that enables you to describe and share your own semantically enhanced data types and structured tags, capturing valuable business insight which can be integrated and enriched with heterogeneous data to deliver actionable intelligence.
With Common Data Model, you can structure your data to represent concepts and activities that are commonly used and well understood. You can query and analyze that data, reuse it, and interoperate with other businesses and apps that use the same format. Common data model can be used to define thousands of entities such as Customer, Product, Opportunity, Sale, Purchase Order, etc. as well as identifying data for regulatory and compliance purposes. Discover and explore up-to-date Common Data Model Entity Reference
Learn more about Common Data Model definable objects.
Microsoft provided Common Data Model reference entities are categorized into subject areas for easy discoverability and published to public GitHub repo with supporting documentation. These entities have matured over tens of years with thousands of hours of investment from within Microsoft as well as the partner eco-system.
As opposed to building a new data model for your app, you can simply re-use the entity definitions available to you. Common Data Model can be used by various applications and services including Microsoft Dataverse, Dynamics 365, Microsoft Power Platform, and Azure ensuring that all of your services can access the same data. Common Data Model is already available to many customers a great example of how Common Data Model can be leveraged is with the data-preparation capabilities in Power BI dataflows that creates data files which follow the Common Data Model definition, which is stored in Azure Data Lake. The Common Data Model definitions are open and available to any service or application that wants to use them.
Data described using Common Data Model can be used with Azure services to build scalable analytical solutions as well as being a source of semantically rich data for applications driving actionable insights like Dynamics 365 Customer Insights. that reason over data using machine-readable semantic metadata. Common Data Model is used to define entities for Dynamics 365 applications in Sales, Finance, Supply Chain and Commerce can be readily available in Azure Data Lake.
Microsoft continues to extend the Common Data Model in collaboration with many partners and subject-matter experts so that more industries, building Industry Accelerators such as Automotive, Banking, Healthcare, Higher Education, Not for profit can benefit from the Common Data Model and the platforms that support it.
Let’s explore some of the scenarios in detail
Jump-start app development with Power Apps and Dataverse
Export data from Dataverse into Azure Data Lake.
Export data from Dynamics 365 Finance and Operations into Azure Data Lake
Perform quick data integration using Power Query Online.
Ingest data from other systems into Azure Data Lake using Power BI dataflows.
Optimize data exchange in the Azure Data Lake.
Jump-start Dataverse app development
By using Dataverse, you can jump-start app development by using the Common Data Model with business logic, security, and integration already built- in. The platform provides these benefits:
Leverage packaged business applications: Many Microsoft Dynamics 365 solutions and third-party apps are built on top of (or at least leverage) Dataverse. When your data is structured according to the Common Data Model, you can take advantage of those packaged applications.
Gain access to customized solutions: Developers who understand and work with data in the Common Data Model format have created an ecosystem of extensions and complete apps.
Whatever your intent, using the Common Data Model structures your data in a common format so that you can use, share, and analyze it more easily.
Формат общей модели данных в фабрике данных Azure и синапсе Analytics
ОБЛАСТЬ ПРИМЕНЕНИЯ: 
Фабрика данных Azure Azure Synapse Analytics
Система метаданных Common Data Model (CDM) позволяет легко совместно использовать данные и их значения между разными приложениями и бизнес-процессами. Дополнительные сведения см. в обзоре Common Data Model.
В фабриках данных Azure и конвейерах синапсе пользователи могут преобразовывать данные из сущностей CDM в формате Model. JSON и в форме манифеста, хранящейся в Azure Data Lake Store Gen2 (ADLS 2-го поколения) с помощью сопоставления потоков данных. Вы также можете передавать данные в формате CDM с помощью ссылок на сущности CDM, которые будут использовать данные в формате CSV или Parquet в секционированных папках.
Свойства потока данных для сопоставления
Сущность Common Data Model доступна как встроенный набор данных в потоке данных для сопоставления в качестве источника и приемника.
При записи сущностей CDM необходимо иметь определение сущности CDM (схема метаданных), которое уже используется в качестве ссылки. Приемник потока данных будет считывать этот файл сущности CDM и импортировать схему в приемник для сопоставления полей.
Свойства источника
В приведенной ниже таблице указаны свойства, поддерживаемые источником CDM. Изменить эти свойства можно на вкладке Source options (Параметры источника).
| Имя | Описание | Обязательно | Допустимые значения | Свойство скрипта для потока данных |
|---|---|---|---|---|
| Формат | Формат должен быть cdm | Да | cdm | format |
| Формат метаданных | Где находится ссылка сущности на данные. Если используется CDM версии 1.0, выберите манифест. Если используется CDM до версии 1.0, выберите model.json. | Да | ‘manifest’ либо ‘model’ | manifestType |
| Корневое расположение: контейнер | Имя контейнера папки CDM | да | Строка | fileSystem |
| Корневое расположение: путь к папке | Расположение корневой папки CDM | да | Строка | folderPath |
| Файл манифеста: путь сущности | Путь к папке сущности в корневой папке | Нет | Строка | entityPath |
| Файл манифеста: имя манифеста | Имя файла манифеста. Значение по умолчанию — default | нет | Строка | manifestName |
| Фильтр по последнему изменению | Задает фильтр для файлов по времени последнего изменения | Нет | Отметка времени | modifiedAfter modifiedBefore |
| Схема связанной службы | Связанная служба, в которой находится совокупность | Да, при использовании манифеста | ‘adlsgen2’ либо ‘github’ | corpusStore |
| Контейнер ссылки на сущность | Контейнер совокупности находится в | Да, при использовании манифеста и совокупности в ADLS 2-го поколения | Строка | adlsgen2_fileSystem |
| Репозиторий ссылок на сущности | Имя репозитория GitHub | Да, при использовании манифеста и совокупности в GitHub | Строка | github_repository |
| Ветвь ссылки на сущность | Ветвь репозитория GitHub | Да, при использовании манифеста и совокупности в GitHub | Строка | github_branch |
| Папка совокупности | Корневое расположение совокупности | Да, при использовании манифеста | Строка | corpusPath |
| Сущность совокупности | Путь к ссылке на сущность | да | Строка | сущность |
| Разрешить ненайденные файлы | Когда задано значение true, ошибка не возникает, если файлы не найдены | Нет | true либо false | ignoreNoFilesFound |
При выборе «ссылка на сущность» в преобразованиях источника и приемника можно выбрать следующие три параметра расположения ссылки на сущность:
Параметры приемника
Импорт схемы
Формат CDM доступен только в качестве встроенного набора данных и по умолчанию не имеет связанной схемы. Чтобы получить метаданные столбца, нажмите кнопку Импорт схемы на вкладке Проекция. Это позволит сослаться на имена столбцов и типы данных, заданные совокупностью. Чтобы импортировать схему, сеанс отладки потока данных должен быть активным и иметь использующийся файл определения сущности CDM, на который можно указывать.
Если необходимо сопоставить столбцы потока данных со свойствами сущности в преобразовании приемника, перейдите на вкладку «Сопоставление» и выберите «Импорт схемы». Служба будет считывать ссылку на сущность, на которую вы указали в параметрах приемника, что позволяет сопоставлять целевую схему CDM.
При использовании типа источника model.json, который происходит из потоков данных Power BI или Power Platform, во время его преобразования может возникнуть ошибка «corpus path is null or empty» (путь совокупности имеет значение NULL или является пустым). Скорее всего, это связано с проблемами форматирования пути к расположению секции в файле model.json. Чтобы устранить это, выполните указанные ниже действия.
Пример скрипта потока исходных данных CDM
Свойства приемника
В приведенной ниже таблице указаны свойства, поддерживаемые приемником CDM. Изменить эти свойства можно на вкладке Параметры.
Пример скрипта потока данных приемника CDM
Связанный скрипта потока данных:
Дальнейшие действия
Создайте преобразование источника в потоке данных для сопоставления.
