论主数据管理及实现
在企业信息化建设过程中,对于多个业务系统中共有的信息,如:基础代码指标,供应商信息,客户信息等等,难免存在数据不一致,标准不统一等问题,造成系统之间不能共享信息,重复建设等问题,大大增加企业成本。信息作为重要的战略资产,需要在各个系统中共享。主数据管理(Master Data Management,MDM)是实现信息共享的一种解决方案,提供一套方法、流程和技术,确保企业(政府)内数据的准确性、完整性、及时性和一致性。Master Data Management(MDM)采用SOA架构。MDM能够集成分散在现有业务系统中的业务数据,形成统一的共享主数据源,为业务应用提供一致主数据服务。此外MDM还能为政府行业建设基础代码体系,提供标准一致的行业基础代码。
2、主数据管理特性
主数据管理是对行业代码提供统一的管理,并为解决原有业务系统的共享数据提供了有效的管理。在数据的集成与使用、安全保障和快速定制方面提供强大的能力。
在数据的集成与使用方面:支持多种源系统类型和数据格式,提供多种调用协议:MQ和Web
Service,提供Net与Java的二次开发SDK数据的安全保障:数据导入重复性和格式检查。数据申请与发布管理,数据分发的补发,权限控制。数据的快速定制:灵活的数据标准定义。快速查询与录入界面生成。
3、主数据管理实现
主数据管理实现主要内容包括:源系统管理,主数据导入导出,共享业务数据对象管理,主数据蕞点数据同步,主数据权限管理。通过这几方面的配合,建成分布式的主数据管理体系,作到各个企业节点间数据信息的统一,保证企业主数据的准时与一致。
3.1 源系统管理
源系统是指在企业环境中进行主数据管理时,提供数据来源和需要数据共享服务的系统。例如CRM系统和ERP系统。源系统的管理包括应用系统注册和源系统通道注册,多种不同类型源系统实例的注册。源系统通道的类型包括:数据交换平台、文件系统、FTP)系统、关系型数据库和自定义的适配器。
根据应用系统的数据存储和共享方式不同,选择不同类型通道的源系统进行注册,被主数据系统统一管理。其中,主数据系统本身也可以作为一种源系统被管理起来。
应用系统注册将应用系统进行描述性注册,包括名称、概述和作用等。
对注册的应用系统和主数据系统之间注册数据通道,以此建立起能够与主数据系统进行数据交互的源系统。通道的注册分为双向和单向,每个方向都可以设置目标或者来源的类型,例如数据交换集成平台、文件系统、FTP系统、关系型数据库和自定义的适配器。
3.2 主数据导入导出
主数据导入:基于数据定义的格式标准(XML Schema)。手工方式通过将指定源系统的指定数据文件全量或增量方式导入到主数据系统中。
主数据导出:通过用户所拥有的角色权限,主数据系统将符合权限的数据输出为不同格式的文件,例如XML、Excel、csv格式。
3.3 共享业务数据对象管理
业务数据对象描述的是各行业内的核心业务数据对象,这些数据对象分散在不同的业务应用系统中,它是具有高业务价值的。可以在企业内跨越各个应用系统被重复使用的数据对象,如供应商、客户、产品等业务数据。
共享业务数据对象管理主要是集中管理和共享分散在不同应用系统中的需要共享的业务数据对象。保证共享数据的完整性、一致性和准确性。主要功能包括数据共享管理、数据接收、数据订阅分发、共享数据服务、预定义业务对象管理等功能。
图1
数据共享管理提供以下功能:
>业务数据对象定义
业务数据对象提供标准的业务数据对象模型及其属性信息,为共享数据提供方、共享数据使用方提供标准统一的数据模型。
>业务数据查询
查询业务数据对象的基本信息和属性信息。
>业务数据对象发布与停用
业务数据对象定义之后,需要发布才能向数据使用者共享有效的业务数据;也可以停止已经发布的业务数据对象,不再向应用系统共享业务数据。
>业务数据对象状态与属性的关系
数据对象属性的修改受到业务数据对象发布状态及属性本身的一些限制,基本的限制详情如下:
*有条件指的是当属性没有被第三方订阅。或者不作为条件被第三方订阅时可以被删除。
[page] (1)数据订阅分发
主数据管理系统提供数据订阅分发功能。通过制定订阅任务定时或手动将共享业务数据即时提供给各应用系统,订阅能够及时地反馈业务数据的变化情况,以保证业务数据使用的及时性和完整性。
数据订阅分发主要提供以下功能:
>订阅条件管理。订阅条件管理丰要包括:订阅查询、增加、删除、发布、暂停、恢复订阅、数据过滤条件定义等;
>订阅分发。系统将符合条件的共享数据分发给订阅方时可以采用两种方式:定时分发,通过灵活的任务调度向订阅方发送共享数据:手工分发,通过手动即时向订阅方发送共享数据;
>订阅分发监控。系统提供业务数据订阅分发任务监控功能,通过监控功能可以:查询每一项定时分发任务的执行状态,如开始时间、结束时间、执行次数、下次执行时间、上次执行结果等;查询订阅日志、订阅分发日志等信息。
(2)数据接收
系统实时侦听并接收应用系统共享的业务数据,通过数据校验保存业务数据到主数据系统中,共享给其它应用系统,保证跨系统的业务数据准确、一致、有效。数据接收主要包括数据获取、数据校验、数据解析、数据入库、数据接收日志等功。数据接收时,通过数据校验保证数据质量,支持以下校验规则:重复性检查、唯一性检查、自定义校验规则等;
数据接收支持从以下数据源接收数据:
*数据交换平台
*文件系统(Xml、Excel…)
*适配器
(3)共享数据服务
除数据订阅分发外,共享业务数据支持两种直接获取共享业务数据的服务接口:
a.应用程序API接口:用于在本地获取共享业务数据。
b.Web Service接口:可以远程获取共享业务数据。
共享数据服务提供的接口主要包括:获取指定的业务数据对象定义、获取指定的业务对象全部数据、获取按照指定条件查询的数据等功能。
3.4 主数据节点数据同步
(1)同步节点管理
多级问步节点管理包括:注册多级的主数据节点信息,设置主数据节点点对点之间的单向或双向同步通道。节点同步规则管理包括:设定节点与节点之间同步数据的行级条件和主题范围。
(2)数据同步
数据同步包括如下
>定时同步:主数据系统定时通过节点之间的同步通道将符合同步范围的数据推送到接受节点。达到节点与节点之间的数据同步。
>手动同步:通过手动方式,主动触发同步过程,将节点之间的数据进行同步。
>数据同步监控:数据的同步过程和相关信息被记录,并且提供实时的监控界面。为管理人员对了解同步的每个步骤和状态提供帮助。
>数据同步补发:当同步过程中出现了失败。通过监控和日志管理人员能够将同步失败的数据进行再次补发,确保数据的准确性。
3.5 主数据权限管理
通过该功能将外部系统的人员组织信息进行映射关系的管理。角色与人员组织关系的添加、修改、删除和查询。外部系统的人员组织接入。授权管理针对用户对不同主数据的读写操作进行授权。授权功能:主数据属性的访问与修改授权,主数据行级记录的访问与修改授权。
4、总结
主数据管理(Master Data Management,MDM)是实现信息共享的一种解决方案,提供一套方法、流程和技术,确保企业(政府)内数据的准确性、完整性、及时性和一致性。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据分析领域,Excel作为一种普及率极高且功能强大的工具,无疑为无数专业人士提供了便捷的解决方案。尽管Excel自带了丰富的功 ...
2025-01-17在这个瞬息万变的时代,许多人都在寻找能让他们脱颖而出的职业。而数据分析师,作为大数据和人工智能时代的热门职业,自然吸引了 ...
2025-01-14Python作为一门功能强大的编程语言,已经成为数据分析和可视化领域的重要工具。无论你是数据分析的新手,还是经验丰富的专业人士 ...
2025-01-10完全靠数据决策,真的靠谱吗? 最近几年,“数据驱动”成了商界最火的关键词之一,但靠数据就能走天下?其实不然!那些真正成功 ...
2025-01-09SparkSQL 结构化数据处理流程及原理是什么?Spark SQL 可以使用现有的Hive元存储、SerDes 和 UDF。它可以使用 JDBC/ODB ...
2025-01-09在如今这个信息爆炸的时代,数据已然成为企业的生命线。无论是科技公司还是传统行业,数据分析正在深刻地影响着商业决策以及未来 ...
2025-01-08“数据为王”相信大家都听说过。当前,数据信息不再仅仅是传递的媒介,它成为了驱动经济发展的新燃料。对于企业而言,数据指标体 ...
2025-01-07在职场中,当你遇到问题的时候,如果感到无从下手,或者抓不到重点,可能是因为你掌握的思维模型不够多。 一个好用的思维模型, ...
2025-01-06在现代企业中,数据分析师扮演着至关重要的角色。每天都有大量数据涌入,从社交媒体到交易平台,数据以空前的速度和规模生成。面 ...
2025-01-06在职场中,许多言辞并非表面意思那么简单,有时需要听懂背后的“潜台词”。尤其在数据分析的领域里,掌握常用术语就像掌握一门新 ...
2025-01-04在当今信息化社会,数据分析已成为各行各业的核心驱动力。它不仅仅是对数字进行整理与计算,而是在数据的海洋中探寻规律,从而指 ...
2025-01-03又到一年年终时,各位打工人也迎来了展示成果的关键时刻 —— 年终述职。一份出色的年终述职报告,不仅能全面呈现你的工作价值, ...
2025-01-03在竞争激烈的商业世界中,竞品分析对于企业的发展至关重要。今天,我们就来详细聊聊数据分析师写竞品分析的那些事儿。 一、明确 ...
2025-01-03在数据分析的江湖里,有两个阵营总是争论不休。一派信奉“大即是美”,认为数据越多越好;另一派坚守“小而精”,力挺质量胜于规 ...
2025-01-02数据分析是一个复杂且多维度的过程,从数据收集到分析结果应用,每一步都是对信息的提炼与升华。可视化分析结果,以图表的形式展 ...
2025-01-02在当今的数字化时代,数据分析师扮演着一个至关重要的角色。他们如同现代企业的“解密专家”,通过解析数据为企业提供决策支持。 ...
2025-01-02数据分析报告至关重要 一份高质量的数据分析报告不仅能够揭示数据背后的真相,还能为企业决策者提供有价值的洞察和建议。 年薪 ...
2024-12-31数据分析,听起来好像是技术大咖的专属技能,但其实是一项人人都能学会的职场硬核能力!今天,我们来聊聊数据分析的核心流程,拆 ...
2024-12-31提到数据分析,你脑海里可能会浮现出一群“数字控”抱着电脑,在海量数据里疯狂敲代码的画面。但事实是,数据分析并没有你想象的 ...
2024-12-31关于数据分析师是否会成为失业高危职业,近年来的讨论层出不穷。在这个快速变化的时代,技术进步让人既兴奋又不安。今天,我们从 ...
2024-12-30