大数据时代，工业企业主数据建设之路

一、大数据背景下主数据管理的意义与价值

  随着时代的高速发展以及科技的进步，现如今，整个世界已经迎来了大数据时代，而伴随着大数据的深入推进，数据的资产化已经成为各行业日益明显的发展趋势。在数据驱动的数字化、信息化、智能化浪潮中，对于工业企业来说科学的数据资产管理模式具有非常重要的意义，各工业企业只有将核心业务数据更好地掌握在手中，通过对数据的有效分析才能从中萃取更大的业务价值。而如何利用高效的手段和技术，从大数据海量的数据规模、快速的数据流转、动态的数据体系、多样的数据类型中，有效的对数据进行分析、处理、应用与共享，为企业提供更大的数据价值，已成为大部分工业企业在日常业务处理以及数据管理过程中所面临的重要问题与挑战。

  为保证企业核心数据资产的质量，提高数据资产的价值，在开展大数据建设并利用大数据技术对数据进行分析与处理过程中，结合数据治理先行的理念与思路，利用有效的手段、合理的方法来开展数据的治理工作。例如可通过数据治理对企业业务数据进行集成与整合，实现数据的统一管控和精细化管理，以保障数据资产质量、提高数据价值，为大数据提供面向业务用户的数据应用服务。在开展数据治理过程中，企业需制定相应的管理制度，以明确数据质量的管理办法，包括主数据管理、元数据管理、数据质量管理、数据安全管理等，逐步提高数据资产利用效果，推动信息化建设向标准化、信息化和数字化方向发展。而主数据是数据之源，是数据治理的基础，是信息系统互联互通的基石，是信息化和数字化的建设道路的核心。主数据管理是企业数据治理和管理的重要手段，通过主数据管理可以有效保障企业数据的精确性、一致性和完整性，为其企业提供唯一的“数据事实”，从而为企业数据架构、数据集成、数据资产的深度开发和利用奠定坚实的基础。

  因此，基于大数据背景下的“主数据管理”就是挖掘这些价值的重要手段和工具，是工业企业数据资产管理实践方式的重要切入方法，主数据管理将从企业的多个业务系统中整合最核心的、最需要共享的数据（即主数据），集中进行规范化、标准化的数据清洗和丰富，并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给全企业范围内需要使用这些数据的操作型应用和分析型应用，来实现业务数据在整个企业范围内保持一致性、完整性、相关性、正确性以及精确性。利用主数据管理解决方案作为大数据背景下的工业企业数据治理和提升数据质量的工具，可以确保核心数据的质量和真实性。从而为企业经营管理过程中的风险以及决策进行支撑，实现基于统一数据源头的业务协同，增强企业IT结构的灵活性，构建覆盖整个企业范围内的数据资产管理基础和相应规范，并且更灵活地适应企业各业务需求的变化。

二、主数据的划分以及管理范围的定义

  目前各企业已经逐步认识到数据资产管理的重要性，并利用多种手段以及建立多个业务系统实现对主数据的应用与管理，但是绝大部分企业对于主数据管理的内容以及范围还未进行明确的定义，对主数据的定义与认知只是关注在某一个层面，例如工业企业只专注于原材料、零部/组件等的主数据管理或人力资源的主数据管理等，并将各类主数据分散在各个业务系统中进行管理与应用，造成主数据定义不清晰、应用不一致、管理不规范的情况。

国睿信维对多个工业企业在主数据管理与应用现状进行调研、了解与分析，认为各工业企业在对主数据管理过程中，需要对主数据所管理的范围进行梳理与明确，可以从“管理主数据”与“工程主数据”两个维度，对主数据管理范围进行划分，构建企业主数据相应的管理视图，以支撑企业经营管控相关主数据的纵向贯通，以及企业工程研制主线相关主数据的横向协同。

• 管理主数据：企业经营管理相关的主数据，以实现纵向贯通，加强企业集中经营管控为核心目标。
• 工程主数据：工程研制主线相关的主数据，以实现跨业务的横向协同，提升企业跨地域、跨组织、跨部门的各业务协同效率为核心目标。

1.管理主数据

  随着企业纵向集中管控要求的不断深入，单一围绕某一职能的管控模式已难以支撑企业的经营管控和决策需要。而大部分企业在管理层面，仅仅只针对人、财、物等方面的主数据进行管理，难以对企业整体经营管控层面进行全面支撑，有可能还需要扩展至客户、供应商、质量、战略目标等方面。因此，国睿信维认为管理主数据主要围绕企业经营管控、关键资源管理、核心业务管理、综合管理等四个方面，并结合企业现有管理类业务的成熟度，对经营管理相关的主数据进行梳理与管控，以支撑面向不同主题的经营分析与综合决策，实现企业对经营的集中化纵向管控。

2.工程主数据

  各企业在开展主数据的构建与管理过程中，往往忽略了工程主数据，而在开展工程化数据构建过程中，工程主数据才是工业企业的命脉，是提高工业企业核心竞争力的中坚力量。在工程主数据构建与管理过程中，不仅仅是将产品的设计、工艺、制造的主数据进行管控，而是需要从需求定义到产品交付乃至整个产品全生命周期的各个阶段的主数据进行标准化、规范化的梳理与管控。因此，国睿信维认为工程主数据需以企业跨部门、跨业务的各类协同诉求为导向，基于系统工程的方法，聚焦企业当前业务协同的核心瓶颈以及大数据建设的重点，并结合企业相关业务的成熟度，对企业工程研制主线相关的主数据进行梳理与管控，规划企业工程主数据的管理范围，以实现企业跨业务的横向协同。

  例如企业在型号研制过程中的各个阶段，需要对不同单位、不同部门实现业务的协同，同时，也需要站在不同的视角下，实现工程数据的贯通。因此，在工程主数据建设过程中，需要围绕工程研制主线来构建企业工程主数据统一的数据标准与规范，在设计制造协同、装备试验协同、项目管控协同、供应链协同、知识共享等多个方面，开展工程主数据的构建、维护以及应用与管控。主要可包括：

三、工业企业主数据主要管理模式的研究

  目前各工业企业不管是对管理主数据还是工程主数据，都具备了一定的管理基础，但是由于各企业的信息化建设情况不同，对主数据的管理手段与管理方式也不尽相同，并且随着信息化建设的不断发展与深入，对主数据的管理模式也越来越复杂，最终容易导致主数据在多个业务部门、业务系统中进行重复维护与管理，难以实现企业主数据的规范化、标准化的统一应用与管控。因此，国睿信维经过多个项目的实践以及经验的总结，在复杂信息化建设的情况下，可针对企业不同的业务场景，对主数据以集中维护、分散维护两种管理模式进行统一管控。在对主数据管理过程中，需对企业现有的信息化现状进行梳理，并结合企业对主数据应用和管理的情况，对主数据进行规范化、标准化的维护与管理。同时，在对主数据维护与管理过程中，将按照各类主数据应用的不同场景，对主数据进行清洗、转换与分发。

1.集中维护

  在部分企业中，由于已经建立了多个信息系统，并将部分主数据分散在各个业务系统中进行创建、维护以及应用与管理，在跨部门、跨业务以及跨系统的业务协同过程中，对于主数据的应用可能会出现不准确、不一致的情况。例如人力资源主数据，可能在人力资源系统中对企业人员的名称、编号、性别、职位、学历等进行维护，但在PDM或ERP等其他业务系统中也可能对人员的专业技能信息、擅长领域、所属部门/处室、岗位、资质以及产品、订单等相关数据进行管理。企业用户在各业务系统中信息不一致或部分缺失。因此，建议利用集中维护的方式，将人力资源主数据按照统一标准、规范在主数据管理系统中进行集中清洗、转换、维护与管理，并向各业务系统进行分发，确保企业整体主数据的一致性。

• 优点：能够从整个企业的角度对数据的标准和维护建立统一体系，避免主数据管理“两张皮”的现象。并且可通过统一的规划和数据管控，有效解决企业数据质量的问题。
• 挑战：需要企业的代码体系、主数据规范和各业务系统的集成接口进行统一梳理和规划，主要因为主数据的结构定义复杂，需要巨大的工作量。并且在落实统一的主数据标准和维护体系方面，对现有业务影响范围较大，需要企业做出管理上和IT层面的调整。

2. 分散维护

  各类主数据在不同的业务系统中进行统一维护与管理，并通过系统集成的方式对主数据进行获取与应用。但由于单个业务系统只是针对某个业务或专业进行管控，在不同业务中还需要对主数据进行维护与补充，难以对整个企业跨部门、跨业务进行规范化应用，容易造成主数据的不一致情况。例如：企业中对于人力资源主数据，将统一在人力资源系统中进行创建与维护，但是在人力资源主数据系统中可能只是对人员姓名、编号、组织、部门、职位等基础信息的管理，对于人员的其他信息（包括专业技能、型号/项目职务、型号/项目名称等）并未进行统一管理，企业其他业务系统通过系统集成从人力资源管理系统中获取到人员信息后，还需要在各自系统中对人员信息进行补充，容易造成企业中人员信息不一致、不准确的情况，因此需要在已有系统对主数据管理的前提下，利用主数据管理系统再一次对主数据进行规范化、标准化的维护、清洗、转换与分发，确保主数据管理与应用的完整性与一致性。

• 优点：采取“分而治之”的思想，聚焦于跨组织、跨部门、跨业务的主数据管控，对企业现有的数据资产管理模式变动较小，主数据规划和管理的难度相对较低。
• 挑战：主数据管理系统和各业务系统之间的映射关系定义较为复杂，匹配关系管理易混乱。且对于各部门、各业务相应的数据清理的手段、程度等可能不一致，缺乏统一的质量保证过程。

四、主数据与大数据的相辅相成

  通过对主数据管理范围以及管理模式的研究与了解，各工业企业可结合自身业务特点以及信息化情况，开展主数据的规划、管理与应用，同时，在开展主数据建设过程中，在目前大数据背景下，如何有效提高数据质量，如何将主数据与大数据技术进行应用与融合，已成为各工业企业在信息化发展道路上不可避免的问题。而主数据和大数据的核心都是数据，但它们的关注角度有所不同：大数据关注于数据的量和数据的类型，而主数据则更关注于数据的质量。主数据侧重于数据的组织，而大数据则提供了更多的原材料。

  在大多数工业企业中对于主数据的管理，通常采用各业务系统分散管理的方式，例如人力资源、财务、物资等管理系统，而对于工程类的主数据，并未进行系统化的梳理与管控。随着信息化建设的逐步加深，各业务系统规模也日趋复杂、数据量逐步增大、数据种类日益繁多、数据形态也越来越多样，形成了“数据蜘蛛网”。因此，需要利用大数据技术，从企业庞大的数据量中对最核心的、最需要共享的数据（即主数据）进行采集、清洗、转换、处理、共享与存储，以提升主数据的质量，将散乱、庞大的数据进行有效的应用与管理，真正意义上实现主数据在企业经营管理层面的纵向贯通以及工程研制主线层面的横向协同。同时，高质量的主数据管理控制和持续改进，也是大数据应用的前提，为大数据后续分析和利用奠定坚实的基础。最终大数据与主数据将以良性循环的方式，相互提升，相辅相成，为企业在发展的道路中夯实坚固的基础。

  因此，主数据和大数据并不是相互矛盾的，而是相辅相成，相互支撑的。企业要获得更好的数据应用效果和价值，可以主数据为中心、为筋脉，通过主数据把各类散乱的大数据有效串联起来，并经过大数据的抓取、分析与处理，从而获得更好的数据应用和价值。通过对主数据的高效治理与统一的管控与应用，才能有效形成企业数据资产，统一数据标准，提升数据质量，确保数据安全。所以在当前大数据时代，不仅要关注大数据的建设与发展，并且还要着重于主数据的研究和应用，并通过主数据管理与大数据技术的相互辅助与融合，实现企业数据资产的价值最大化。

五、主数据技术架构解析

  国睿信维软件有限公司基于大数据平台构建的主数据管理系统，具备数据建模、数据整合、数据质量管理、数据安全管理、数据统计分析等核心功能，同时具备与各企业未来规划与建设的大数据平台进行有效衔接的扩展性能力。随着大数据工程的逐步推进与发展，未来主数据管理系统可以基于大数据平台通过数据抽取ETL、Sqoop处理、大文件传输等相关技术，打通企业跨地域、跨组织、跨部门以及跨各类业务系统的数据集成通道。并利用大数据技术对集成数据进行抽取、分析、评估和监控，同时，可对获取到的各类主数据按照统一标准、规范开展主数据的创建、清洗、转换、维护、存储与管控。基于不同业务的主数据视图，对查询、申请、审核等应用进行封装，形成并发布相对独立的主数据服务，企业内各类业务系统可通过统一的服务注册，实现对主数据服务的调用。

  国睿信维主数据管理平台是基于公司自主的Glaway Foundation 基础技术开发平台进行配置开发，并且运用了先进的技术，可有效的接入大数据基础平台，利用大数据技术提供更为高效的主数据管理能力。主要体现在以下几个方面：

1)保障数据质量方面

基于大数据的主数据管理引入内存处理和并行计算技术，满足对实体数据识别、清洗以及质量监控的大容量数据并行计算需求。

• 充分利用大数据平台内存数据吞吐速度优势，提升数值传输效率；
• 将多个主数据服务分发给不同的计算子线程，实现在同一时刻同时处理多个数据服务计算任务，满足计算需求。

2)支撑数据服务方面

  基于大数据的Micro services微服务架构，快速部署和调整数据服务，促进应用之间解耦合，实现平台应用的较高伸缩性和容错性。

• 将主数据的各个应用组件微服务化，每个应用组件面向企业各部门形成独立的微服务，如果单个服务对主数据平台的数据申请、查询等微服务出现故障，则不会影响到其他业务部门的数据申请服务；
• 在主数据平台进行功能升级或维护时能够通过服务分发地形式灵活地控制业务的影响范围，如对查询服务进行升级不会影响到主数据校核、申请等服务地正常进行。

3) 挖掘数据价值方面

  描绘完整的业务过程主数据视图，支撑复杂的信息联动分析，提升过程的业务执行效率

• 基于大数据的主数据系统可以利用平台对图数据管理的支撑，通过主数据关联映射，生成企业核心业务主数据视图，业务人员可以方便的查看业务数据之间的关联关系，快速配置查询；
• 基于大数据平台对图数据的计算处理优势，能够提升数据分析和挖掘效率。

六、航天某单位典型案例

• 主数据建设背景

  近年来随着高复杂度、高性能、高集成度武器装备的快速发展，多品种、变批量、短周期、高质量成为装备研制生产的典型特征，对科研生产能力提出了更高的新要求，而航天某单位现有传统的研制模式已越来越难以应对。例如：其产品及过程数据在组织内部、组织之间的交互存在诸多断点，设计、试验、生产、保障等信息尚未完全贯通。质量要素约束没有深度融入到科研生产体系中。缺乏对外协外购供方过程监控的有效手段。多级数字化管理尚不落地，产品实现过程的数据还无法推送至型号管理与组织决策层，对科研生产项目管理支撑不足。因此，实现对型号产品全寿命周期各阶段数据有效管理，型号产品各层级信息的有效关联和追溯，各类数据实施标准化、规范化统一管理，已成为提升企业科研生产整体管理能力、提升产品质量的急迫任务。

• 主数据建设过程

  国睿信维通过与航天某单位共同进行实践学习与摸索，为航天某单位制定统一的编码规范、统一编码系统开发与运维、统一编码管理等，实现各类基础数据标准化、规范化的统一管理，解决信息系统内业务有效运转、系统间数据交互以及各单位能力的协同。主要包括以下几点：

1)一套标准。建立统一的编码规范，对分类标准、编码规则、描述规则等各个方面进行统一，确保企业编码达到一物一码的效果。

2)专业化运维机构与体系。建立专业的基础数据与编码管理机构，统一规范基础数据管理与运维，明确各级次、各单位管理职责，保持管理工作的持续、稳定开展，固定机构提供数据管理的咨询、支持和服务。

3)统一系统。建立统一的主数据管理工具，对企业各类主数据进行统一管理，确保基于单一数据源的主数据维护、应用与管控。

• 主数据建设成效

  航天某单位已明确对机构、供方、客户、项目、物品（物资和产品）、会计科目、人员、军品合同、民品合同、信息系统组织机构、信息系统用户、代码等12类主数据以及57类代码主数据实施统一管理，且随主数据业务增加还将不断拓展管理范围。主要包括以下内容：

1)建立企业统一标准。发布主数据管理系列标准，明确要求各单位在各业务应用系统中应用企业主数据，禁止对企业下发的主数据属性进行修改；禁止在ERP等应用系统中创建、修改集团管理的主数据信息。

2)建立企业专业队伍。成立两个专业化机构，分别负责主数据系统以及各类主数据的管理和日常维护工作。并制定、下发企业相关规定或要求，建立常态化的主数据管理员队伍，定期参加培训并通过相关考核。目前已组建企业主数据管理员队伍1000余人。

3)建立主数据管理系统。建立企业主数据管理系统，在国密网和商密网分别部署。各二级单位逐步建立二级主数据管理系统，按照集成接口规范和接口功能要求与集团主数据管理系统集成，接收分发一级主数据。已经形成主数据：物资35万余条，产品3万余条，供方2.2万余条，客户1.4万余条，项目2000余条、机构主数据1000余条等。

• 总结

  在大数据发展趋势的背景下，主数据管理将成为各工业企业信息化建设的基础，对企业信息化的建设质量、应用效果和数据分析起到支撑和决定性作用，能够统一数据标准，确保数据源头得到有效控制与预防，能够形成长效的运营保障机制，保障数据质量的持续改进与优化，能够建立先进的主数据管理平台，促进企业数据资产化和数据价值的实现，扫除工业企业在主数据建设道路中的障碍，为工业企业的不断发展提能增效。