元数据管理

本文基于 DAMA-DMBOK 框架整理，约 1363 字。

1. 引言

1.1业务驱动因素

数据管理需要元数据，元数据本身也需要管理，可靠且良好管理元数据有助于：

通过提供上下文语境和执行数据质量检查提高数据可信度

通过扩展用途增加战略信息价值

通过识别冗余数据和流程提高运营效率

防止使用过时或不正确的数据

减少数据的研究时间

改善数据使用者和IT专业人员之间的沟通

创建准确的影响分析，从而降低项目失败的风险

通过缩短系统开发生命周期时间缩短产品上市时间

通过全面记录数据背景、历史和来源降低培训成本和员工流动的影响

满足监管合规

1.2目标和原则

元数据管理目标包括：

记录和管理数据相关的业务的知识体系，确保理解和使用数据内容的一致性

收集整合不同来源的元数据，确保了解来自组织不同部门数据的相似与差异

确保元数据的质量、一致性、及时性和安全

提供标准途径，使元数据使用者可访问元数据

推广或强制使用技术元数据数据标准，以实现数据交换的标准化流程

元数据管理应遵循指导原则：

组织承诺。确保组织对元数据的管理，将元数据管理作为企业整体战略的一部分，将数据作为企业资产进行管理。

战略。制定元数据战略，考虑如何创建、维护、集成和访问元数据。

企业视角。从企业视角确保未来的可扩展性，但要通过迭代和增量交付来实现，以带来价值。

潜移默化。宣导元数据的必要性和每种元数据的用途；潜移默化其价值将鼓励业务使用单元数据，同时也为业务提供知识辅助

质量。认识到元数据通过现有流程生成的，所以流程所有者应对元数据及的质量负责

审计。制定、实施和审核元数据标准，以简化元数据的集成和使用

改进。创建反馈机制，以便数据使用者可将错误或过时的元数据反馈给元数据管理团队

1.3基本概念

元数据与数据：元数据也是一种数据，与总数据的区别主要在于描述对象，普通数据是描述某业务实体与相关过程的数据，元数据是数据的一种，其描述对象是数据本身的特性的过程。

元数据类型：元数据通常分为三种类型、分别是业务元数据、技术元数据和操作元数据。最好是根据数据的来源而不是这些数据的使用方式来考虑这些数据的类别。

业务元数据：主要关注数据的内容和条件，另外包括与数据治理相关的详细信息。业务元数据包括主题域、概念、实体、属性的非技术名称和定义、属性的数据类型和其他特征。包括数据集、表、字段定义、业务规则、数据模型、更新计划等。

技术元数据：提供有关数据的技术细节、存储的系统以及在系统内部和系统之间数据流转的过程的信息。包括数据库、表、字段名称、属性、访问权限对象、CURD和ETL记录等。

操作元数据：描述处理和访问数据的细节问题。包括数据处理结果、数据服务水平、数据操作日志等。

非结构化数据的元数据：从本质上讲，所有的数据都有一定的结构的，但并非所有的数据都以行、列的形式存储。非结构化数据的元数据主要包括，描述元数据，如目录信息和同义关键字；结构元数据，如标签、字段结构、特定格式；管理元数据，如来源、更新计划、访问权限和导航信息；书目元数据，如图书馆目录条目；记录元数据，如保留策略；保存元数据，如存储、归档条件和保存规则。

元数据来源：从元数据的类型应该能够看清楚元数据的来源各异，如果来自各应用和数据系统的元数据如果处理得当，则可以较为容易地收集和整合他们。

应用程序中元数据存储库：元数据存储库指元数据的物理表，这些表通常内置在建模工具、BI工具和其他应用程序中。

昱珩的工业落地视角

工业数据量大但『说不清』——哪个字段代表什么、从哪来、怎么算、谁负责，常常是一笔糊涂账。昱珩通过元数据管理建立数据血缘、数据字典和责任矩阵，让数据资产可见、可理解、可问责。