热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

元数据管理的价值是什么?

一、什么是元数据元数据不是你聊天的内容也不是你的资料,更不是你在网上发布了什么消息,元数据是更底层的数据。最直接理解(元数据)的方式是活动数据:你在设备上从事活动、手机自动运行的记

一、什么是元数据

元数据不是你聊天的内容也不是你的资料,更不是你在网上发布了什么消息,元数据是更底层的数据。最直接理解(元数据)的方式是活动数据:你在设备上从事活动、手机自动运行的记录。举例来说,手机元数据可能包括:来电日期与时间、通话时长、来电号码,通话位置……通过分析你不同设备的元数据,监视者能得知你昨晚入睡与今早起床的时间、每天逛了哪些地方、在哪里待了多久,以及你接触过的对象有谁,谁又与你联系过。元数据,忠实而冷酷的记录者。

 

一间摆满书的屋子能被称为图书馆吗?

要在图书馆中找到某本书,不能只是在图书馆中走来走去,单靠运气去找。

 

尽管元数据一词只有几十年的历史,然而几千年的图书馆管理员们一直在工作中使用着元数据,只不过我们先所谓的“元数据”是历史上被称为“图书目录信息”。图书目录中的信息解决了一个十分关键的问题,就是如何帮助用户在图书馆快速地、准确地找到想要的图书。

图书目录中依然延续至今的信息片段:书名、作者、主题、简介等。但如今其含有更多的信息,如出版社、出版时间、定价、条形码和上架建议等等。

 

有一个关于元数据的例子,元数据就像“户口本”,户口本中除了有姓名、出生日期、住址、民族等信息外,还有家庭的血缘关系,父子关系、兄弟关系等。这些信息就构成了对这个人的详细描述,那这些信息就是描述这个人的元数据。

所以元数据是什么?

元数据:描述数据的数据

元数据分类:业务元数据、技术元数据、管理元数据

业务元数据:面向业务分析人员。业务元数据是描述数据的业务含义、业务规则等。通过明确业务元数据让人们更容易理解和使用业务元数据,元数据消除了数据二义性,让人们对数据有一致的认证,避免“各说自话”,进而为数据分析和应用提供支撑。常见的业务元数据包括:业务定义、业务术语、业务规则、业务指标等

技术元数据:技术元数据是对数据的结构化,方便计算机或数据库之间对数据进行识别、存储、传输和交换。技术元数据可以服务于开发人员,让开发人员对数据的存储、结构更明确,从而为应用的开发和系统的集成奠定基础。技术元数据也可服务于业务人员,通过元数据理清数据关系,让业务人员能够更快速的找到想要的数据,进而对数据的来源去向进行分析,支持数据血缘追溯和影响分析。常见的技术元数据包括:存储位置、数据模型、数据库表、字段长度、字段类型、ETL脚本、SQL脚本、接口程序、数据关系等

管理元数据:面向IT系统运维技术人员。管理元数据描述了数据的管理属性,包括管理部门、管理责任人等,通过明确管理属性,有利于数据管理责任到部门和个人,是数据安全管理的基础。常见的管理元数据包括:数据所有者、数据质量定责、数据安全等级等。

 

二、元数据管理是管理些啥

元数据也是数据,同样适用数据生命周期管理。

 

元数据管理平台从应用层面,可以分为:元数据采集存储,元数据管理服务、元数据分析服务以及元数据访问服务。

 

元数据采集服务:在数据治理项目中,通常涉及到的元数据还包括:数据源的元数据,数据加工处理过程的元数据,数据仓库或数据主题库的元数据,数据应用层的元数据,数据接口服务的元数据等等。元数据采集服务提供各类适配器满足以上各类元数据的采集,并将元数据整合处理后统一存储于中央元数据仓库,实现元数据的统一管理。这个过程中,数据采集适配器十分重要,元数据采集要能够适配各种DB、各类ETL、各类DW和Report产品,同时还需要适配各类结构化或半结构化数据源。目前市场上的主流元数据产品还没有哪一家能做到“万能适配”,都需要在实际应用过程中做或多或少的定制化开发。

元模型驱动的设计与开发:通过元数据管理平台实现对应用的逻辑模型、物理模型等各类元模型管理,支撑应用的设计和开发。

 

元数据不是停留在纸面,作为一个查询的字典,它更大地发挥作用是在管控。通过元数据实现了全方位的日监控,做到总部级别能够看到各分子公司每天的业务系统元数据的运转。只要发现异常,总部这边会形成T+1的监控机制,当天就会发出通报,通报相关的子公司或者相关的业务单位元数据发生了变更有异常,要赶紧处理,通过这一个管控手段保障了集团信息化系统建设的一致性和版本的管控性。以前没有抓手,但是通过元数据管控我们实实在在地抓住了核心和根本

 

三、元数据管理的价值是什么

从功能角度

1、一图在手,天下我有

通过元数据以企业全局视角对企业各业务域的数据资产进行盘点,实现企业数据资源的统一梳理和盘查,有助于发现分布在不同系统、位置的数据,让隐匿的数据显性化。数据地图包括了数据资源的基本信息,存储位置信息、数据结构信息、各数据之间关系信息,数据和人之间的关系信息,数据使用情况信息等,使数据资源信息详细、统一、透明,降低“找数据”的沟通成本,为数据的使用和大数据挖掘提供支撑。

2、追根溯源,发现数据问题本质

企业在做数据分析的时候,数据分析结果不正确,原因可能是数据分析过程出现数据问题,也可能是数据源本身就有问题,还可能是数据在加工处理过程中出现了数据问题……。通过元数据血缘分析,能够快速定位数据来源和加工处理过程,能够帮助数据分析人员快速定位数据问题。另外,通过元数据血缘关系分析,可以理解不同数据指标间的关系,分析产生指标的数据源头波动情况带来的影响。

 

从使用对象的角度

1、对技术人员而言,元数据管理平台将分散、存储结构差异大的资源信息进行描述、定位、检索、评估、分析五大操作,以描述和分类的形式实现对信息的格式化,从而为机器处理创造了可能,大大降低了数据治理的人工成本。正因如此,元数据管理已经成为很多大型数据治理项目的基础。

 2、对业务人员而言,元数据管理平台通过对业务指标、业务含义、业务规则、取数口径、影响范围等信息进行各方位管控,协助他们快速了解业务相关内容,进行数据资产的管理。

 

四、元数据管理的高效玩法

工具化!

亿信华辰元数据管理平台,致力于处理技术元数据、业务元数据、管理元数据,帮助各行各业用户获得更多的数据洞察力,进而挖掘出隐藏在资源中的价值。

 

1、 全面支持各类采集适配器:平台内置丰富的适配器,全面保障各类源头的元数据自动化采集,一键采集对接,同时可支持适配器快速扩展

2、 可扩展元模型,满足不同管理需求:元数据的应用都基于元模型。亿信元数据管理平台(EsPowerMeta)中的元模型支持CWM(公共仓库元模型)规范的同时,提供了一套便捷的自定义管理接口功能,可完全自定义扩展,能够满足元数据管理快速实施的需要,可适应用户在不同时期的不同管理需要。

3、 智能获取元数据,管理维护便捷:亿信元数据管理平台(EsPowerMeta)提供了完善的元模型和元数据维护功能,采用多种方式简化元数据维护的复杂性。系统支持元数据的自动获取和时间调度管理,支持手工创建和变更元数据,并配合版本管理,能完整存储元数据整个生命周期动态和变化,方便用户跟踪业务运作的历史数据。

4、 全文搜索引擎,准确定位目标元数据:亿信元数据管理平台(EsPowerMeta)内置全文搜索引擎,让各层次用户可快速定位自己所关心的元数据。EsPowerMeta支持基于名称、基本属性、元数据间关系查找的同时,还支持全文搜索。通过多种组合条件的模糊查询,即可在整个元数据环境中随时检索所需元数据。

5、 落地全行业,全中文硬核系产品:目前国内支持全中文内核元数据管理的为数不多的产品之一,具有自主知识产权,已成功实施于多家银行和政府机构,同时适用于业务用户、技术用户和运维管理用户。

6、 图形化分析,快速理清元数据关系:亿信元数据管理平台(EsPowerMeta)提供图形化的元数据基础分析以及高级应用分析。血缘分析是指从某一实体出发,往回追溯其处理过程,直到数据源接口,可快速追溯数据来源和加工过程,影响分析可掌握元数据之间的相互影响。

 

成功案例

佛山某区政务服务数据管理局元数据管理平台

建设内容:政务服务数据管理局基于区内各政府部门的数据进行汇总和治理,面向各部门提供统一的数据服务和应用,实现“用数据决策、用数据监管、用数据创业”的数据统筹发展运行机制。本项目通过元数据管理平台,梳理各类数据来源,实现卫计委、工商局、流管局等各政府部门的元数据自动采集,理清现有的数据流转流程和数据架构,并基于其构建一套新的数据架构,同时提供数据血缘分析、影响分析等,最后形成全区的政务数据地图。

项目价值:帮助数据管理局确定数据来源和数据架构,为后续数据标准建设,数据质量管理打下坚实的基础,并为政务资源目录、自主填报系统、教育无纸化等应用提供支撑。

 



推荐阅读
  • 1:有如下一段程序:packagea.b.c;publicclassTest{privatestaticinti0;publicintgetNext(){return ... [详细]
  • 本文详细介绍如何使用Python进行配置文件的读写操作,涵盖常见的配置文件格式(如INI、JSON、TOML和YAML),并提供具体的代码示例。 ... [详细]
  • 数据管理权威指南:《DAMA-DMBOK2 数据管理知识体系》
    本书提供了全面的数据管理职能、术语和最佳实践方法的标准行业解释,构建了数据管理的总体框架,为数据管理的发展奠定了坚实的理论基础。适合各类数据管理专业人士和相关领域的从业人员。 ... [详细]
  • 数据库内核开发入门 | 搭建研发环境的初步指南
    本课程将带你从零开始,逐步掌握数据库内核开发的基础知识和实践技能,重点介绍如何搭建OceanBase的开发环境。 ... [详细]
  • 本文详细分析了JSP(JavaServer Pages)技术的主要优点和缺点,帮助开发者更好地理解其适用场景及潜在挑战。JSP作为一种服务器端技术,广泛应用于Web开发中。 ... [详细]
  • SQL中UPDATE SET FROM语句的使用方法及应用场景
    本文详细介绍了SQL中UPDATE SET FROM语句的使用方法,通过具体示例展示了如何利用该语句高效地更新多表关联数据。适合数据库管理员和开发人员参考。 ... [详细]
  • 三星W799在2011年的表现堪称经典,以其独特的双屏设计和强大的功能引领了双模手机的潮流。本文详细介绍其配置、功能及锁屏设置。 ... [详细]
  • IT项目管理过程中的方法、工具、技术
    工欲善其事,必先利其器。而对于一个软件开发项目,最重要的器就是方法,工具和技术。而这三要素中重要的又是方法论,方法是基础&# ... [详细]
  • PHP 5.2.5 安装与配置指南
    本文详细介绍了 PHP 5.2.5 的安装和配置步骤,帮助开发者解决常见的环境配置问题,特别是上传图片时遇到的错误。通过本教程,您可以顺利搭建并优化 PHP 运行环境。 ... [详细]
  • 深入理解 SQL 视图、存储过程与事务
    本文详细介绍了SQL中的视图、存储过程和事务的概念及应用。视图为用户提供了一种灵活的数据查询方式,存储过程则封装了复杂的SQL逻辑,而事务确保了数据库操作的完整性和一致性。 ... [详细]
  • 使用C#开发SQL Server存储过程的指南
    本文介绍如何利用C#在SQL Server中创建存储过程,涵盖背景、步骤和应用场景,旨在帮助开发者更好地理解和应用这一技术。 ... [详细]
  • 本文详细介绍了Java编程语言中的核心概念和常见面试问题,包括集合类、数据结构、线程处理、Java虚拟机(JVM)、HTTP协议以及Git操作等方面的内容。通过深入分析每个主题,帮助读者更好地理解Java的关键特性和最佳实践。 ... [详细]
  • DNN Community 和 Professional 版本的主要差异
    本文详细解析了 DotNetNuke (DNN) 的两种主要版本:Community 和 Professional。通过对比两者的功能和附加组件,帮助用户选择最适合其需求的版本。 ... [详细]
  • 在计算机技术的学习道路上,51CTO学院以其专业性和专注度给我留下了深刻印象。从2012年接触计算机到2014年开始系统学习网络技术和安全领域,51CTO学院始终是我信赖的学习平台。 ... [详细]
  • 本文深入探讨了Linux系统中网卡绑定(bonding)的七种工作模式。网卡绑定技术通过将多个物理网卡组合成一个逻辑网卡,实现网络冗余、带宽聚合和负载均衡,在生产环境中广泛应用。文章详细介绍了每种模式的特点、适用场景及配置方法。 ... [详细]
author-avatar
心理学点滴_312
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有