数据管理——数据血缘关系概述

摘要&＃xff1a;

数据的血缘关系作为数据治理很重要的部分&＃xff0c;需要引起格外的重视。

数据血缘关系的概念

在人类社会中&＃xff0c;血缘关系是指由婚姻或生育而产生的人际关系。如父母与子女的关系&＃xff0c;兄弟姐妹关系&＃xff0c;以及由此而派生的其他亲属关系。它是人先天的与生俱来的关系&＃xff0c;在人类社会产生之初就已存在&＃xff0c;是最早形成的一种社会关系。

大数据时代&＃xff0c;数据爆发性增长&＃xff0c;海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息&＃xff0c;通过联姻融合、转换变换、流转流通&＃xff0c;又生成新的数据&＃xff0c;汇聚成数据的海洋。

数据的产生、加工融合、流转流通&＃xff0c;到最终消亡&＃xff0c;数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系&＃xff0c;称之为数据的血缘关系。与人类社会中的血缘关系不同&＃xff0c;数据的血缘关系还包含了一些特有的特征&＃xff1a;

1. 归属性。一般来说&＃xff0c;特定的数据归属特定的组织或者个人&＃xff0c;数据具有归属性。

2. 多源性。同一个数据可以有多个来源&＃xff08;多个父亲&＃xff09;。一个数据可以是多个数据经过加工而生成的&＃xff0c;而且这种加工过程可以是多个。

3. 可追溯性。数据的血缘关系&＃xff0c;体现了数据的生命周期&＃xff0c;体现了数据从产生到消亡的整个过程&＃xff0c;具备可追溯性。

4. 层次性。数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据&＃xff0c;不同程度的描述信息形成了数据的层次。

数据血缘关系的层次&＃xff1a;

上图描述的是存储在数据库中的结构化数据血缘关系的层次结构&＃xff0c;是最典型的一种血缘关系的层次结构。对于不同类型的数据&＃xff0c;血缘关系的层次结构有细微的差别。

一般来说&＃xff0c;数据都归属于某个组织或者某个人&＃xff0c;数据都有所有者。数据在不同的所有者之间流转、融合&＃xff0c;形成所有者之间通过数据联系起来的一种关系&＃xff0c;是数据血缘关系的一种&＃xff0c;在层次结构中处在最上层。这种关系&＃xff0c;清楚地表明了数据的提供者和需求者。

数据库、表和字段&＃xff0c;是数据的存储结构。不同类型的数据&＃xff0c;有不同的存储结构。存储结构决定了血缘关系的层次结构。所以不同类型的数据的血缘关系层次结构有些差别。例如&＃xff0c;对于以文件服务器存储的数据来说&＃xff0c;血缘关系的层次结构如下图所示。

不同层级数据的血缘关系&＃xff0c;体现着不同的含义。所有者层次&＃xff0c;体现了数据的提供方和需求方&＃xff0c;其他的层次则体现了数据的来龙去脉。通过不同层级的血缘关系&＃xff0c;可以很清楚地了解数据的迁徙流转&＃xff0c;为数据价值的评估、数据的管理提供依据。

数据血缘关系的可视化

可视化&＃xff0c;从技术概念上来看&＃xff0c;是利用计算机图形学和图像处理技术&＃xff0c;将数据转换成图形或图像在屏幕上显示出来&＃xff0c;并进行交互处理的理论、方法和技术。可视化的意义在于迅速快捷地传递信号&＃xff0c;形象、直观地将数据及其关系展现出来&＃xff0c;方便用户探讨、探索本质&＃xff0c;发现问题。

对于数据的血缘关系&＃xff0c;可视化尤为重要。只有通过可视化&＃xff0c;血缘关系才能很清晰地展现在用户面前。

根据数据血缘关系的特点&＃xff0c;我们设计了数据的血缘关系可视化图形。

根据表现含义的不同&＃xff0c;血缘关系的可视化图形包括5种可视化元素&＃xff0c;分布在图形的不同位置。可视化元素分别是&＃xff1a;

1.信息节点

信息节点用来表现数据的所有者和数据层次信息或终端信息。根据血缘关系层次的不同&＃xff0c;数据信息有所区别。所有者层次只有所有者的信息&＃xff0c;其他的层次则包括所有者信息和数据层次信息或者终端信息&＃xff0c;例如关系数据库的字段间的血缘关系&＃xff0c;该节点的描述信息就是&＃xff1a;所有者.数据库.数据表.数据字段。

信息节点有三种类型&＃xff1a;主节点&＃xff0c;数据流出节点&＃xff0c;数据流入节点。

主节点只有一个&＃xff0c;位于整个图形的中间&＃xff0c;是可视化图形的核心节点。图形展示的血缘关系就是此节点的血缘关系&＃xff0c;其他与此节点无关的血缘关系都不在图形上展示&＃xff0c;以保证图形的简单、清晰。

数据流入节点可以有多个&＃xff0c;是主节点的父节点&＃xff0c;表示数据来源&＃xff0c;位于整个图形的左侧。

数据流出节点也可以有多个&＃xff0c;是主节点的子节点&＃xff0c;表示数据的去向&＃xff0c;位于整个图形的右侧。数据流出节点包括一种特殊的节点&＃xff0c;即终端节点&＃xff0c;终端节点是一种特殊的数据流出节点&＃xff0c;表示数据不再往下进行流转&＃xff0c;这种数据一般用来做可视化展示。

2.数据流转线路

数据流转线路表现的是数据的流转路径&＃xff0c;从左到右流转。数据流转线路从数据流入节点出来往主节点汇聚&＃xff0c;又从主节点流出往数据流出节点扩散。

数据流转线路表现了三个维度的信息&＃xff0c;分别是方向、数据更新量级、数据更新频次。

方向的表现方式&＃xff0c;没有做特别的设计&＃xff0c;默认从左到右流转&＃xff1b;

数据更新的量级通过线条的粗细来表现。线条越粗表示数据量级越大&＃xff0c;线条越细则表示数据量级越小。

数据更新的频次用线条中线段的长度来表现。线段越短表示更新频次越高&＃xff0c;线段越长表示更新频次越底&＃xff0c;一根实线则表示只流转一次。

3.清洗规则节点

清洗规则节点用来表现数据流转过程中的筛选标准。大量的数据分布在不同的地方&＃xff0c;每个地方对数据质量的要求都有所不同&＃xff0c;数据接受方会根据自己对数据的要求来过滤接入的数据&＃xff0c;这些要求就形成数据标准&＃xff0c;并依据这些标准来做数据清洗。

清洗规则可能会有多种。例如要求不能是空值、要求符合某种格式。在可视化图形上&＃xff0c;清洗规则用一个标有大写字母“E”的圆圈表示&＃xff0c;把各种规则简略化表达&＃xff0c;以保证图形的简洁、清晰。查看规则内容的操作也很简单&＃xff0c;鼠标移动到标有大写字母“E”的圆圈上&＃xff0c;则会自动展示标准清单列表。

清洗规则的简略图形位于数据流转线路上&＃xff0c;表示该线路上流转的数据符合这些标准才能继续流转下去。

4.转换规则节点

转换规则节点在表现形式上类似于清洗规则节点&＃xff0c;用一个标有大写字母“T”的圆圈表示。位于数据流转线路上&＃xff0c;用来表现数据流转过程中发生的变化、变换。

从数据提供方出来的数据&＃xff0c;有时候需要进行特殊处理才能接入到数据需求方&＃xff0c;这种处理可能比较简单&＃xff0c;例如&＃xff1a;只是截取源数据的前四位。也可能非常复杂&＃xff0c;需要用到特殊的公式。在可视化方面&＃xff0c;为了保证图形的简洁、清晰&＃xff0c;做了简略处理。查看数据经过了哪些转换规则&＃xff0c;也很简单&＃xff0c;鼠标移动到标有大写字母“T”的圆圈上&＃xff0c;则会自动展示转换规则清单。

5.数据归档销毁规则节点

我们认为数据是有生命周期的&＃xff0c;当数据不再具备使用价值&＃xff0c;他的生命就结束了&＃xff0c;或者归档或者直接销毁。

判断数据是否还具备使用价值非常困难&＃xff0c;需要设计一些条件&＃xff0c;当这些条件满足了以后&＃xff0c;就认为数据不再具有使用价值&＃xff0c;可以归档或者销毁了。

在可视化图形上&＃xff0c;我们设计了一个标有大写字母“R”的圆圈&＃xff0c;用来简略的表示数据归档和销毁规则。鼠标移动到标有大写字母“R”的圆圈上&＃xff0c;则会自动展示归档和销毁规则清单。

血缘关系的可视化是一个比较复杂的过程&＃xff0c;目前没有成型的可视化图形可以参考&＃xff0c;我们设计的这个血缘关系可视化图形组件&＃xff0c;能够清晰地表达数据的血缘关系&＃xff0c;对组织的数据治理很有帮助。具有以下一些作用。

数据血缘关系的作用

数据血缘关系的作用&＃xff0c;总结起来有如下几个方面&＃xff1a;

1.数据溯源

溯源&＃xff0c;指的是探寻事物的根本、源头。我们分析处理的数据&＃xff0c;可能来源很广泛&＃xff0c;有政府的数据&＃xff0c;有互联网的数据&＃xff0c;有通过数据交易从第三方获取的数据&＃xff0c;还有自身拥有的数据。不同来源的数据&＃xff0c;数据质量参差不齐&＃xff0c;对分析处理的结果影响也不尽相同。当数据发生异常&＃xff0c;我们需要能追踪到异常发生的原因&＃xff0c;把风险控制在适当的水平。

数据的血缘关系&＃xff0c;体现了数据的来龙去脉&＃xff0c;能帮助我们追踪数据的来源&＃xff0c;追踪数据处理过程。在数据的血缘关系可视化图形上&＃xff0c;主节点的左边就是数据来源节点&＃xff0c;非常清晰&＃xff0c;一目了然。数据经过了哪些转换也能从可视化图形上看出来&＃xff0c;对异常数据产生原因的分析帮助很大。

2.评估数据价值

数据的价值在数据交易领域非常重要&＃xff0c;涉及到数据的定价。要对数据价值进行评估&＃xff0c;就需要有依据。数据血缘关系&＃xff0c;可以从几个方面给数据价值的评估提供依据&＃xff1a;

1&＃xff09;数据受众。在血缘关系图上&＃xff0c;右边的数据流出节点表示受众&＃xff0c;亦即数据需求方&＃xff0c;数据需求方越多表示数据价值越大&＃xff1b;

2&＃xff09;数据更新量级。数据血缘关系图中&＃xff0c;数据流转线路的线条越粗&＃xff0c;表示数据更新的量级越大&＃xff0c;从一定程度上反映了数据价值的大小&＃xff1b;

3&＃xff09;数据更新频次。数据更新越频繁&＃xff0c;表示数据越鲜活&＃xff0c;价值越高。在血缘关系图上&＃xff0c;数据流转线路的线段越短&＃xff0c;更新越频繁。

3.数据质量评估

从数据的血缘关系图上&＃xff0c;可以方便的看到数据清洗的标准清单&＃xff0c;这个清单反映了对数据质量的要求。

4.数据归档、销毁的参考

如果数据没有了受众&＃xff0c;就失去了使用价值。从数据的血缘关系图上看&＃xff0c;最右边没有了数据节点&＃xff0c;就可以去评估主节点所代表的数据是否要归档或者销毁了。

结语

当下&＃xff0c;我们生活在一个数据看似无穷无尽的年代。数据已经侵淫到我们的生活当中。我们依赖数据完成各种各样的任务&＃xff0c;从促进经济发展和推动科学进步&＃xff0c;到记录我们的健康信息。毫无疑问&＃xff0c;我们已经进入到了大数据时代。

原始形态的海量数据&＃xff0c;不像传统数据那么可信。错误的数据、遗漏信息的数据大规模出现&＃xff0c;数据治理显得非常重要。

数据的血缘关系作为数据治理很重要的部分&＃xff0c;需要引起格外的重视。基于这种认识&＃xff0c;我们对数据血缘关系做了以上特别的分析研究&＃xff0c;希望能引起大家对数据血缘关系的重视。