热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

BIFinancialDBDIFFAnalysisIssue

核心公式:DB--ETL--DWvsREFfile错误产生原因:1,DBDWConnectionIssue2,SQLIssue3,ProductBug4,REFfilenotupdated物理需求分析:1,SourceDB:EBS,PSFT,Fusion…DBInstance2,DW:忽略数据源的存储形式,将数据以同一

核心公式:DB -- ETL -- DW vs REF file 错误产生原因: 1, DB/DW Connection Issue 2, SQL Issue 3, Product Bug 4, REF file not updated 物理需求分析: 1, Source DB: EBS, PSFT, Fusion…DB Instance 2, DW: 忽略数据源的存储形式,将数据以同一

核心公式:DB --> ETL --> DW vs REF file

错误产生原因:

1, DB/DW Connection Issue

2, SQL Issue

3, Product Bug

4, REF file not updated

物理需求分析:

1, Source DB: EBS, PSFT, Fusion…DB Instance

2, DW: 忽略数据源的存储形式,将数据以同一的形式存储。

逻辑需求分析:

1, ETL过程:The data stored in Source DB will be extracted, transformed, andloaded to DW.

关键点:

1, Each record in DW can be found in Source DB tables. No matter it isoriginal data or derived data.

2, If it is original data, we need to know which table and which columnin Source DB it comes from.

3, If it is derived data, we need to know the associated record with itin Source DB. In another words, how does this data derive from Source DB byETL.

错误分析:

1, DB/DW Connection Issue: (略);

2, SQL Issue: (略);

3, Product Bug: (分两种类型)

类型一:当OUT file输出的行数和 REF file显示的行数相等(num (out)==num (ref)),但某些字段不同

定义:无论该字段是originaldata 还是 derived data,凡是由Source DB经过ETL过程转化到DW里的,并且转化后的数据与DB中的数据不相等,但是DB中的数据与REF file相等,那么这就是一个Product Bug。

举例: 1. original data:

如果DW中某一个字段值为0,而REF file 中显示为null,通过ETLMAPPING查看到DB中相应的字段为null。这种情况通过核心公式表示为:

null --> ETL --> 0 vs null. 显而易见,这是ETL发生了错误,也就是ProductBug。

2. derived data:

如果DW中某一个字段值为45.2,而REF file中显示为45.3,通过ETLMAPPING查看到这个字段的值是通过两条Source DB中的值相加得到的,i.e. (20.1+25.2), 进过计算,DB中显示的值为45.3。这种情况通过核心公式表示为:

45.3 --> ETL --> 45.2 vs 45.3. 显而易见,这也是ETL发生了错误,也就是ProductBug。

类型二:当OUT file 输出的行数和REF file显示的行数不相等,并且OUTfile输出的行数小于REF file 显示的行数(num (out)

定义:如果ETL Load Plan 没有执行成功,就会出现转化到DW里面的记录缺失,这就是一个Product Bug。

举例:如果DW输出的行数为4,而REF file显示的行数为8,并且DW中输出的这4条记录可以在REFfile这8条记录中找到,那么这就符合num(out)

4, REF file not updated: (分两种类型)

类型一:当OUT file输出的行数和 REF file显示的行数相等(num (out)==num (ref)),但某些字段不同

定义:无论该字段是originaldata 还是 derived data,凡是由Source DB经过ETL过程转化到DW里的,并且转化后的数据与DB中的数据想等,但是DB/DW中的数据与REF file不相等,那么这就属于REF file not updated的问题。

举例:1. original data:

如果DW中某一个字段值为0,而REF file 中显示为null,通过ETLMAPPING查看到DB中相应的字段为0。这种情况通过核心公式表示为:

0 --> ETL --> 0 vs null. 这说明ETL是没有问题的,也就是DBUpdated or REF file not updated。

2. derived data:

如果DW中某一个字段值为45.2,而REF file中显示为45.3,通过ETLMAPPING查看到这个字段的值是通过两条Source DB中的值相加得到的,i.e. (20.1+25.1), 进过计算,DB中显示的值为45.2。这种情况通过核心公式表示为:

45.2 --> ETL --> 45.2 vs 45.3. 这说明ETL是没有问题的, REF file not updated。

类型二:当OUT file 输出的行数和REF file显示的行数不相等,并且OUTfile输出的行数大于REF file 显示的行数(num (out)>num (ref)),并且REF file显示的行在OUT file中可以找到(只适用于INCR,如果FULL中出现这种类型,同样归纳到product bug)

定义:如果OUT file 输出的行数大于 REF File显示的行数,只有在增量的情况下可能出现REF更新的滞后性,因此是REF的问题,而FULL不存在此问题,如出现则是Product Bug。

举例: INCR中,如果DW输出的行数为10,而REF file显示的行数为3,并且REF file中这3条可以在OUT file 10条中找到,那么就是REF更新的滞后性问题。

分析疑难点:

1, 没有ETL MAPPING, 无法确定DW中的data是从Source DB中哪些记录中得到的。


推荐阅读
  • 2023年1月28日网络安全热点
    涵盖最新的网络安全动态,包括OpenSSH和WordPress的安全更新、VirtualBox提权漏洞、以及谷歌推出的新证书验证机制等内容。 ... [详细]
  • 本文由公众号【数智物语】(ID: decision_engine)发布,关注获取更多干货。文章探讨了从数据收集到清洗、建模及可视化的全过程,介绍了41款实用工具,旨在帮助数据科学家和分析师提升工作效率。 ... [详细]
  • 本文探讨了如何使用Scrapy框架构建高效的数据采集系统,以及如何通过异步处理技术提升数据存储的效率。同时,文章还介绍了针对不同网站采用的不同采集策略。 ... [详细]
  • 本文探讨了如何在SQL Server Reporting Services (SSRS)中利用TOP N功能来筛选和展示数据集中的前N条记录。通过正确的配置图表属性中的筛选器设置,可以轻松实现这一目标。 ... [详细]
  • PHP中Smarty模板引擎自定义函数详解
    本文详细介绍了如何在PHP的Smarty模板引擎中自定义函数,并通过具体示例演示了这些函数的使用方法和应用场景。适合PHP后端开发者学习。 ... [详细]
  • 本文详细介绍了MySQL InnoDB存储引擎中的Redo Log和Undo Log,探讨了它们的工作原理、存储方式及其在事务处理中的关键作用。 ... [详细]
  • 本文探讨了MySQL中的死锁现象及其监控方法,并介绍了如何通过配置和SQL语句调整来优化数据库性能。同时,还讲解了慢查询日志的配置与分析技巧。 ... [详细]
  • MVC模式下的电子取证技术初探
    本文探讨了在MVC(模型-视图-控制器)架构下进行电子取证的技术方法,通过实际案例分析,提供了详细的取证步骤和技术要点。 ... [详细]
  • 【MySQL】frm文件解析
    官网说明:http:dev.mysql.comdocinternalsenfrm-file-format.htmlfrm是MySQL表结构定义文件,通常frm文件是不会损坏的,但是如果 ... [详细]
  • 数据输入验证与控件绑定方法
    本文提供了多种数据输入验证函数及控件绑定方法的实现代码,包括电话号码、数字、传真、邮政编码、电子邮件和网址的验证,以及报表绑定和自动编号等功能。 ... [详细]
  • 本文介绍了MySQL窗口函数的基本概念、应用场景及常见函数的使用方法。窗口函数在处理复杂查询时非常有用,例如计算每个用户的订单排名、环比增长率、以及动态聚合等。 ... [详细]
  • 本文介绍了如何在 Oracle 数据库中查询重复数据,并提供了多种方法来筛选和删除重复记录,包括基于单个字段和多个字段的重复数据处理。 ... [详细]
  • 美团安全响应中心推出全新配送业务测试活动,带来双重福利,邀您共同参与! ... [详细]
  • 1、编写一个Java程序在屏幕上输出“你好!”。programmenameHelloworld.javapublicclassHelloworld{publicst ... [详细]
  • 解决ADODB连接Access时出现80004005错误的方法
    本文详细介绍了如何解决在使用ADODB连接Access数据库时遇到的80004005错误,包括错误原因分析和具体的解决步骤。 ... [详细]
author-avatar
糖糖菓子
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有