读者通过博文积累经验之两个项目数据交互——导入篇

本来是想把这套软件的背景写在这篇日志里好让读者对这个需求能有一个更清楚的了解，

仔细想了想为了避免不必要的麻烦，所以就站在功能的角度上来写这篇日志吧

(注：本文中出现的截图都会经过模糊处理)

 

两种不同数据库，里面数据结构截然不同

了方便接下来称呼我就简单的把它们称为

A、B系统

在不更改A系统任何代码的前提下要实现这两个项目的数据交互

 

要想把A数据取到B以及把B的数据写进A的系统流程里面无非需要对这两个系统的数据结构非常了解。

而现在对于A系统数据结构一无所知由其它软件公司开发

A系统DB2数据库，千余个数据表,其数据量在几百万左右

B系统由我方开发SQLServer数据库

200多个数据表，数据量在几十万行左右

（在这里我只是简单的描述一下两个系统的数据概念）

 

 

除了A 提供了.pdm文件就无任何关于A系统的其他说明文档

在这里注明一下Pdm：概念数据模型PowerDesigner文件

多人用PowerDesigner画ER图、做数据库的概念级设计

所以有了这份文档之后我开始剖析A数据库的数据结构，表之间的关系

实体，属性，标识符，约束。

而这份模型编写的也很详细、连字段的描述我都能清楚的看到。

 

经过对A系统反复的测试

（如：在A系统发布一条采购命令则在后台数据库哪些表多了哪些数据，分别每个字读代表什么含义）

我把每一个功能模块以及流程状态都整理成一份一份的文档说明。

由此脑子里有了一个比较清楚的概念。

 

 

完成了对A系统的初步了解之后接下来就考虑怎么跟B系统对接。

下面是我画的一个对接流程图

第一步

  1、  在SQLServer中建立一个和A系统DB2数据结构一模一样数据库我把它命名为A系统(SQL)

  2、把不会变动数据(如：基础数据)直接添加到A系统(SQL)数据库中

第二步

1、 建立一个DB2连接，配置ODBC数据源

2、  由于A系统(SQL)数据结构和A系统(DB2)数据结构一模一样所以可以很容易的通过编程语言把需要用到的表的最新数据发送到A系统(SQL)中

如：原DB2有上千个表实际上需要用到的只有20多个表、在此环节就只需要导这20多个表里面的数据

第三步

1、这时A系统(SQL)里的数据基本都是我们想要的数据只是数据结构和B系统(SQL)数据结构不一样通过存储过程把A系统(SQL)里的表各相关字段取出来整合成B系统(SQL)里的表结构一致，做到这一步的时候会出现很多细节问题这时可以仔细参照前文提到PDM文件中每个数据表的字段含义，及实际测试A系统从而使得取到的为准确的数据

如：B系统采购模块由单表构成，A系统采购模块由多表构成这时应该筛选掉那些无用字段合成一个表，相反如果B系统多表而A系统单表构成则把取到的数据拆分为多个表分别插入到B系统中

其实这些处理在存储过程中都不难处理无非就是需要仔细，严谨反复查询插入测试。

2、  当取到的数据都整理好这时就需要一个转换过程把A系统(SQL)数据编号转换成B系统(SQL)可识别的编号

如：羽毛球在A系统编号为SYY0000001 名称就叫羽毛球

 而B系统的羽毛球编号为1101名称则叫双星羽毛球

 这时就需要把SYY0000001转换成1101

羽毛球转换成双星羽毛球

   在B系统(SQL)中创建一个数据转换表把A系统(SQL)所有需要转换的字段都通过这个表转换成B系统(SQL)。

商品类型编码

检查类型编码

客户类型编码

 

注：此用的都是虚拟数据为了能让读者更方便读懂博文

根据这个转换表我在项目中做了一个数据接口维护的功能，这样做有一个好处那就是就算A系统中出现了新的编码，通过接口维护功能在系统转换表中新添一条数据把A系统中新编码所对应的B系统中的编码填好就能确保以后导入过来的新编码转换为可识别编码。

 

这时经过处理出来的数据不管数据结构就连数据内容都完完全全成功的转换成了B系统(SQL)里的数据

最后把这些数据直接插入到B系统(SQL)中 这样实现了A系统(DB2)数据导入

为了能让别人方便读懂我写了一个存储过程说明书

 

 

 

系统管理员点一下数据导入按钮则执行地第二步骤

把最新数据导入到中间缓冲数据库中也就是A系统(SQL)

把第三步按照系统流程各自分给每个部门用户

如：采购部 就只触发采购数据导入存储过程导入采购相关数据

组装部 就只触发组装数据导入存储过程导入组装相关数据

这样就不会重复执行不相关的任何代码，部门与部门之间数据导入也不会起冲突

 

好了两个项目之间数据交互导入模块基本就写到这里

整篇博文不需要读者完全读懂，只要清楚的知道思路，关键在那个流程图

有些地方写得详细有些地方一笔带过希望对看过的人能有帮助

接下来就是整个流程反过来实现数据导出功能(待续。。。)