热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

读者通过博文积累经验之两个项目数据交互——导入篇

本来是想把这套软件的背景写在这篇日志里好让读者对这个需求能有一个更清楚的了解,仔细想了想为了避免不必要的麻烦,所以就站在功能的角度上来写这篇日志吧(注:本文中出现的截图都会经过模糊处理)

本来是想把这套软件的背景写在这篇日志里好让读者对这个需求能有一个更清楚的了解,

仔细想了想为了避免不必要的麻烦,所以就站在功能的角度上来写这篇日志吧

(注:本文中出现的截图都会经过模糊处理)

 

两种不同数据库,里面数据结构截然不同

了方便接下来称呼我就简单的把它们称为

A、B系统

在不更改A系统任何代码的前提下要实现这两个项目的数据交互

 

要想把A数据取到B以及把B的数据写进A的系统流程里面无非需要对这两个系统的数据结构非常了解。

而现在对于A系统数据结构一无所知由其它软件公司开发

A系统DB2数据库,千余个数据表,其数据量在几百万左右

B系统由我方开发SQLServer数据库

200多个数据表,数据量在几十万行左右

(在这里我只是简单的描述一下两个系统的数据概念)

 

 

除了A 提供了.pdm文件就无任何关于A系统的其他说明文档

在这里注明一下Pdm:概念数据模型PowerDesigner文件

多人用PowerDesigner画ER图、做数据库的概念级设计

所以有了这份文档之后我开始剖析A数据库的数据结构,表之间的关系

实体,属性,标识符,约束。

而这份模型编写的也很详细、连字段的描述我都能清楚的看到。

 

经过对A系统反复的测试

(如:在A系统发布一条采购命令则在后台数据库哪些表多了哪些数据,分别每个字读代表什么含义)

我把每一个功能模块以及流程状态都整理成一份一份的文档说明。

由此脑子里有了一个比较清楚的概念。

 

 

完成了对A系统的初步了解之后接下来就考虑怎么跟B系统对接。

下面是我画的一个对接流程图

第一步

  1、  在SQLServer中建立一个和A系统DB2数据结构一模一样数据库我把它命名为A系统(SQL)

  2、把不会变动数据(如:基础数据)直接添加到A系统(SQL)数据库中

第二步

1、 建立一个DB2连接,配置ODBC数据源

2、  由于A系统(SQL)数据结构和A系统(DB2)数据结构一模一样所以可以很容易的通过编程语言把需要用到的表的最新数据发送到A系统(SQL)中

如:原DB2有上千个表实际上需要用到的只有20多个表、在此环节就只需要导这20多个表里面的数据

第三步

1、这时A系统(SQL)里的数据基本都是我们想要的数据只是数据结构和B系统(SQL)数据结构不一样通过存储过程把A系统(SQL)里的表各相关字段取出来整合成B系统(SQL)里的表结构一致,做到这一步的时候会出现很多细节问题这时可以仔细参照前文提到PDM文件中每个数据表的字段含义,及实际测试A系统从而使得取到的为准确的数据

如:B系统采购模块由单表构成,A系统采购模块由多表构成这时应该筛选掉那些无用字段合成一个表,相反如果B系统多表而A系统单表构成则把取到的数据拆分为多个表分别插入到B系统中

其实这些处理在存储过程中都不难处理无非就是需要仔细,严谨反复查询插入测试。

2、  当取到的数据都整理好这时就需要一个转换过程把A系统(SQL)数据编号转换成B系统(SQL)可识别的编号

如:羽毛球在A系统编号为SYY0000001 名称就叫羽毛球

 而B系统的羽毛球编号为1101名称则叫双星羽毛球

 这时就需要把SYY0000001转换成1101

羽毛球转换成双星羽毛球

   在B系统(SQL)中创建一个数据转换表把A系统(SQL)所有需要转换的字段都通过这个表转换成B系统(SQL)。

商品类型编码

检查类型编码

客户类型编码

 

注:此用的都是虚拟数据为了能让读者更方便读懂博文

根据这个转换表我在项目中做了一个数据接口维护的功能,这样做有一个好处那就是就算A系统中出现了新的编码,通过接口维护功能在系统转换表中新添一条数据把A系统中新编码所对应的B系统中的编码填好就能确保以后导入过来的新编码转换为可识别编码。

 

这时经过处理出来的数据不管数据结构就连数据内容都完完全全成功的转换成了B系统(SQL)里的数据

最后把这些数据直接插入到B系统(SQL)中 这样实现了A系统(DB2)数据导入

为了能让别人方便读懂我写了一个存储过程说明书

 

 

 

系统管理员点一下数据导入按钮则执行地第二步骤

把最新数据导入到中间缓冲数据库中也就是A系统(SQL)

把第三步按照系统流程各自分给每个部门用户

如:采购部 就只触发采购数据导入存储过程导入采购相关数据

组装部 就只触发组装数据导入存储过程导入组装相关数据

这样就不会重复执行不相关的任何代码,部门与部门之间数据导入也不会起冲突

 

好了两个项目之间数据交互导入模块基本就写到这里

整篇博文不需要读者完全读懂,只要清楚的知道思路,关键在那个流程图

有些地方写得详细有些地方一笔带过希望对看过的人能有帮助

接下来就是整个流程反过来实现数据导出功能(待续。。。)


推荐阅读
  • Hadoop入门与核心组件详解
    本文详细介绍了Hadoop的基础知识及其核心组件,包括HDFS、MapReduce和YARN。通过本文,读者可以全面了解Hadoop的生态系统及应用场景。 ... [详细]
  • 根据最新发布的《互联网人才趋势报告》,尽管大量IT从业者已转向Python开发,但随着人工智能和大数据领域的迅猛发展,仍存在巨大的人才缺口。本文将详细介绍如何使用Python编写一个简单的爬虫程序,并提供完整的代码示例。 ... [详细]
  • 1:有如下一段程序:packagea.b.c;publicclassTest{privatestaticinti0;publicintgetNext(){return ... [详细]
  • 深入理解 SQL 视图、存储过程与事务
    本文详细介绍了SQL中的视图、存储过程和事务的概念及应用。视图为用户提供了一种灵活的数据查询方式,存储过程则封装了复杂的SQL逻辑,而事务确保了数据库操作的完整性和一致性。 ... [详细]
  • 数据库内核开发入门 | 搭建研发环境的初步指南
    本课程将带你从零开始,逐步掌握数据库内核开发的基础知识和实践技能,重点介绍如何搭建OceanBase的开发环境。 ... [详细]
  • 使用C#开发SQL Server存储过程的指南
    本文介绍如何利用C#在SQL Server中创建存储过程,涵盖背景、步骤和应用场景,旨在帮助开发者更好地理解和应用这一技术。 ... [详细]
  • 在当前众多持久层框架中,MyBatis(前身为iBatis)凭借其轻量级、易用性和对SQL的直接支持,成为许多开发者的首选。本文将详细探讨MyBatis的核心概念、设计理念及其优势。 ... [详细]
  • 利用存储过程构建年度日历表的详细指南
    本文将介绍如何使用SQL存储过程创建一个完整的年度日历表。通过实例演示,帮助读者掌握存储过程的应用技巧,并提供详细的代码解析和执行步骤。 ... [详细]
  • MySQL缓存机制深度解析
    本文详细探讨了MySQL的缓存机制,包括主从复制、读写分离以及缓存同步策略等内容。通过理解这些概念和技术,读者可以更好地优化数据库性能。 ... [详细]
  • MySQL 数据库迁移指南:从本地到远程及磁盘间迁移
    本文详细介绍了如何在不同场景下进行 MySQL 数据库的迁移,包括从一个硬盘迁移到另一个硬盘、从一台计算机迁移到另一台计算机,以及解决迁移过程中可能遇到的问题。 ... [详细]
  • 本文详细探讨了JDBC(Java数据库连接)的内部机制,重点分析其作为服务提供者接口(SPI)框架的应用。通过类图和代码示例,展示了JDBC如何注册驱动程序、建立数据库连接以及执行SQL查询的过程。 ... [详细]
  • 本文详细介绍了如何使用 Yii2 的 GridView 组件在列表页面实现数据的直接编辑功能。通过具体的代码示例和步骤,帮助开发者快速掌握这一实用技巧。 ... [详细]
  • 本文深入探讨 MyBatis 中动态 SQL 的使用方法,包括 if/where、trim 自定义字符串截取规则、choose 分支选择、封装查询和修改条件的 where/set 标签、批量处理的 foreach 标签以及内置参数和 bind 的用法。 ... [详细]
  • 本文详细介绍了如何通过多种编程语言(如PHP、JSP)实现网站与MySQL数据库的连接,包括创建数据库、表的基本操作,以及数据的读取和写入方法。 ... [详细]
  • 高效解决应用崩溃问题!友盟新版错误分析工具全面升级
    友盟推出的最新版错误分析工具,专为移动开发者设计,提供强大的Crash收集与分析功能。该工具能够实时监控App运行状态,快速发现并修复错误,显著提升应用的稳定性和用户体验。 ... [详细]
author-avatar
mobiledu2502939211
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有