内存数据库和关系数据库之间的数据同步原理

关系数据库到内存数据库同步

这部分数据同步采用增量表的方式&＃xff0c;系统新增或更新的数据将生成到关系数据库的增量表中&＃xff0c;程序先到这些增量表中查询数据。如果能在这些增量表中查到数据就把这些数据更新到内存数据库对应表中&＃xff0c;如果查不到&＃xff0c;就直接从内存数据库中直接查询&＃xff0c;从而保证了数据的完整性和实时性。由于增量表的数据量一般会很小&＃xff0c;所以这部分操作不会影响系统的性能。

内存数据库到关系数据库同步

由于关系数据库的数据几乎都加载到了内存数据库中&＃xff0c;所以关系数据库对应的数据表将主要用于对内存数据库的数据备份。

用户最新的信息都保存在内存数据库中&＃xff0c;实时查询将直接连接到内存数据库中查询&＃xff0c;保证用户得到最新的信息。因此对关系数据库中的这部分数据已经没有实时性的要求。这时内存数据库到关系数据库的同步可以由应用程序生成文件&＃xff0c;定时地往关系数据库中同步备份&＃xff0c;或者采用关系数据库的存储过程在系统相对空闲时间段进行数据导入就可以了。

传统的数据库系统是关系型数据库&＃xff0c;开发这种数据库的目的&＃xff0c;是处理永久、稳定的数据。关系数据库强调维护数据的完整性、一致性&＃xff0c;但很难顾及有关数据及其处理的定时限制&＃xff0c;不能满足工业生产管理实时应用的需要&＃xff0c;因为实时事务要求系统能较准确地预报事务的运行时间。

对磁盘数据库而言&＃xff0c;由于磁盘存取、内外存的数据传递、缓冲区管理、排队等待及锁的延迟等使得事务实际平均执行时间与估算的最坏情况执行时间相差很大&＃xff0c;如果将整个数据库或其主要的“工作”部分放入内存&＃xff0c;使每个事务在执行过程中没有I/O&＃xff0c;则为系统较准确估算和安排事务的运行时间&＃xff0c;使之具有较好的动态可预报性提供了有力的支持&＃xff0c;同时也为实现事务的定时限制打下了基础。这就是内存数据库出现的主要原因。

内存数据库所处理的数据通常是“短暂”的&＃xff0c;即有一定的有效时间&＃xff0c;过时则有新的数据产生&＃xff0c;而当前的决策推导变成无效。所以&＃xff0c;实际应用中采用内存数据库来处理实时性强的业务逻辑处理数据。而传统数据库旨在处理永久、稳定的数据&＃xff0c;其性能目标是高的系统吞吐量和低的代价&＃xff0c;处理数据的实时性就要考虑的相对少一些。实际应用中利用传统数据库这一特性存放相对实时性要求不高的数据。

在实际应用中这两种数据库常常结合使用&＃xff0c;而不是以内存数据库替代传统数据库。

而内存数据库也分全内存计算和热内存计算。全内存计算&＃xff0c;即数据需要全部装载到内存中进行计算&＃xff0c;对硬件要求高&＃xff0c;譬如QlikView等产品。热内存计算&＃xff0c;部分数据加载到内存中即可以进行计算&＃xff0c;硬盘和内存会有数据交换来计算未加载的数据&＃xff0c;譬如Yonghong Z-Suite。