热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

mysql表每天需要全量更新,但不间断查询,怎么搞?

场景1)千万甚至亿级别的表,每天要更新全量的数据.之所以全量更新,是因为,每天新的数据相对于旧数据有增,有减,有更新.所以只能全量更新.2)同

场景

1) 千万甚至亿级别的表, 每天要更新全量的数据. 之所以全量更新, 是因为, 每天新的数据相对于旧数据有增, 有减, 有更新. 所以只能全量更新.
2) 同时, 需要保证能够提供不间断的查询.

这两条很是冲突.
若是对于只增不减的数据, 我可以每天一个partition放增量的数据, 然后用sqoop导出到mysql, 根据

1
update-key

对已有数据更新替换, 没有的新增. 虽然可能慢了点, 但是能保证不间断查询.
但是, 现在对于有增, 有减, 有更新的数据. 表示有点棘手.
目前想到是, mysql里准备A,B两张一样的表. web服务里面, 在新的一天, 比如8点开始, 定时检查, 若当前用的A表, 那么就去检查B表状态, 若成功更新了数据, web服务则切换到B表, 今天的所有查询就会走B表. 到第二天同样如此.

不知道, 还有没有更好的方案?


推荐阅读
author-avatar
随风2502891175
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有