热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

kafka吞吐量单位,终于搞明白了

缓存维护方案一如果是一读(线程B)一写(线程A)操作,「先操作缓存,再操作数据库」。流程图如下

缓存维护方案一

如果是一读(线程B)一写(线程A)操作,「先操作缓存,再操作数据库」。流程图如下所示:


  • 1.线程A发起一个写操作,第一步del cache

  • 2.线程A第二步写入新数据到DB

  • 3.线程B发起一个读操作,cache miss缓存失效了。

  • 4.线程B从DB获取最新数据

  • 5.线程B执行set cache,把从DB读到的数据,更新到缓存。

「这样看,没啥问题」。我们再看第二个流程图,如下:


  • 1.线程A发起一个写操作,第一步del cache

  • 2.此时线程B发起一个读操作,cache miss

  • 3.线程B继续读DB,读出来一个老数据

  • 4.然后老数据设置入cache

  • 5.线程A写入DB最新的数据

OK,酱紫,就有问题了吧,老数据入到缓存了,「每次读都是老数据啦,缓存与数据与数据库数据不一致了」


缓存维护方案二

上个方案是一读一写,如果是双写操作,「先操作缓存,再操作数据库」,会怎么样呢?


  • 1.线程A发起一个写操作,第一步set cache

  • 2.线程A第二步写入新数据到DB

  • 3.线程B发起一个写操作,set cache

  • 4.线程B第二步写入新数据到DB

「这样看,也没啥问题。」,但是有时候可能事与愿违,我们再看第二个流程图,如下:


  • 1.线程A发起一个写操作,第一步set cache

  • 2.线程B发起一个写操作,第一步set cache

  • 3.线程B写入数据库到DB

  • 4.线程A写入数据库到DB

执行完后,缓存保存的是B操作后的数据,数据库是A操作后的数据,「缓存和数据库数据不一致」


缓存维护方案三

一写(线程A)一读(线程B)操作,「先操作数据库,再操作缓存」


  • 1.线程A发起一个写操作,第一步write DB

  • 2.线程A第二步del cache

  • 3.线程B发起一个读操作,cache miss

  • 4.线程B从DB获取最新数据

  • 5.线程B同时set cache

「有些朋友可能认为,在第2步删除缓存之前,线程B读过来呢?这时候,读到的是缓存老数据,这个可以认为是正常业务逻辑呀,下次再读取就是正确数据了。」

这种方案**「没有明显的并发问题」,但是有可能「步骤二删除缓存失败」,虽然概率比较小,「优于方案一和方案二」**,平时工作中也是使用方案三。

综上对比,我们一般采用方案三,但是有没有完美全解决方案三的弊端的方法呢?


缓存维护方案四

这个是方案三的改进方案,都是先操作数据库再操作缓存,我们来看一下流程图:

通过数据库的**「binlog」「异步淘汰key」,以mysql为例 可以「使用阿里的canal将binlog日志采集发送到MQ队列」里面,然后「通过ACK机制 确认处理」** 这条更新消息,删除缓存,保证数据缓存一致性。

但是呢还有个问题,「如果是主从数据库呢」?


缓存维护方案五

主从DB问题:因为主从DB同步存在延时时间。如果删除缓存之后,数据同步到备库之前已经有请求过来时,「会从备库中读到脏数据」,如何解决呢?解决方案如下流程图:


缓存维护总结

综上所述,在分布式系统中,缓存和数据库同时存在时,如果有写操作的时候,「先操作数据库,再操作缓存」。如下:


  • 1.读取缓存中是否有相关数据
  • 2.如果缓存中有相关数据value,则返回
  • 3.如果缓存中没有相关数据,则从数据库读取相关数据放入缓存中key->value,再返回
  • 4.如果有更新数据,则先更新数据库,再删除缓存
  • 5.为了保证第四步删除缓存成功,使用binlog异步删除
  • 6.如果是主从数据库,binglog取自于从库
  • 7.如果是一主多从,每个从库都要采集binlog,然后消费端收到最后一台binlog数据才删除缓存

笔者福利


以下是小编自己针对马上即将到来的金九银十准备的一套“面试宝典”,不管是技术还是HR的问题都有针对性的回答。

有了这个,面试踩雷?不存在的!


需要这套“面试宝典”的,点击这里即可免费获取!回馈粉丝,诚意满满!!!




[外链图片转存中…(img-kfHWnbSj-1626043474487)]
[外链图片转存中…(img-iQQtzZcw-1626043474488)]
[外链图片转存中…(img-wVTSM9Ul-1626043474489)]


推荐阅读
  • 一面问题:MySQLRedisKafka线程算法mysql知道哪些存储引擎,它们的区别mysql索引在什么情况下会失效mysql在项目中的优化场景&# ... [详细]
  • 深入解析:主流开源分布式文件系统综述
    本文详细探讨了几款主流的开源分布式文件系统,包括HDFS、MooseFS、Lustre、GlusterFS和CephFS,重点分析了它们的元数据管理和数据一致性机制,旨在为读者提供深入的技术见解。 ... [详细]
  • 本文探讨了在C#服务中捕获控制台输出的有效方法,特别是在远程系统部署的应用场景下。文中不仅提供了基础的解决方案,还深入讨论了最佳实践,如使用日志库和事件日志等。 ... [详细]
  • 本文继续探讨 Redis 分布式锁的高级特性,重点分析超时问题和可重入性的实现,以及如何通过不同的策略处理锁冲突。 ... [详细]
  • 本文提供了一套实用的方法论,旨在帮助开发者构建能够应对高并发请求且易于扩展的Web服务。内容涵盖了服务器架构、数据库管理、缓存策略以及异步处理等多个方面。 ... [详细]
  • 深入理解Kafka架构
    本文将详细介绍Kafka的内部工作机制,包括其工作流程、文件存储机制、生产者与消费者的具体实现,以及如何通过高效读写技术和Zookeeper支持来确保系统的高性能和稳定性。 ... [详细]
  • Java性能优化指南 | 制定有效的性能优化策略
    探讨Java应用性能优化的方法与策略,包括性能测试技巧、常见问题及解决方案,旨在帮助开发者提升系统性能。 ... [详细]
  • 深入理解生产者-消费者模式的设计与应用
    本文探讨了生产者-消费者模式在软件设计中的重要性,特别是如何通过解耦生产者和消费者来提高系统的灵活性和可维护性。此外,还讨论了该模式如何支持高效的并发处理以及应对不同负载情况的能力。 ... [详细]
  • 本文探讨了Java中实现定时任务的几种常见方式,包括java.util.Timer、ScheduledExecutorService以及Spring Task,并对每种方法进行了详细的代码示例和优缺点分析。 ... [详细]
  • socket函数SOCKET()我们使用系统调用socket()来获得文件描述符:#include#includei ... [详细]
  • Java并发编程深入探讨:对象组合与线程安全
    本文详细介绍了如何利用现有线程安全组件构建大规模并发应用程序,探讨了设计线程安全类的关键要素,并提供了多种确保线程安全的技术方案。 ... [详细]
  • 解决MySQL错误2002:无法建立数据库连接
    本文详细描述了在Digital Ocean服务器上托管的多个WordPress站点突然出现数据库连接错误的情况,并提供了有效的解决方案。 ... [详细]
  • 新萝卜Ghost Xp Sp3 装机版
    新萝卜GhostXpSp3装机版XLB_201305ZJB.iso大小:901457920字节MD5:EBE33B7DB119CF2D0B1D79F8F0FC22BFSHA1:0 ... [详细]
  • 本文探讨了MySQL慢查询日志对系统性能的具体影响,以及如何利用这些日志来定位和优化执行效率低下的SQL语句。慢查询日志记录了所有超出设定时间阈值的SQL操作,这对于诊断和提升数据库性能至关重要。 ... [详细]
  • 冗余表设计与数据一致性保障策略
    本文探讨了在大规模数据处理中采用冗余表的必要性及其实施方法,分析了冗余表在实现过程中的顺序选择问题,并提出了多种确保数据一致性的解决方案。 ... [详细]
author-avatar
撩人无聊的青春
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有