热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

消息队列基础知识

MQ 选型考量维度

可靠性、性能、功能、可运维性,可扩展性、是否开源及社区活跃

 

主题和队列

队列 和 发布-订阅模型

消息队列-基础知识

 

消息队列-基础知识

 

每个主题包含多个消息队列,通过多个消息队列实现并行生产和消费,

例如 RocketMQ 只在队列上保证消息的有序性,主题层面无法保证消息的严格顺序

队列 与主题 并没有本质的区别,他们最大的区别就是,一份消息能不能被多次消费。

 

如何利用事务性消息实现分布式事务

消息队列中的`事务`,主要解决的就是消息生产者和消息消费者的数据一致性问题。

例: RocketMQ 事务消息功能实现分布式事务流程如下

消息队列-基础知识

 

RocketMQ 中有事务反查机制,这种机制通过定时反查事务状态来补偿提交事务消息可能出现的失败。而在kafka中并没有这种反查机制(处理方式 直接抛异常),需要用户去自己解决这种问题

RocketMQ 的事务并没有完整实现事务的ACID (原子性、一致性、隔离性、持久性)四个特性

  • A(原子性) : 本地事务的操作1 与往消息队列中生产消息的操作 2,是两个分离的操作不符合对原子性的定义

  • C(一致性) : 由于消息队列是异步操作,在数据一致性上只能保证数据的最终一致性。 若多实时性要求较高的业务的话,事务消息是不一致的。但对实时性不高的系统可以酌情处理

如何确保消息不会丢失

目前消息队列都提供了非常完善的消息可靠性保护机制,完全可以做到在消息传递过长中,及时发生网络中端或者硬件故障,也能保证消息的可靠性传递,不丢消息

检测消息丢失的方法

  • 利用消息队列的有序性来验证消息是否丢失。

在消息生产者端,给每个消息附加一个连续递增的序号,然后在消息消费端检查(一般都有拦截器机制,不会侵入代码)这个序号的连续性。若检测到不连续的消息,则可通过缺失的序号判断丢了哪个消息。注意Kafka 和RocketMQ并不能保证 topic 上的严格顺序,so要指定分区(队列)

  • 确保消息的可靠投递

    • 生产阶段:在这个阶段,从消息在Producer 创建出来,经过网络传输发送到Broker端

      • 正确处理返回值 与 异常

    • 存储阶段:在这个阶段,消息在Broker端存储,如果是集群,消息会在这个阶段被复制到其他的副本上

      • 信息持久化到磁盘

      • 如果是集群部署的话,消息要达到多数节点(多副本机制)

    • 消费阶段:在这个阶段,Consumer从Broker 上拉取消息,经过网络传输发送到Cunsumer上

      • 消费端的逻辑处理完后及时响应ACK。不要在收到消息后就立即发送ACK

 

如何处理消费过程中的重复消息

消息重复的情况是必然的。在MQTT协议中,给处理三种传递消息的服务质量标准。从低到高依次是:

  1. At most once :至多一次,在消息传递过程中,对多会被送达一次。也就是说,没什么消息可靠性保证,允许丢消息。使用场景如对可靠性不高的监控,允许少量数据丢失

  2. At least once :至少一次,在消息传递时,至少会被送达一次,也就是说,不允许丢消息,但是允许有少量的重复消息出现 (大多数都是实现了它)

  3. Exactly once:恰好一次,消息传递时,只会被送达一次,不允许也丢失不允许重复,这个是***的。

用幂等性解决重复消息问题

  1. 利用数据库唯一约束实现幂等

  2. 利用状态机、version 来实现幂等

  3. 记录并检查操作(适用范围广) : 如何check ? 可能会引入更多的问题。。。

 

消息积压了该如何处理

一般来说 是 : 要么生产变快了,要么消费变慢了

  • 优化性能避免消息积压

    • 发送端性能优化(实际上与消息积压关系不大)。 准备数据、序列化消息、构造请求、网络耗时、Broker处理消息延迟

    • 消费端性能优化。(一般消费端的消费能力要大于生产端的) 批量处理。。。

      • 增加消费消费端实例。(同样的扩充相应的队列(分区),确保队列与消费者的实例数是相等的 )

      • 检查是不是消费失败从而导致一条消息反复消费

      • 检查是不是消费者触发了死锁或者卡死在某些资源

消费端是否可以通过批量消费的方式来提升消费性能?

1. 要求消费端能够处理或者开启多线程进行单条处理

2.批量消费一单某条数据消费失败会导致整批数据重复消费

3.对实时性要求不高,批量消费需要Broker积累到一定数据才会发送到Consumer,会使单次消费消息的耗时变长

 

 

 

 


推荐阅读
  • 本文详细介绍了Java代码分层的基本概念和常见分层模式,特别是MVC模式。同时探讨了不同项目需求下的分层策略,帮助读者更好地理解和应用Java分层思想。 ... [详细]
  • 秒建一个后台管理系统?用这5个开源免费的Java项目就够了
    秒建一个后台管理系统?用这5个开源免费的Java项目就够了 ... [详细]
  • 解决Bootstrap DataTable Ajax请求重复问题
    在最近的一个项目中,我们使用了JQuery DataTable进行数据展示,虽然使用起来非常方便,但在测试过程中发现了一个问题:当查询条件改变时,有时查询结果的数据不正确。通过FireBug调试发现,点击搜索按钮时,会发送两次Ajax请求,一次是原条件的请求,一次是新条件的请求。 ... [详细]
  • 服务器部署中的安全策略实践与优化
    服务器部署中的安全策略实践与优化 ... [详细]
  • 第二章:Kafka基础入门与核心概念解析
    本章节主要介绍了Kafka的基本概念及其核心特性。Kafka是一种分布式消息发布和订阅系统,以其卓越的性能和高吞吐量而著称。最初,Kafka被设计用于LinkedIn的活动流和运营数据处理,旨在高效地管理和传输大规模的数据流。这些数据主要包括用户活动记录、系统日志和其他实时信息。通过深入解析Kafka的设计原理和应用场景,读者将能够更好地理解其在现代大数据架构中的重要地位。 ... [详细]
  • Docker入门指南:初探容器化技术
    Docker入门指南:初探容器化技术摘要:Docker 是一个使用 Go 语言开发的开源容器平台,旨在实现应用程序的构建、分发和运行的标准化。通过将应用及其依赖打包成轻量级的容器,Docker 能够确保应用在任何环境中都能一致地运行,从而提高开发和部署的效率。本文将详细介绍 Docker 的基本概念、核心功能以及如何快速上手使用这一强大的容器化工具。 ... [详细]
  • 掌握PHP框架开发与应用的核心知识点:构建高效PHP框架所需的技术与能力综述
    掌握PHP框架开发与应用的核心知识点对于构建高效PHP框架至关重要。本文综述了开发PHP框架所需的关键技术和能力,包括但不限于对PHP语言的深入理解、设计模式的应用、数据库操作、安全性措施以及性能优化等方面。对于初学者而言,熟悉主流框架如Laravel、Symfony等的实际应用场景,有助于更好地理解和掌握自定义框架开发的精髓。 ... [详细]
  • ZeroMQ在云计算环境下的高效消息传递库第四章学习心得
    本章节深入探讨了ZeroMQ在云计算环境中的高效消息传递机制,涵盖客户端请求-响应模式、最近最少使用(LRU)队列、心跳检测、面向服务的队列、基于磁盘的离线队列以及主从备份服务等关键技术。此外,还介绍了无中间件的请求-响应架构,强调了这些技术在提升系统性能和可靠性方面的应用价值。个人理解方面,ZeroMQ通过这些机制有效解决了分布式系统中常见的通信延迟和数据一致性问题。 ... [详细]
  • 字节Java高级岗:java开发cpu吃多线程吗
    前言抱着侥幸心理投了字节跳动后台JAVA开发岗,居然收到通知去面试,一面下整个人来都是懵逼的,不知道我对着面试官都说了些啥(捂脸~~)。侥幸一面居然过了,三天后接到二面通知,结果这 ... [详细]
  • 本文详细介绍了如何在PHP中记录和管理行为日志,包括ThinkPHP框架中的日志记录方法、日志的用途、实现原理以及相关配置。 ... [详细]
  • 在分析和解决 Keepalived VIP 漂移故障的过程中,我们发现主备节点配置如下:主节点 IP 为 172.16.30.31,备份节点 IP 为 172.16.30.32,虚拟 IP 为 172.16.30.10。故障表现为监控系统显示 Keepalived 主节点状态异常,导致 VIP 漂移到备份节点。通过详细检查配置文件和日志,我们发现主节点上的 Keepalived 进程未能正常运行,最终通过优化配置和重启服务解决了该问题。此外,我们还增加了健康检查机制,以提高系统的稳定性和可靠性。 ... [详细]
  • 提升 Kubernetes 集群管理效率的七大专业工具
    Kubernetes 在云原生环境中的应用日益广泛,然而集群管理的复杂性也随之增加。为了提高管理效率,本文推荐了七款专业工具,这些工具不仅能够简化日常操作,还能提升系统的稳定性和安全性。从自动化部署到监控和故障排查,这些工具覆盖了集群管理的各个方面,帮助管理员更好地应对挑战。 ... [详细]
  • 优化后的标题:PHP分布式高并发秒杀系统设计与实现
    PHPSeckill是一个基于PHP、Lua和Redis构建的高效分布式秒杀系统。该项目利用php_apcu扩展优化性能,实现了高并发环境下的秒杀功能。系统设计充分考虑了分布式架构的可扩展性和稳定性,适用于大规模用户同时访问的场景。项目代码已开源,可在Gitee平台上获取。 ... [详细]
  • 为何Serverless将成为未来十年的主导技术领域?
    为何Serverless将成为未来十年的主导技术领域? ... [详细]
  • 启动activemq_「Java」SpringBoot amp; ActiveMQ
    一、消息队列消息队列中间件是分布式系统中重要的组件,主要解决应用耦合、异步消息、流量削锋等问题,实现高性能、高可用、可伸缩和最终一致性架构, ... [详细]
author-avatar
雨的到来2009
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有