热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

开发笔记:原创《从0开始学RocketMQ》—集群搭建

本文由编程笔记#小编为大家整理,主要介绍了原创《从0开始学RocketMQ》—集群搭建相关的知识,希望对你有一定的参考价值。用两台服务器,搭建出一个双master双slave、
本文由编程笔记#小编为大家整理,主要介绍了原创《从0开始学RocketMQ》—集群搭建相关的知识,希望对你有一定的参考价值。


用两台服务器,搭建出一个双master双slave、无单点故障的高可用 RocketMQ 集群。此处假设两台服务器的物理 IP 分别为:192.168.50.1、192.168.50.2。


内容目录

1. 启动 NameServer 集群

2. 启动 Broker 集群

3. RocketMQ 可视化管理控制台:rocketmq-console

4. 集群测试


 


1. 启动 NameServer 集群

在两台服务器上分别启动 NameServer,可以得到一个无单点故障的 NameServer 服务,服务地址分别为:192.168.50.1:9876、192.168.50.2:9876。


 


2. 启动 Broker 集群

修改 Broker 配置文件,以使每台服务器上都可以启动一个 Master 角色 的 Broker 和 一个Slave 角色的 Broker。
首先找到 Broker 配置文件,此处我们搭建一个同步双写模式的集群,所以需要修改 2m-2s-sync 目录下的 broker 配置文件:


[[email protected]157-89 ~]# cd /usr/local/rocketmq-all-4.3.2-bin-release/conf/
[[email protected]
157-89 conf]# ls
2m
-2s-async 2m-2s-sync 2m-noslave broker.conf logback_broker.xml logback_namesrv.xml logback_tools.xml
[[email protected]
157-89 conf]# cd 2m-2s-sync/
[[email protected]
157-89 2m-2s-sync]# ls
broker
-a.properties broker-a-s.properties broker-b.properties broker-b-s.properties

1) 修改 192.168.50.1 服务器上的 broker-a.properties 为 Master 角色的 Broker:


namesrvAddr=192.168.50.1:9876;192.168.50.2:9876
brokerClusterName
=rocketMqCluster
brokerIP1
=192.168.50.1
brokerName
=broker-a
brokerId
=0
deleteWhen
=04
fileReservedTime
=120
mapedFileSizeConsumeQueue
=500000
brokerRole
=SYNC_MASTER
flushDiskType
=ASYNC_FLUSH
listenPort
=10911
autoCreateTopicEnable
=true
autoCreateSubscriptionGroup
=true
storePathRootDir
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-a
storePathCommitLog
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-a/commitlog
storePathConsumeQueue
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-a/consumequeue
storePathIndex
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-a/index
storeCheckpoint
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-a/checkpoint
abortFile
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-a/abort

2) 修改 192.168.50.2 服务器上的 broker-b.properties 为 Master 角色的 Broker:


namesrvAddr=192.168.50.1:9876;192.168.50.2:9876
brokerClusterName
=rocketMqCluster
brokerIP1
=192.168.50.2
brokerName
=broker-b
brokerId
=0
deleteWhen
=04
fileReservedTime
=120
mapedFileSizeConsumeQueue
=500000
brokerRole
=SYNC_MASTER
flushDiskType
=ASYNC_FLUSH
listenPort
=10911
autoCreateTopicEnable
=true
autoCreateSubscriptionGroup
=true
storePathRootDir
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-b
storePathCommitLog
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-b/commitlog
storePathConsumeQueue
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-b/consumequeue
storePathIndex
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-b/index
storeCheckpoint
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-b/checkpoint
abortFile
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-b/abort

3) 修改 192.168.50.1 服务器上的 broker-b-s.properties 为 Slave 角色的 Broker:


namesrvAddr=192.168.50.1:9876;192.168.50.2:9876
brokerClusterName
=rocketMqCluster
brokerIP1
=192.168.50.1
brokerName
=broker-b
brokerId
=1
deleteWhen
=04
fileReservedTime
=120
mapedFileSizeConsumeQueue
=500000
brokerRole
=SLAVE
flushDiskType
=ASYNC_FLUSH
listenPort
=10921
autoCreateTopicEnable
=true
autoCreateSubscriptionGroup
=true
storePathRootDir
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-b-s
storePathCommitLog
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-b-s/commitlog
storePathConsumeQueue
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-b-s/consumequeue
storePathIndex
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-b-s/index
storeCheckpoint
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-b-s/checkpoint
abortFile
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-b-s/abort

4) 修改 192.168.50.2 服务器上的 broker-a-s.properties 为 Slave 角色的 Broker:


namesrvAddr=192.168.50.1:9876;192.168.50.2:9876
brokerClusterName
=rocketMqCluster
brokerIP1
=192.168.50.2
brokerName
=broker-a
brokerId
=1
deleteWhen
=04
fileReservedTime
=48
brokerRole
=SLAVE
flushDiskType
=ASYNC_FLUSH
listenPort
=10921
autoCreateTopicEnable
=true
autoCreateSubscriptionGroup
=true
storePathRootDir
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-a-s
storePathCommitLog
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-a-s/commitlog
storePathConsumeQueue
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-a-s/consumequeue
storePathIndex
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-a-s/index
storeCheckpoint
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-a-s/checkpoint
abortFile
=/usr/local/rocketmq-all-4.3.2-bin-release/data/broker-a-s/abort

一台服务器上启动多个Broker 时,需指定不同的端口号,记得防火墙放开 NameServer 和 Broker 中用到的端口号哦~

分别启动四个 Broker:


nohup sh bin/mqbroker -c broker_config_file &


 


3. RocketMQ 可视化管理控制台:rocketmq-console

在服务器 192.168.50.1 上安装即可,无需集群


[[email protected]153-215 local]# git clone https://github.com/apache/rocketmq-externals.git
Cloning into rocketmq-externals...
remote: Enumerating objects:
10, done.
remote: Counting objects:
100% (10/10), done.
remote: Compressing objects:
100% (10/10), done.
remote: Total
9425 (delta 2), reused 1 (delta 0), pack-reused 9415
Receiving objects:
100% (9425/9425), 11.86 MiB | 232.00 KiB/s, done.
Resolving deltas:
100% (4235/4235), done.
[[email protected]
153-215 local]# cd rocketmq-externals/
[[email protected]
153-215 rocketmq-externals]# ls
dev README.md rocketmq
-console rocketmq-docker rocketmq-flink rocketmq-flume rocketmq-hbase rocketmq-iot-bridge rocketmq-jms rocketmq-mysql rocketmq-php rocketmq-redis rocketmq-sentinel rocketmq-serializer rocketmq-spark
[[email protected]
153-215 rocketmq-externals]# git branch
* master
[[email protected]
153-215 rocketmq-externals]# git fetch origin release-rocketmq-console-1.0.0
From https:
//github.com/apache/rocketmq-externals
* branch release-rocketmq-console-1.0.0 -> FETCH_HEAD
[[email protected]
153-215 rocketmq-externals]# git checkout -b release-1.0.0 origin/release-rocketmq-console-1.0.0
Branch
release-1.0.0 set up to track remote branch release-rocketmq-console-1.0.0 from origin.
Switched to a
new branch release-1.0.0
[[email protected]
153-215 rocketmq-externals]# ls
README.md rocketmq
-console
[[email protected]
153-215 rocketmq-externals]# ls rocketmq-console/
doc LICENSE NOTICE pom.xml README.md src style
[[email protected]
153-215 rocketmq-externals]# vim rocketmq-console/src/main/resources/application.properties

编辑 application.properties:


server.cOntextPath=/rocketmq
server.port
=8080
#spring.application.index
=true
spring.application.name
=rocketmq-console
spring.http.encoding.charset
=UTF-8
spring.http.encoding.enabled
=true
spring.http.encoding.force
=true
logging.config
=classpath:logback.xml
#if this value is empty,use env value rocketmq.config.namesrvAddr NAMESRV_ADDR | now, you can set it in ops page.default localhost:9876
rocketmq.config.namesrvAddr
=192.168.50.1:9876;192.168.50.2:9876
#if you use rocketmq version <3.5.8, rocketmq.config.isVIPChannel should be false.default true
rocketmq.config.isVIPChannel
=
#rocketmq
-consoles data path:dashboard/monitor
rocketmq.config.dataPath=/tmp/rocketmq-console/data
#
set it false if you dont want use dashboard.default true
rocketmq.config.enableDashBoardCollect=true

移动 rocketmq-console 所在目录,编译并启动 rocketmq-console:


[[email&#160;protected]153-215 rocketmq-console]# mv /usr/local/rocketmq-externals/rocketmq-console /usr/local/rocketmq-console
[[email&#160;protected]
153-215 rocketmq-console]# cd /usr/local/rocketmq-console/
[[email&#160;protected]
153-215 rocketmq-console]# ls
doc LICENSE NOTICE pom.xml README.md src style
[[email&#160;protected]
153-215 rocketmq-console]# mvn clean package -Dmaven.test.skip=true
........
[INFO] Building jar:
/usr/local/rocketmq-console/target/rocketmq-console-ng-1.0.0-sources.jar
[INFO]
------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO]
------------------------------------------------------------------------
[INFO] Total time:
02:54 min
[INFO] Finished at:
2019-01-11T17:02:34+08:00
[INFO]
------------------------------------------------------------------------
[[email&#160;protected]
153-215 rocketmq-console]# ls
doc LICENSE NOTICE pom.xml README.md src style target
[[email&#160;protected]
153-215 rocketmq-console]# ls target/
checkstyle
-cachefile checkstyle-checker.xml checkstyle-result.xml classes generated-sources maven-archiver maven-status rocketmq-console-ng-1.0.0.jar rocketmq-console-ng-1.0.0.jar.original rocketmq-console-ng-1.0.0-sources.jar
[[email&#160;protected]
153-215 rocketmq-console]# java -jar target/rocketmq-console-ng-1.0.0.jar
.......
[
2019-01-11 17:04:15.980] INFO Initializing ProtocolHandler ["http-nio-8080"]
[
2019-01-11 17:04:15.991] INFO Starting ProtocolHandler [http-nio-8080]
[
2019-01-11 17:04:16.232] INFO Using a shared selector for servlet write/read
[
2019-01-11 17:04:16.251] INFO Tomcat started on port(s): 8080 (http)
[
2019-01-11 17:04:16.257] INFO Started App in 6.594 seconds (JVM running for 7.239)


 


4. 集群测试

Producer 测试代码:


public class SyncProducerTest {
public static void main(String[] args) {
DefaultMQProducer producer
= new DefaultMQProducer("producer_test_group");
producer.setNamesrvAddr(
"39.107.153.215:9876;39.107.157.89:9876");
try{
producer.start();
for(int i=0;i<100;i++){
Message message
= new Message("topic_test", "tag_test", ("Hello World" + 1).getBytes("UTF-8"));
SendResult sendResult
= producer.send(message);
System.out.println(JSON.toJSON(sendResult));
}
producer.shutdown();
}
catch (Exception e){
e.printStackTrace();
}
}
}

Consumer 测试代码:


public class SyncConsumerTest {
public static void main(String[] args) {
DefaultMQPushConsumer consumer
= new DefaultMQPushConsumer("consumer_test_group");
consumer.setNamesrvAddr(
"39.107.153.215:9876;39.107.157.89:9876");
consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
try {
consumer.subscribe(
"topic_test", "*");
consumer.registerMessageListener((MessageListenerConcurrently) (messageList, context)
-> {
System.out.println(Thread.currentThread().getName()
+ " Receive New Message:" + messageList);
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
});
consumer.start();
}
catch (Exception e){
e.printStackTrace();
}
}
}

SyncProducerTest 运行日志:

技术分享图片

SyncConsumerTest 运行日志:

技术分享图片

通过日志可以看到,消费者、生产者收发消息都是正常的,我们去可视化管理控制台查看下 http://192.168.50.1:8080/rocketmq:

技术分享图片

通过管控台可以看到,双 master 双 slave 的 broker 集群一切正常,并可进一步看到每个 broker 处理消息的情况。



推荐阅读
  • 在Linux系统中避免安装MySQL的简易指南
    在Linux系统中避免安装MySQL的简易指南 ... [详细]
  • IOS Run loop详解
    为什么80%的码农都做不了架构师?转自http:blog.csdn.netztp800201articledetails9240913感谢作者分享Objecti ... [详细]
  • MicrosoftDeploymentToolkit2010部署培训实验手册V1.0目录实验环境说明3实验环境虚拟机使用信息3注意:4实验手册正文说 ... [详细]
  • 网站访问全流程解析
    本文详细介绍了从用户在浏览器中输入一个域名(如www.yy.com)到页面完全展示的整个过程,包括DNS解析、TCP连接、请求响应等多个步骤。 ... [详细]
  • javascript分页类支持页码格式
    前端时间因为项目需要,要对一个产品下所有的附属图片进行分页显示,没考虑ajax一张张请求,所以干脆一次性全部把图片out,然 ... [详细]
  • 本文详细介绍了如何使用Python中的smtplib库来发送带有附件的邮件,并提供了完整的代码示例。作者:多测师_王sir,时间:2020年5月20日 17:24,微信:15367499889,公司:上海多测师信息有限公司。 ... [详细]
  • 解决Parallels Desktop错误15265的方法
    本文详细介绍了在使用Parallels Desktop时遇到错误15265的多种解决方案,包括检查网络连接、关闭代理服务器和修改主机文件等步骤。 ... [详细]
  • 解决 Windows Server 2016 网络连接问题
    本文详细介绍了如何解决 Windows Server 2016 在使用无线网络 (WLAN) 和有线网络 (以太网) 时遇到的连接问题。包括添加必要的功能和安装正确的驱动程序。 ... [详细]
  • 本文详细介绍了 InfluxDB、collectd 和 Grafana 的安装与配置流程。首先,按照启动顺序依次安装并配置 InfluxDB、collectd 和 Grafana。InfluxDB 作为时序数据库,用于存储时间序列数据;collectd 负责数据的采集与传输;Grafana 则用于数据的可视化展示。文中提供了 collectd 的官方文档链接,便于用户参考和进一步了解其配置选项。通过本指南,读者可以轻松搭建一个高效的数据监控系统。 ... [详细]
  • 如何在Linux服务器上配置MySQL和Tomcat的开机自动启动
    在Linux服务器上部署Web项目时,通常需要确保MySQL和Tomcat服务能够随系统启动而自动运行。本文将详细介绍如何在Linux环境中配置MySQL和Tomcat的开机自启动,以确保服务的稳定性和可靠性。通过合理的配置,可以有效避免因服务未启动而导致的项目故障。 ... [详细]
  • 在CentOS 7环境中安装配置Redis及使用Redis Desktop Manager连接时的注意事项与技巧
    在 CentOS 7 环境中安装和配置 Redis 时,需要注意一些关键步骤和最佳实践。本文详细介绍了从安装 Redis 到配置其基本参数的全过程,并提供了使用 Redis Desktop Manager 连接 Redis 服务器的技巧和注意事项。此外,还探讨了如何优化性能和确保数据安全,帮助用户在生产环境中高效地管理和使用 Redis。 ... [详细]
  • PTArchiver工作原理详解与应用分析
    PTArchiver工作原理及其应用分析本文详细解析了PTArchiver的工作机制,探讨了其在数据归档和管理中的应用。PTArchiver通过高效的压缩算法和灵活的存储策略,实现了对大规模数据的高效管理和长期保存。文章还介绍了其在企业级数据备份、历史数据迁移等场景中的实际应用案例,为用户提供了实用的操作建议和技术支持。 ... [详细]
  • SecureCRT是一款功能强大的终端仿真软件,支持SSH1和SSH2协议,适用于在Windows环境下高效连接和管理Linux服务器。该工具不仅提供了稳定的连接性能,还具备丰富的配置选项,能够满足不同用户的需求。通过SecureCRT,用户可以轻松实现对远程Linux系统的安全访问和操作。 ... [详细]
  • 最详尽的4K技术科普
    什么是4K?4K是一个分辨率的范畴,即40962160的像素分辨率,一般用于专业设备居多,目前家庭用的设备,如 ... [详细]
  • 本文介绍了如何使用Python的Paramiko库批量更新多台服务器的登录密码。通过示例代码展示了具体实现方法,确保了操作的高效性和安全性。Paramiko库提供了强大的SSH2协议支持,使得远程服务器管理变得更加便捷。此外,文章还详细说明了代码的各个部分,帮助读者更好地理解和应用这一技术。 ... [详细]
author-avatar
yoyokk99的秋天
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有