阿里云环境迁移记录RabbitMQ集群搭建

RabbitMQ模式大概分为以下三种:
(1)单一模式。
(2)普通模式(默认的集群模式)。
(3) 镜像模式(把需要的队列做成镜像队列&＃xff0c;存在于多个节点&＃xff0c;属于RabbiMQ的HA方案&＃xff0c;在对业务可靠性要求较高的场合中比较适用)。
要实现镜像模式&＃xff0c;需要先搭建一个普通集群模式&＃xff0c;在这个模式的基础上再配置镜像模式以实现高可用。

RabbitMQ的集群节点包括内存节点、磁盘节点。
RabbitMQ支持消息的持久化也就是数据写在磁盘上&＃xff0c;默认是磁盘节点。

RabbitMQ相关端口

4369 (epmd), 25672 (Erlang distribution)
5672, 5671 (AMQP 0-9-1 without and with TLS)
15672 (if management plugin is enabled)
61613, 61614 (if STOMP is enabled)
1883, 8883 (if MQTT is enabled)

RabbitMQ 集群节点设置

server103.example.com IP: 192.168.72.103 Node: disk
server105.example.com IP: 192.168.72.105 Node: disk
server106.example.com IP: 192.168.72.106 Node: disk

rabbitMQ单机安装配置

1. 安装erlang依赖
yum install -y epel-release
或者通过yum源安装
#添加EPEL源
rpm -Uvh https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
添加Erlang源
rpm -Uvh http://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm

2. 安装RabbitMQ Server
yum install -y rabbitmq-server
(默认安装目录为&＃xff1a;/usr/lib/rabbitmq/bin/)

或者通过yum源安装

wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.1/rabbitmq-server-3.6.1-1.noarch.rpm
rpm --import https://www.rabbitmq.com/rabbitmq-signing-key-public.asc
yum install rabbitmq-server-3.6.1-1.noarch.rpm

3. 单机配置
#调整系统限制

vi /etc/sysctl.conf
fs.file-max &＃61; 300000

#设置生效
sysctl -p
#查看
sysctl fs.file-max

#调整用户限制
vi /etc/security/limits.conf

* soft nofile 65536
* hard nofile 65536

#添加host
echo "192.168.72.103 server103" >> /etc/hosts

#防火墙打开端口

firewall-cmd --permanent --add-port&＃61;15672/tcp
firewall-cmd –-reload

#设置自动重启

chkconfig rabbitmq-server on
service rabbitmq-server start

#启动监控插件

rabbitmq-plugins list //查看插件安装情况
rabbitmq-plugins enable rabbitmq_management //启用rabbitmq_management服务

4. 用户管理
#添加用户

rabbitmqctl add_user admin admin
rabbitmqctl add_user travel 88gongxiangrbq

#设置用户角色

rabbitmqctl set_user_tags admin administrator
rabbitmqctl set_user_tags travel administrator

#设置用户权限&＃xff08;设置admin用户配置、写、读的权限&＃xff09;

rabbitmqctl set_permissions -p / admin ".*" ".*" ".*"
rabbitmqctl set_permissions -p / travel ".*" ".*" ".*"

#删除guest用户
rabbitmqctl delete_user guest

rabbitmq从3.3.0开始禁止使用guest/guest权限通过除localhost外的访问。
如果想使用guest/guest通过远程机器访问&＃xff0c;需要在rabbitmq配置文件中(/etc/rabbitmq/rabbitmq.config)中设置loopbackusers为[]。
[{rabbit, [{loopbackusers, []}]}].

#管理界面
在浏览器中打开http://192.268.72.104:15672

#默认配置说明
cat /usr/lib/rabbitmq/lib/rabbitmq_server-3.6.1/sbin/rabbitmq-defaults

• 系统prefix是空
• 配置文件路径是 /etc/rabbitmq/rabbitmq.config (erlang会自动加上.config后缀)
• 环境配置文件是 /etc/rabbitmq/rabbitmq-env.conf
• 日志文件目录是 /var/log/rabbitmq
• 插件文件目录是 安装目录下的plugins&＃xff0c;这里RPM安装方式下是 /usr/lib/rabbitmq/lib/rabbitmq_server-3.6.1/plugins

集群配置

1. 配置三台机器的主机名&＃xff08;三台机器分别执行&＃xff09;

hostnamectl set-hostname server103
hostnamectl set-hostname server105
hostnamectl set-hostname server106

查看效果&＃xff1a;
hostname

配置三台机器的hosts解析&＃xff08;三台机器都添加如下配置&＃xff09;

vi /etc/hosts
192.168.72.103 server103
192.168.72.105 server105
192.168.72.106 server106

2. 设置每个节点COOKIE
Rabbitmq的集群是依赖于erlang的集群来工作的&＃xff0c;所以必须先构建起erlang的集群环境。Erlang的集群中各节点是通过一个magic COOKIE来实现的&＃xff0c;这个COOKIE存放在 /var/lib/rabbitmq/.erlang.COOKIE 中&＃xff0c;文件是400的权限。所以必须保证各节点COOKIE保持一致&＃xff0c;否则节点之间就无法通信

选择其中一台作为集群主节点&＃xff0c;将其COOKIEcopy到另外两台机器上。

chmod 700 /var/lib/rabbitmq/.erlang.COOKIE
echo -n "YACWQCCKIKHSVKFFJYBL" > /var/lib/rabbitmq/.erlang.COOKIE
chmod 400 /var/lib/rabbitmq/.erlang.COOKIE

网上看到有些朋友&＃xff0c;将其中一台的COOKIE&＃xff0c;远程发送到其他节点服务器&＃xff0c;这样容易导致COOKIE文件的属组变化&＃xff0c;默认为rabbitmq&＃xff0c;下面的一个错误会提到。

#修改COOKIE后需要重启mq

ps -ef | grep ^rabbitmq | awk &＃39;{print $2}&＃39; | xargs kill -9
service rabbitmq-server start

常见的启动失败&＃xff1a;
Starting rabbitmq-server (via systemctl): Job for rabbitmq-server.service failed because the control process exited with error code. See "systemctl status rabbitmq-server.service" and "journalctl -xe" for details.

查看日志&＃xff1a;

tail -f /var/log/rabbitmq/startup_log
{error_logger,{{2019,2,19},{16,10,19}},"Error when reading /var/lib/rabbitmq/.erlang.COOKIE: eacces",[]}
{error_logger,{{2019,2,19},{16,10,19}},crash_report,[[{initial_call,{auth,init,[&＃39;Argument__1&＃39;]}},{pid,<0.20.0>},{registered_name,[]},{error_info,{exit,{"Error when reading /var/lib/rabbitmq/.erlang.COOKIE: eacces",[{auth,init_COOKIE,0,[{file,"auth.erl"},{line,285}]},{auth,init,1,[{file,"auth.erl"},{line,139}]},{gen_server,init_it,6,[{file,"gen_server.erl"},{line,304}]},{proc_lib,init_p_do_apply,3,[{file,"proc_lib.erl"},{line,239}]}]},[{gen_server,init_it,6,[{file,"gen_server.erl"},{line,328}]},{proc_lib,init_p_do_apply,3,[{file,"proc_lib.erl"},{line,239}]}]}},{ancestors,[net_sup,kernel_sup,<0.10.0>]},{messages,[]},{links,[<0.18.0>]},{dictionary,[]},{trap_exit,true},{status,running},{heap_size,610},{stack_size,27},{reductions,643}],[]]}

主要是访问COOKIE失败导致的&＃xff0c;可以尝试修改COOKIE的权限和属组&＃xff1a;

cd /var/lib/rabbitmq/
chown rabbitmq:rabbitmq .erlang.COOKIE
chmod 400 .erlang.COOKIE

启动成功后查看状态&＃xff1a;
rabbitmqctl status

状态显示可能会遇到链接不上的错误&＃xff0c;如下&＃xff1a;
Status of node rabbit&＃64;server104 ...
Error: unable to connect to node rabbit&＃64;server104: nodedown

DIAGNOSTICSattempted to contact: [rabbit&＃64;server104]rabbit&＃64;server104:* connected to epmd (port 4369) on server104* epmd reports node &＃39;rabbit&＃39; running on port 25672* TCP connection succeeded but Erlang distribution failed* suggestion: hostname mismatch?* suggestion: is the COOKIE set correctly?* suggestion: is the Erlang distribution using TLS?

原因&＃xff1a;
RabbitMQ的erlang.COOKIE和用户的COOKIE冲突了&＃xff0c;需要用rabbitmq的COOKIE去覆盖用户的COOKIE。
解决方式:
sudo cp /var/lib/rabbitmq/.erlang.COOKIE ~/.erlang.COOKIE
重启

3. 加入集群
   将 server103、server105 、server106组成集群&＃xff1a;
   默认是磁盘节点&＃xff0c;如果是内存节点的话&＃xff0c;需要加--ram参数
   在server103、server105上分别运行&＃xff1a;

   rabbitmqctl stop_app
rabbitmqctl join_cluster rabbit&＃64;server106 --ram
rabbitmqctl start_app

#将节点从集群中去掉
rabbitmqctl forget_cluster_node rabbit&＃64;server104

节点恢复过程中把数据删掉很重要&＃xff0c;恢复一单结点&＃xff0c;再清数据
节点增加&＃xff1a;

1. rabbitmq-server -detached --- .erlang.cooike的权限&＃xff0c;400 属主rabbitmq
2. rabbitmqctl stop_app
3. rabbitmqctl join_cluster --ram rabbit&＃64;rabbitmq1
4. rabbitmqctl start_app
5. rabbitmqctl cluster_status

节点删除

1. rabbitmq-server -detached
以上为基础&＃xff0c;正常运行的mq节点直接进行2、3两步&＃xff1b;4可省略或更改为rabbitmqctl stop
2. rabbitmqctl stop_app
3. rabbitmqctl reset
4. rabbitmqctl start_app

4. 设置镜像策略
   rabbitmqctl set_policy ha-all "^" &＃39;{"ha-mode":"all","ha-sync-mode":"automatic"}&＃39;

如果想切换节点类型&＃xff0c;譬如由disc-->ram&＃xff0c;可以先恢复到单结点&＃xff0c;重启&＃xff0c;清数据&＃xff0c;再添加集群。