docker进行RocketMq集群部署方式

馨伊红颜

目录

• 环境
  
• 集群模式
  
• 概念
  
• 部署
  
  
  
  • 1、安装rmqnamesrv
    
  • 2、安装rmqbroker
    
  • 3、启动可视化页面rocketmq-console-ng
    
  
  
• 总结
  

环境

• （1）Centos7
  
• （2）JDK1.8
  
• （3）docker
  
• （4）rocketmq 4.8
  

两台服务器ip

• A：192.168.5.49
  
• B：192.168.5.50
  

集群模式

1、单节点 :

• 优点：本地开发测试，配置简单，同步刷盘消息一条都不会丢
  
• 缺点：不可靠，如果宕机，会导致服务不可用
  

2、主从(异步、同步双写) :

• 优点：同步双写消息不丢失, 异步复制存在少量丢失 ，主节点宕机，从节点可以对外提供消息的消费，但是不支持写入
  
• 缺点：主备有短暂消息延迟，毫秒级，目前不支持自动切换，需要脚本或者其他程序进行检测然后进行停止broker,重启让从节点成为主节点
  

3、双主：

• 优点：配置简单, 可以靠配置RAID磁盘阵列保证消息可靠，异步刷盘丢失少量消息
  
• 缺点: master机器宕机期间，未被消费的消息在机器恢复之前不可消费，实时性会受到影响
  

4、双主双从，多主多从模式（异步复制）我们这里采用这种

• 优点：磁盘损坏，消息丢失的非常少，消息实时性不会受影响，Master 宕机后，消费者仍然可以从Slave消费
  
• 缺点：主备有短暂消息延迟，毫秒级，如果Master宕机，磁盘损坏情况，会丢失少量消息
  

5、双主双从，多主多从模式（同步双写）

• 优点：同步双写方式，主备都写成功，向应用才返回成功，服务可用性与数据可用性都非常高
  
• 缺点：性能比异步复制模式略低，主宕机后，备机不能自动切换为主机
  

概念

rocketmq分为Name Server和Broker Server
名字服务（Name Server）
名称服务充当路由消息的提供者。
生产者或消费者能够通过名字服务查找各主题相应的Broker IP列表。
多个Namesrv实例组成集群，但相互独立，没有信息交换。
是Topic路由注册中心，端口默认为9876
代理服务器（Broker Server）
消息中转角色，负责存储消息、转发消息。
代理服务器在RocketMQ系统中负责接收从生产者发送来的消息并存储、同时为消费者的拉取请求作准备。
代理服务器也存储消息相关的元数据，包括消费者组、消费进度偏移和主题和队列消息等。
端口有三个：

• listenPort：默认10911，接受客户端连接的监听端口，作为对producer和consumer使用服务的端口号，可以通过配置文件改
  
• haListenPort：默认为listenPort + 1，高可用服务监听端口，主要用于slave同master同步
  
• fastListenPort：默认为listenPort -2， 主要是fastRemotingServer服务使用，用于VIP通道
  

部署


1、安装rmqnamesrv

两台的rmqnamesrv都直接运行即可，所有配置都用默认的即可

1. docker run -d --name rmqnamesrv \
   
2. -v /home/docker/rocketmq/data/namesrv/logs:/home/rocketmq/logs \
   
3. -p 9876:9876 \
   
4. --restart=always \
   
5. apacherocketmq/rocketmq:4.8.0-alpine sh mqnamesrv

复制代码

2、安装rmqbroker

1. docker run -d --name rmqbroker \
   
2. -v /home/docker/rocketmq/data/broker/logs:/home/rocketmq/logs \
   
3. --link rmqnamesrv:namesrv \
   
4. --restart=always \
   
5. -e "NAMESRV_ADDR=namesrv:9876" \
   
6. -p 10909:10909 -p 10911:10911 -p 10912:10912 \
   
7. apacherocketmq/rocketmq:4.8.0-alpine \
   
8. sh mqbroker -c /home/rocketmq/rocketmq-4.8.0/conf/broker.conf

复制代码

拷贝rmqbroker的配置文件到主机目录

1. docker cp rmqbroker:/home/rocketmq/rocketmq-4.8.0/conf /home/docker/rocketmq/data/broker/conf

复制代码

编辑配置文件broker.conf

1. #切换到刚刚拷贝出来的文件夹下
   
2. cd  /home/docker/rocketmq/data/broker/conf
   
3. #编辑主节点配置文件
   
4. sudo vi broker.conf
   
5. #编辑从节点配置文件
   
6. sudo vi broker-s.conf

复制代码

主节点broker.conf内容如下：

1. # 集群名称,取同一个
   
2. brokerClusterName = docker-mq-cluster
   
3. 
   
4. # 节点名称,每个主节点取不一样的,另一个主节点我们取broker-b，如果是主从节点名称保持一致
   
5. brokerName = broker-a
   
6. #brokerName = broker-b
   
7. 
   
8. # 主从标识,0为主,其他大于0的为从,从只允许读,主可以读写
   
9. brokerId = 0
   
10. 
    
11. #未消费的持久化消息清理时间点,默认凌晨4点
    
12. deleteWhen = 04
    
13. 
    
14. #持久化消息保存周期(单位:小时)
    
15. fileReservedTime = 48
    
16. 
    
17. #brocker角色，异步主
    
18. #- ASYNC_MASTER 异步复制Master
    
19. #- SYNC_MASTER 同步双写Master
    
20. #- SLAVE
    
21. brokerRole = ASYNC_MASTER
    
22. 
    
23. #刷盘方式:异步刷盘
    
24. flushDiskType = ASYNC_FLUSH
    
25. 
    
26. #节点IP
    
27. brokerIP1 = 192.168.5.49
    
28. #brokerIP1 = 192.168.5.50
    
29. 
    
30. #broker的服务端口
    
31. listenPort=10911
    
32. 
    
33. #server服务器地址和端口,多个用分号隔开
    
34. namesrvAddr=192.168.5.49:9876;192.168.5.50:9876
    
35. 
    
36. #延迟消息等级时间，
    
37. #这个设置也影响全局的消费重试机制的间隔时间，消费重试机制走的就是延迟消息，这里设置后，第一次重试是在是失败的10s后（从第三个开始 ,DefaultMQPushConsumerImpl源码中setDelayTimeLevel(3 + msg.getReconsumeTimes())，舍去了前两个），第二次是上次失败的30s后，因为消费重试次数是16次（DefaultMQPushConsumerImpl源码默认是16次），而我们30s后面没有设置了，他后面的13次都会按30s间隔去重试
    
38. messageDelayLevel = 1s 5s 10s 30s

复制代码

从节点broker-s.conf内容如下：

1. # 集群名称,取同一个
   
2. brokerClusterName = docker-mq-cluster
   
3. 
   
4. # 节点名称,每个主节点取不一样的,另一个主节点我们取broker-b，如果是主从节点名称保持一致
   
5. brokerName = broker-a
   
6. #brokerName = broker-b
   
7. 
   
8. # 主从标识,0为主,其他大于0的为从,从只允许读,主可以读写
   
9. brokerId = 1
   
10. 
    
11. #未消费的持久化消息清理时间点,默认凌晨4点
    
12. deleteWhen = 04
    
13. 
    
14. #持久化消息保存周期(单位:小时)
    
15. fileReservedTime = 48
    
16. 
    
17. #brocker角色，从
    
18. #- ASYNC_MASTER 异步复制Master
    
19. #- SYNC_MASTER 同步双写Master
    
20. #- SLAVE
    
21. brokerRole = SLAVE
    
22. 
    
23. #刷盘方式:异步刷盘
    
24. flushDiskType = ASYNC_FLUSH
    
25. 
    
26. #节点IP
    
27. brokerIP1 = 192.168.5.49
    
28. #brokerIP1 = 192.168.5.50
    
29. 
    
30. #broker的服务端口，和主节点区分开
    
31. listenPort=11911
    
32. 
    
33. #server服务器地址和端口,多个用分号隔开
    
34. namesrvAddr=192.168.5.49:9876;192.168.5.50:9876
    
35. 
    
36. #延迟消息等级时间
    
37. messageDelayLevel = 1s 5s 10s 30s

复制代码

删除rmqbroker原容器

1. #t停止容器
   
2. docker stop rmqbroker
   
3. 
   
4. #删除容器
   
5. docker rm rmqbroker

复制代码

重启启动rmqbroker
启动主节点

1. docker run -d --name rmqbroker \
   
2. -v /home/docker/rocketmq/data/broker/logs:/home/rocketmq/logs \
   
3. -v /home/docker/rocketmq/data/broker/conf/broker.conf:/home/rocketmq/rocketmq-4.8.0/conf/broker.conf \
   
4. --restart=always \
   
5. -p 10909:10909 -p 10911:10911 -p 10912:10912 \
   
6. apacherocketmq/rocketmq:4.8.0-alpine \
   
7. sh mqbroker -c /home/rocketmq/rocketmq-4.8.0/conf/broker.conf

复制代码

启动从节点
注意我们的启动命令，-p后面的端口是和主节点不一样的，
从节点和主节点区分开，我们就直接用11909、11911、11912

1. docker run -d --name rmqbroker-s \
   
2. -v /home/docker/rocketmq/data/broker-s/logs:/home/rocketmq/logs \
   
3. -v /home/docker/rocketmq/data/broker/conf/broker-s.conf:/home/rocketmq/rocketmq-4.8.0/conf/broker.conf \
   
4. --restart=always \
   
5. -p 11909:11909 -p 11911:11911 -p 11912:11912 \
   
6. apacherocketmq/rocketmq:4.8.0-alpine \
   
7. sh mqbroker -c /home/rocketmq/rocketmq-4.8.0/conf/broker.conf

复制代码

3、启动可视化页面rocketmq-console-ng

在一台服务器安装可视化页面即可

1. docker run -d -p 8080:8080 --name rocketmq-console-ng \
   
2. -v /home/docker/rocketmq/tmp:/tmp \
   
3. --restart=always \
   
4. -e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.5.49:9876;192.168.5.50:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false" \
   
5. styletang/rocketmq-console-ng

复制代码

结果验证
查看服务端和客户端日志无报错，查看可视化界面
http://192.168.5.49:8080
成功检测到两个服务端，集群状态也正常

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

516784496

这个话题很有趣，我想多了解一些

XTchen

我们一起努力，共同解决问题吧。

6631241564

能给个链接吗？我想深入了解一下。

温馨小窝888

好用好用

9852672

谢谢你分享这个信息

傍晚的海风

好用好用

叭叭的土鼠

你的信息来源是？我想了解更多。

飞翔的小鸟123

我们一起努力，共同解决问题吧。

tomxcg

我不太确定，可能需要再确认一下。