围程
日志 Redis桌面客户端 Frp桌面客户端
更多
Bing壁纸接口

Docker 部署 RocketMQ 5.x

更新时间：2023-12-30 16:19:19 阅读：280 所属栏目： 日志

Apache RocketMQ 是一个分布式消息中间件系统，用于实现高可用、高性能的消息传递。

1、创建RocketMQ容器共享网络

RocketMQ有多个服务，需要分别创建容器，并且需要互相通信。

docker network create rocketmq
# docker network ls #列出已有docker网络
# docker network inspect rocketmq #查看网络信息

2、部署RocketMQ NameServer

NameServer 是专为 RocketMQ 设计的轻量级名称服务，具有简单、可集群横向扩展、无状态，节点之间互不通信等特点。

NameServer 是一个简单的 Topic 路由注册中心，其角色类似 Dubbo 中的 zookeeper，支持 Broker 的动态注册与发现。

NameServer 主要有两个功能：

  • Broker 管理：NameServer 接受 Broker 的注册请求，处理请求数据作为路由信息的基础数据。对 broker 进行心跳检测机制，检测是否还存活
  • Topic 路由信息管理：每个 NameServer 都保存整个 Broker 集群的路由信息，用于 Producer 和 Conumser 查询的路由信息，从而进行消息的投递和消费。

部署命令：

# 创建映射目录, 并给rocketmq用户写权限
mkdir -p  /tmp/logs/docker/rocketmq/logs
chmod o+w /tmp/logs/docker/rocketmq/logs

# 启动NameServer
docker run -d --name mqnamesrv -p 9876:9876 --network rocketmq \
-v /tmp/logs/docker/rocketmq/logs/:/home/rocketmq/logs \
apache/rocketmq:5.1.3 sh mqnamesrv

检查日志确认启动成功

日志

3、部署Broker+Proxy

Broker是RocketMQ的核心，负责接收Producer发过来的消息、处理Consumer的消费请求、消息持久化存储、消息的HA机制以及服务端过滤等。 每个Broker实例通常管理多个Topic。RocketMQ集群通常由多个Broker实例组成，以提高消息的可用性和吞吐量。

RocketMQ 5.x 引入Proxy，在客户端和Broker之间增加了一个Proxy代理层，对外屏蔽了NameServer、Broker的概念和调用， 统一收敛由Proxy来负责提供消息发送、接收、调度控制等。Proxy让RocketMQ能够支持更多的外部协议如gRPC、HTTP。

5.x版本下，测试环境中，官方建议使用Local模式部署，即Broker和Proxy同进程部署。

部署命令：

docker run -d --name mqbroker -p 10911:10911 -p 10909:10909 --network rocketmq \
-v /tmp/logs/docker/rocketmq/logs/:/home/rocketmq/logs \
apache/rocketmq:5.1.3 sh mqbroker -n mqnamesrv:9876 --enable-proxy autoCreateTopicEnable=true \
-c /home/rocketmq/rocketmq-5.1.3/conf/broker.conf

检查日志确认启动成功:

docker exec -it mqbroker bash -c "tail -n 10 /home/rocketmq/logs/rocketmqlogs/proxy.log"

日志

4、部署 RocketMQ Dashboard

RocketMQ Dashboard 是 rocketmq 的第三方扩展组件，提供图形界面便于管理和监控rocketmq。

RocketMQ Dashboard 安装和使用 - rocketmq-dashboard官方文档

部署命令:

docker run -d --name mqconsole -p 8098:8080 --network rocketmq \
-e "JAVA_OPTS=-Drocketmq.namesrv.addr=mqnamesrv:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false" \
styletang/rocketmq-console-ng

打开网址确认是否开启成功。

浏览器输入 http://localhost:8098/ 打开 RocketMQ Dashboard

5、创建Topic

Broker禁止生产者自动创建Topic，在mqbroker启动命令加上autoCreateTopicEnable=true即可开启自动创建。

推荐手动创建Topic，命令如下：

docker exec -it mqbroker bash
# 列出topic
sh mqadmin topicList -n mqnamesrv:9876
# 创建topic
sh mqadmin updateTopic -n mqnamesrv:9876 -b localhost:10911 -t test_topic
# 查看topic详情
sh mqadmin topicStatus -n mqnamesrv:9876 -t test_topic

也可以在RocketMQ Dashboard创建

新增topic

6、网络隔离导致生产者推送消息失败

我们使用SDK如rocketmq-client-go操作rocketmq时，一般是连接到NameServer地址，NameServer路由返回Broker地址。 但这里 NameServer 路由的 Broker 地址是 172.19.0.3:10911 这样的容器内部地址，容器外无法到达。

解决方法

修改Broker监听IP地址。

Broker有这两项配置：brokerIP1、brokerIP2，前者被NameServer返回给调用方，后者用于从节点同步。

这两项配置默认都是当前网卡地址，在容器中如 172.19.0.3。

现在我们将brokerIP1改成容器外可到达的地址，如localhost（mqbroker做了端口转发，localhost:10911->172.19.0.3:10911）

docker exec -it mqbroker bash
echo 'brokerIP1 = localhost' >> ~/rocketmq-5.1.3/conf/broker.conf
exit
docker restart mqbroker

检查是否修改成功

docker exec -it mqbroker bash -c "tail -n 10 /home/rocketmq/logs/rocketmqlogs/proxy.log"

注意这样修改后，RocketMQ Dashboard会连不上Broker（Dashboard中localhost不是指向broker），Linux机器考虑修改console网络模式为host

from: https://juejin.cn/post/7277395050508746809

热门文章