腾讯云消息队列RocketMQ版
立即咨询
首页
腾讯云消息队列 TDMQ 产品系列介绍消息队列 TDMQ 是什么？
分布式架构中的重要组件，提供异步通信的基础能力，通过应用解耦降低系统复杂度，提升系统可用性和可扩展性
提供丰富的产品形态，兼容社区主流协议，覆盖在线和离线场景，服务端和客户端场景，满足互联网、金融、教育、出行、交通等不同行业和场景的需求
业界趋势：
从2007年 RabbitMQ 开源以来，社区形成了Kafka、RocketMQ、RabbitMQ、Pulsar 为首的4大主流协议，每个产品有各自的特性、生态和适用场景
TDMQ 产品矩阵：
聚焦社区主流协议，开源兼容
覆盖在线 + 离线场景，服务端 + 客户端场景，提供丰富的产品形态
RocketMQ 应用场景在订单交易系统中，每笔订单会给下游多个业务系统产生数据交互，RocketMQ 的异步解耦能力可以实现业务之间的松耦合，减少系统之间影响，提升核心业务响应速度和健壮性
在交易场景下，数据的最终一致性非常重要，RocketMQ 独有的二阶段事务消息能力能够保证数据的一致性
在一些金融场景下，如证券交易，在价格相同的情况下，先出价者优先处理，则需要按照FIFO的方式生产和消费顺序消息。RocketMQ 的顺序消息能力可以保证严格的顺序性
直播互动场景
RocketMQ 的定时/延时消息能力可以帮助商家和主播及时发送订阅通知来触达用户，保证直播人数
RocketMQ 支持秒级弹性，可以在观众人数激增时秒级扩容，应对突发性流量洪峰
RocketMQ 的低延时和高性能可以用于直播的弹幕互动能力，保证直播时互动的实时性
电商秒杀场景
在秒杀、大促或者抢红包场景时，业务往往会面临巨大的瞬时流量，RocketMQ 的强大的抗消息积压能力可以用于削峰填谷，秒杀系统可以更好地应对流量洪峰。即使在消息海量堆积的情况下，RocketMQ 的性能也不会受到影响，依旧可以保证低延时和高性能
数据分发和分析
RocketMQ 可以和流式计算引擎快速结合，进行业务数据的实时分析，也能对接离线的数据仓库进行离线数据分析
在一些日志同步场景，如MySQL的binlog日志，需要保证严格的顺序性，RocketMQ 的顺序消息可以实现严格的按顺序的实时增量日志同步
分布式缓存和同步
借助 RocketMQ 的低延时和广播消费的功能，可以低成本实现分布式缓存同步的功能，如在电商场景下，商品信息的实时更新涉及到多个系统和页面，这时候可以通过各个下游系统或者页面可以广播消费商品系统的消息来实现
企业基于社区版自建 RocketMQ 面临的挑战RocketMQ 入门简单，进阶却有一定门槛
日益加重的研发和运维成本
01
集群维护的运维人员需要具备扎实的计算机功底（熟悉计算机网络、IO等），对RocketMQ的底层原理、各种配置参数项具有深刻理解
同时可以进行 RocketMQ集群参数调优，快速处理突发故障、集群快速扩缩容等。
02
监控告警等运维基础设施，需要投入更多的人力、物力成本
社区版监控方案，Topic和Group量大以后资源消耗过多，存在一定性能瓶颈
03
社区版 RocketMQ 的功能使用，研发人员需要具备专业的经验和知识积累
在一些特性场景支持上，如秒级定时消息、HTTP协议、订阅关系查看、消息查询、消费验证 和 客户端堆栈查看等功能上，社区版方案自研复杂度高或者功能不完善
04
自研 RocketMQ 集群的稳定性和安全性的保障需要耗费大量人力，如分布式限流能力、租户隔离、社区代码漏洞的定时修复和 ACL 权限管理等
腾讯云 RocketMQ：开箱即用的消息队列服务基于 Apache RocketMQ 构建的分布式消息中间件，兼容社区 4.x 和 5.x 版本，具备海量消息堆积、低延迟、高吞吐、高可靠、事务强一致性等特性，满足异步解耦、削峰填谷、顺序收发、分布式事务一致性、日志同步等场景需求
5.x 版本发布后，使得 RocketMQ 更加适配云原生时代，兼具存算分离和 Severless 化的特性
开箱即用、兼容开源、安全高效的高性能消息队列 适用电商交易、在线直播、教育课堂等场景
免运维，分钟级一键创建集群，开箱即用01
支持多版本，多种计费方式（按实际调 用量，按小时，包年包月等）
02
默认跨可用区部署，无需关注底层架构
03
仅需关注集群的性能和 TPS 要求
04
底层使用容器化资源，自动分钟级发货，扩缩容无感知、不停服
多维度全方位监控能力
白屏化的自建/友商集群迁移方案 连接源集群
自建集群和腾讯云集群建连
支持腾讯云自建集群迁移
在网络打通（专线和云联网）/公网的前提下，支持其他云厂商的自建集群和商业化集群的无感迁移
导入元数据
图形化教程展示迁移过程
自动识别源集群的Topic 和 Group 元数据，客户按需确认并导入
角色权限支持批量导入
修改源集群接入点
页面指引修改客户端的接入点和配置代码
按 Topic 动态展示连接的客户端，便于找出哪些客户端没有及时修改接入点
灰度迁移消息
按状态依次对各个Topic的读写流量进行迁移，支持回滚，支持批量操作
切流过程中，对迁移状态提供健康检查能力和监控
实时对比新老集群的Group，明确迁移状态
迁移完成
随时进入迁移任务详情页查看
通过监控随时查看迁移后的集群运行状态
Severless 化带来的极致弹性（5.x ）常见问题
大促或活动场景中带宽预留不够，毛刺流量导致实例触发限流，影响业务
解决方案
动态开启弹性 TPS 能力。动态调整消息收发占比。 当请求量使用超出原有集群规格时，提供50%~60%的弹性buffer。弹性部分按实际使用流量计费
立足开源，重点功能增强
多产品功能打通，享受上云红利对接云上监控产品，一键设置 40+指标告警，集成云监控Dashboard
对接腾讯云和自建的 Promethus 产品，无缝指标对接
支持自建的 Grafana，便于集成企业内部自有监控
全部云API 接入 Terraform 平台，支持非腾讯云客户一键迁移
账号体系对接云上权限管理体系（CAM），支持控制台访问权限的精细化管理
内部网络使用腾讯云 VPC，100% 完全逻辑隔离，安全的专有网络通道
支持自定义公网开关和公网流量大小
4.x & 5.x 组件与部署架构Producer： 消息生产者，负责生产并发送消息
Consumer：消息消费者，负责订阅和消费消息
NameSrv： 命名发现服务，负责按 Topic 路由寻址和 Broker 心跳注册
Broker： 服务端存储消息的组件，负责消息收发，存储，消息模型，可以横向扩展
Proxy：服务端无状态计算组件，5.x 版本新增计算组件，负责协议处理，认证鉴权，可以快速扩缩容
4.x 架构
4.x Namesrv 集群： 负责路由寻址，流量调度
4.x Broker 集群：服务端应用，负责接收，存储，投递消息，支持单主，主从等多副本模式满足
5.x 架构
5.x 引入了新的GRPC协议和Proxy组件，实现了存算分离
新增 Proxy 集群：协议处理，认证鉴权，无状态弹性扩缩容
下沉 Broker 集群：Broker专注存储优化，合理的存储池降低成本
RocketMQ 基础模型4.x 的架构与扩容模型 5.x 的架构模型
5.0 技术架构优势和优化计算层
Proxy 层无状态，容器化，标准化，小型化
Proxy 层做好流量隔离和分布式限流
利用容器 HPA 做自动扩缩容，简化容量管理
更丰富的监控指标和上报链路重构
部分场景 Proxy 与 Broker 合并部署降低成本
存储层
目前分层存储社区只提供了开发框架与示例
提供 Topic 粒度的保存时间，降低客户使用成本
提供更细粒度的分层开关，方便灰度与回滚
基于 SOFAJRaft 实现的新 Controller，简化主从运维
百万队列拓展 Broker 的应用场景，比如物联网和 AMQP 场景
公有云多可用区容灾架构计算节点：
用户购买的每个集群实例都对应一个 Proxy 集群，除了体验版是单节点，其他集群都是多节点，可以快速的弹性扩缩容，并且强制跨可用区容灾部署
存储节点：
存储节点由 NameSrv 和 Broker 节点组成，通过各项消息存储池化技术，组成一个多用户复用的存储池，提升存储密度，默认强制跨可用区容灾部署，并且铂金版存储集群也独占提供更高的隔离保障
管控节点：
管控节点不承担数据流，每个地域部署一套管控服务，也强制跨可用区容灾部署
常见故障常见和恢复方案
技术优化：端到端的延迟极致优化RocketMQ 读写消息全流程：
Producer 初始化并复用长连接发送消息
Consumer 初始化并通过客户端轮询拉取消息
当Consumer的 pull 请求到达 Broker 时，有消息则立即返回消息，没有消息则会被 hold 在broker
当新消息到达时，会立即检查和通知 hold 的长轮训请求，立即将新消息返回给 Consumer
Consumer 内部将消息 push给业务监听者执行消费代码
腾讯云的全链路延迟极致优化：
1、[生产] force 刷盘的多线程分段写入写入，避免内存 direct reclaim，带来的写入抖动
2、[消费] 构建 consumequeue 的 reput阶段，多线程构建，优化索引性能，提高消费速度
3、[生产+消费] 全 rocksdb 版本的元数据管理，大量 topic 情况下，元数据持久化顺序写入，减少 io 的影响，减少抖动
4、[消费] pop 对全版本 sdk 的兼容，解决单节点消费慢，导致消费延迟的问题，提高整体消费性能
5、[生产+消费] http 协议在 proxy 层面的原生支持，避免多节点 网络通信，可能带来的http 消费延迟
6、[生产+消费] broker，proxy jdk21，分代zgc 开启，减少 gc 抖动，提高整体性能
7、[生产+消费] broker，proxy层面，更细粒度的锁优化，减少锁竞争
2、[消费] 构建 consumequeue 的 reput阶段，多线程构建，优化索引性能，提高消费速度
3、[生产+消费] 全 rocksdb 版本的元数据管理，大量 topic 情况下，元数据持久化顺序写入，减少 io 的影响，减少抖动
4、[消费] pop 对全版本 sdk 的兼容，解决单节点消费慢，导致消费延迟的问题，提高整体消费性能
5、[生产+消费] http 协议在 proxy 层面的原生支持，避免多节点 网络通信，可能带来的http 消费延迟
6、[生产+消费] broker，proxy jdk21，分代zgc 开启，减少 gc 抖动，提高整体性能
7、[生产+消费] broker，proxy层面，更细粒度的锁优化，减少锁竞争
技术优化：高性能秒级定时消息社区方案：基于delayLevel实现
1、只支持18个等级，时间上不连续，无法自定义延迟精度
2、每一个level对应一个topic，大量延迟消息的场景下，延迟误差增大
优化方案：基于内嵌式 RocksDB 的多级时间轮索引方案
1、支持任意时间的延迟消息，精度为 ms
2、在较高吞吐下，依然能保持 1 秒调度精度
3、通过拆分 TimerCommitlog，不影响正常消息的吞吐，不会对正常消息毛刺抖动
压测场景：
定时业务场景：发送一亿条消息，延迟时间随机 30 秒~10 分钟，一个下游实时消费
Broker 节点规格：高阶二型规格单节点
压测结论：定时消息在较高吞吐下，发送耗时平稳，延迟误差 P999 在 1 秒以内
技术优化：分层存储方案要点
采用了双写分层的方案，简单可靠高效
结合我们腾讯云 COS 做了大量工程优化，用户几乎无感知的分层带来的延迟时间
用户价值
RocketMQ 5 支持存储按量计费，无限存储空间，存储成本明显下降
Topic 粒度的保存时长，方便长时间保存关键消息
技术优化：存储池化技术方案：
1、Broker 基于 TKE Serverless 容器化平台，并且做了大量的优化
2、云盘默认多副本，结合同步刷盘策略，存储可靠性达9 个 9
3、通过固定 IP，当容器故障时，可以实现秒级迁移接管云
4、Broker 集群开启 HPA，当负载超水位后，可以实现快速自动扩容，避免容量问题
5、CBS 磁盘容量监控，磁盘水位高时自动免重启扩容
方案优势：
提升综合存储水位，降低存储成本，用户按量付费，不用关注容量水位
简化运维，容量自动化管理，避免突发流量造成容量瓶颈
技术优化：重构监控指标上报链路社区方案问题：
开源社区通用的监控方案主要通过Exporter 组件，通过 rpc 请求获取内部的指标，再转化为 metrics 指标，但是 Topic 量大以后，会对 MQ 集群造成很大压力，Broker集群节点多以后，Exporter 也容易成为瓶颈
腾讯云方案优势：
通过对内核的优化，收集更多指标，将指标聚合整理，以日志的方式输出到本地文件，再通过 Filebeat 组件将指标再扩展输出到外围的监控组件，整个方案具备良好的扩展性，不存在瓶颈和短板
jRaft Controller 主从自动切换社区方案
在私有化没有云盘或需要数据跨 AZ 容灾的场景下，RocketMQ 支持主从模式，但是4.x 版本不支持主从自动切换，5.x 版本通过 Controller 组件支持自动切换，但是基于DLedger的实现存在多处 bug，难以保证切换的成功率
技术方案
腾讯云提出了基于jRaft 的Controller实现，可以实现可靠的主从自动切换，并且Open Chaos 混乱测试验证
方案优势
可以支持跨可用区数据容灾，并且支持自动主从切换，保证高可靠和高可用
目前已经合并进社区主干分支，在 5.2 版本发布
多AZ容灾部署架构实践用户价值：
以私有云场景为例，当没有 CBS 云盘可用时，可以通过jRaft Controller 配合主从副本模式部署，实现数据的跨可用区容灾，并且支持主从自动容灾切换，保证高可用和高可靠
腾讯云与Apache RocketMQ 社区紧密合作腾讯云消息团队和 Apache RocketMQ 社区保持紧密合作，目前团队中有一名 PMC 和多名 Committer 成员，以社区代码为 Core产品架构基于社区和社区 SDK 完全兼容，并且积极回馈社区，目前已经合并的 RIP 有一个，代码PR 有 30+，并且在社区基础上做了大量的特性改进和性能优化
应用场景：电商 大促 秒杀异步解耦：RocketMQ可以解除多个业务系统之间的耦合度，减少系统之间影响，提升核心业务响应速度和健壮性
削峰填谷：RocketMQ 可以应对突发性的流量洪峰，在峰值时堆积消息，而在峰值过去后下游系统慢慢消费消息，解决上下游处理能力不匹配，提升系统可用性
订阅通知：RocketMQ提供的定时、延迟等能力，满足需要订阅通知的电商场景
应用场景：订单交易分布式事务：RocketMQ 提供分布式事务消息，使应用之间松耦合 ，可靠传输与多副本技术能确保消息不丢失，At-Least-Once 特性确保数据最终一致性
支付系统作为生产者，与消息队列，组成一个事务，保障本地事务和消息发送的一致性
下游业务系统（账单、通知、其它），作为消费者，并行处理
消息支持可靠重试，保证数据最终一致性
顺序消息：RocketMQ支持分区和全局顺序，分别满足不同的业务需求，如证券交易系统中相同股别采用全局顺序，交易系统的不同订单之间采用分区顺序
应用场景：RocketMQ 在 IoT 场景中的使用消息过滤：RocketMQ 提供的消息过滤的能力，实际不同的业务组件，在大量数据中快速识别出业务感兴趣的数据，实现更好的业务处理
Tag过滤：RocketMQ的生产者在发送消息时，指定消息的Tag，消费者需根据已经指定的Tag来进行订阅
SQL属性过滤：在消息发送时设置消息的自定义属性，消费者订阅时使用SQL语法设置过滤表达式，根据自定义属性过滤消息，RocketMQ根据表达式的逻辑进行计算，将符合条件的消息投递到消费端
迁移方案一：双读双写方案，业务自主迁移适用场景：
业务有感，梳理上下游依赖分批发布 分批发布，适合对延续性要求不高的业务场景
迁移方案二：平滑迁移方案，低侵入可灰度可回滚以某泛金融客户为例
客户痛点
集群数8个，topic 数568，消费组4787个
按照传统的「双读双写」方案，需要梳理清楚业务之间的生产消费依赖关系，先切消费方应用，再切生产方应用，推动协调各个业务团队按顺序修改接入点，将MQ集群从自建切换到云上
预计迁移周期长达数月，客户运维侧业务推动阻力极大，动力不足，基本无法落地
客户诉求
切换前是否能不依赖业务生产消费顺序
切换过程中是否可以灰度先小范围验证
切换过程中有问题是否能及时回滚
存量自建客户迁移上云的过程中，均面临实施成本高、落地周期长、过程风险不可控等痛点
提供平滑迁移方案，低侵入可回滚，1个月完成迁移工作
方案优势
不需要梳理上下游依赖，统一修改接入点至云上集群，减少业务侵入 支持按topic分批创建迁移任务，可灰度，可回滚，可监控，降低迁移风险
两种迁移方案对比与适用场景
客户案例：泛互联网行业——直播电商 高并发秒杀抽奖项目背景
创始人为抖音头部主播，业务涵盖供应链、品牌运营、直播、达人孵化、投资、明星经纪等，其中直播电商年销售规模150亿，收入占比超过90%，为最核心业务。针对客户流量峰谷明显的业务特点，TDMQ RocketMQ提供了Serverless极致弹性产品能力，帮助客户两周快速完成系统搭建，并平稳支撑双十一多场大促及小杨臻选演唱会等重大活动，流量峰值近百万TPS
技术选型
TSE：云原生网关KONG
MQ：TDMQ RocketMQ 5.0
TKE：Serverless
DB：TDSQL
Cache：Redis
方案优势
极致效率，两周完成 立项、开发、压测、上线，快速支撑业务目标达成
极简运维，集群一键创建，同城多可用区部署，充分保证平稳高可用
极限弹性，峰值70w TPS，日常 5k TPS，提供容量自信，专注业务
极低成本，弹性伸缩 按量计费，贴合业务量，最优成本构成
客户案例：某大型社区网站客户（winback）客户简介
作为全国 Top 社区网站，活跃用户数上亿，覆盖篮球、足球、游戏电竞等众多板块
客户画像和痛点
多业态，新闻宣发、社区互动、游戏、电商：日常业务流量大且有波峰波谷，需要业务层面和底层基础设施，均具备较强的扩展性和弹性能力 微服务架构，php 技术栈，应用拆分粒度细：应用解耦、削峰填谷是强诉求，且需要具备较好的可观测性，便于日常开发问题排查和定位 友商 winback：希望平滑迁移减少业务改造成本、功能和友商匹配度高、性能&稳定性有保障
应对方案
产品能力应对
支持平滑迁移，业务应用几乎无改动
支持水平和垂直扩容，满足业务弹性需求
对齐友商，支持 HTTP 协议等功能，保持使用体验
专家服务保障
生产投产等关键节点，专家服务护航
架构调优支持，性能和稳定性优化
使用场景
异步解耦：图片/视频等大文件上传异步处理、大数据量的数据库操作
削峰填谷：电竞活动、秒杀活动
广播消息：分布式缓存同步
事务消息：充值交易+短信通知
消息驱动：社区事件生产和订阅
发布订阅：赛事、开奖通知，弹幕合并推送
产品推荐
赛为安全企业安全生产数字化管理系统，整合HSE管理系统与安全履职能力评估系统，构建全流程数字化管理体系。实现风险动态监控、隐患闭环治理及履职考核自动化，助力企业强化安全管控，提升合规水平，为安全生产数字化转型提供一体化解决方案。
票通餐饮数电票解决方案是先进的电子发票管理系统，操作便捷。支持移动开票系统，顾客扫码即可开票，无需排队等待。快速开具各类餐饮发票，数据实时同步，精准管理发票信息，助力餐饮企业简化流程，提升运营效率，轻松应对发票难题。
四拓智能机器视觉解决方案搭载 PIS 印刷在线检测、PIS-N 高速复卷品检、WIS 全系列检测设备，实时排查印刷色差、套印偏差、薄膜孔洞、光伏胶膜气泡、涂布不均、无纺布破洞、纱布断纱等缺陷。依托 AI 视觉算法高速精准质检，覆盖印刷、薄膜、光伏、涂布、卫材、纱布多卷材行业，全程缺陷记录追溯，替代人工质检，稳定成品品质，适配产线在线加装，提供一站式卷材视觉质检智能装备与落地调试服务。
数字化社区
视频
文章
