消息队列 TDMQ 是什么？

分布式架构中的重要组件，提供异步通信的基础能力，通过应用解耦降低系统复杂度，提升系统可用性和可扩展性

提供丰富的产品形态，兼容社区主流协议，覆盖在线和离线场景，服务端和客户端场景，满足互联网、金融、教育、出行、交通等不同行业和场景的需求

支持通过 JMX Exporter 和 Node Exporter 导出监控数据，通过与 Promethues 结合，将与 Broker IP 对应的监控数据对接到客户自定义监控大盘上

CKafka 连接器是腾讯云上 SaaS 化的数据接入和处理工具，可以方便快捷地完成一站式的数据接入、处理和分发

使用场景一：HTTP 数据快速上报

CKafka 连接器可应用在数据上报的场景。如手机 App 的操作行为分析、前端页面的 Bug 日志上报、业务数据的上报等等

CKafka 连接器通过如下两步：

1）控制台配置「数据接入任务」，任务类型选择「数据接入」，数据源选择「数据上报」（HTTP），「数据目标」配置好CKafka Topic 信息

2）客户端接入 HTTP SDK ，完成数据上报

使用场景二：数据库变更订阅

CKafka 连接器支持基于 CDC(Change Data Capture)机制订阅多款数据库的变更数据。如订阅MySQL 的 Binlog，MongoDB 的 Change Stream

例如，在实际业务使用过程当中，业务经常需要订阅 MySQL 的 Binlog 日志，获取 MySQL 的变更记录(Insert、Update、Delete、DDL、DML 等)，并针对这些数据进行对应的业务逻辑处理，如查询、故障恢复、分析等

在默认情况下，客户往往需要自定义搭建基于 CDC 的订阅组件如（Canal、Debezium、Flink CDC 等）来完成对数据库的数据订阅。而在搭建、运维这些订阅组件的过程中，人力投入成本较高，需要搭建配套的监控体系，保证订阅组件的稳定运行

基于此种情况，CKafka 连接器提供 SaaS 化的组件，通过界面配置化的完成数据的订阅、处理、转储等整个流程

使用场景三：数据从CKafka转储至下游

有一些客户的场景中，数据已经存在作为缓存层的消息队列(例如 Kafka)中了，需要进行清洗格式化(ETL)处理后，存储到下游(例如 Kafka，Elasticsearch、COS)等

常见的情况下，用户需要使用 Lostash、Flink 或自定义编码进行数据的清洗，并维护这些组件的稳定运行。当数据只需要简单的处理的情况下，学习数据处理组件的语法、规范、技术原理，维护数据处理组件就显得比较繁琐，额外增加了研发和运维的成本

CKafka 连接器提供了轻便、界面化、可配置的数据处理(ETL)和转储的能力，支持界面化的配置数据的 ETL，同时将数据转储到下游存储

经测试CKafka在极高的负载下，整个生产的平均延迟也保持在很低的水平。 而原生Kafka随着I/O负载的提高，客户端的整个延迟不断增加，高的时候会达到几十秒的延迟级别

社区版Kafka网络架构：所有network I/O线程共有一个请求队列，I/O线程竞争拉取请求

CKafka自研网络架构：每个网络进程都有一对请求应答队列，网络现场处理不用加锁。I/O线程拉取请求任务时不用加锁，应答时需要加锁，但有多个应答队列，进一步降低了锁竞争

智能家居设备数据采集与传输-产品体验改善

工业设备数据采集与传输- 工艺流程优化

出行数据采集与传输- ADSL 改进

智能终端设备管理运营-数据采集、指令下发、运营分析

电商用户行为画像-精准营销

广告投放运营数据分析-策略优化

在线教育个性化推荐-内容推荐

视频流播放质量数据监控-优化观看体验

内容分发数字媒体数据分析-个性推荐、运营管理增效

微服务监控、链路、日志-可观测分析

电商平台的实时交易监控-快速响应异常的场景

可追溯系统事件-审计和合规性检查

例如财税、CRM、专利数据类等SaaS行业客户，利用数据湖分析实现海量历史数据的查询工作，可以把非结构化数据通过Ckafka接入到DLC中，然后基于DLC引擎做SQL查询