消息队列 CKafka 结合大数据套件 EMR,构建完整的日志分析系统。首先通过部署在客户端的 agent 进行日志采集,并将数据聚合到消息队列 CKafka,之后通过后端的大数据套件如 Spark 等进行数据的多次计算消费,并且对原始日志进行清理,落盘存储或进行图形化展示。
消息队列 CKafka 结合流计算 SCS , 用于实时/离线数据处理及异常检测,满足不同场景需要:对实时数据进行分析和展示,并做异常检测,快速定位系统问题。
消费历史数据进行落盘存储和离线分析,对数据进行二次加工,生成趋势报表等。
消息队列 CKafka 结合无服务器云函数 SCF , 可用于日志消费处理、微服务以及大数据分析等场景。同时支持自定义数据处理,满足不同场景下的消息转储需求。