立即咨询

电话咨询

微信咨询

立即试用
商务合作
免费试用

袋鼠云实时开发StreamWorks

袋鼠云实时开发StreamWorks，面向实时数仓构建的云原生一站式大数据实时开发平台，实现从实时数据采集、实时数据处理、任务监控运维的全链路疆盖。支持Flink多版本引擎、Kubemetes资源调度，提供丰富的运维监控曲线，助力企业实时化转型。
立即咨询
数字化产品数据开发与治理袋鼠云实时开发StreamWorks
icon实时数据应用场景愈加丰富，已成为必然趋势icon

实时数据处理能力将成为企业提升竞争力的一大因素

实时经营分析
• 实时大屏
• 互联网经营看板
• 营销活动效果实时播报
实时推荐
• 实时产品推荐
• 实时用户标签
• ...
实时业务监控
• 反洗钱身份识别
• 异常交易实时监控
• 外接机构履约实时监控
实时行为分析
• 基金理财访问交易分析
•实时冻结&可用资金分析
• App用户行为日志分析
icon企业实时数据应用建设痛点icon
门槛高
• 开发过程中往往依赖Kafka、各种OLAP引擎等，链路复杂。
• 实时开发的技术门槛高，学习难度大。
如何梳理数据分布
• 建设成本：维护Flink、Kafka及各类技术框架，资源投入大。
• 使用成本高：实时开发的专业人才难招聘、难培养。
如何量化生产成本
• 由于流式数据本身不断变化，其代码调试复杂，验证结果的正确性很繁琐。
如何分析数据价值
• 没有统一的数据建模和开发规范。
• 开发人员各自为政，烟窗式开发，难以管理。
• 实时任务运行过程难以监控，出现问题后知后觉。
icon企业实时数据应用建设方式与目标icon

 

建设方式
以业务推动实时应用建设
•参考行业内的实时应用场景、案例,赋能业务。
•以服务业务为最终目标，带动实时应用、实时场景的发展。
建设目标
简化开发链路
• 开发组件统一管理、统一使用，减少使用和维护成本。
• 推进SQL化开发，降低使用复杂度。
建设目标
平台化建设
• 为提高开发效率、管理效率，需采用平台化建设思路。
• 采用统一的平台进行实时作业管理、标准管理，建立统一的开发规范、管理规范。
icon构建实时数据仓库体系的4个步骤icon

• 实时数仓沿用「数仓分层」概念，将各层级数据存储至Kafka(或其他消息中间件)或其他存储，供下游层级消费或使用。
• 实时数仓的构建过程与离线的虽有类似，但其在需求阶段、技术选型、管理与监控方面存在较大差异 。

 

icon需求明确:业务与技术的需求相结合icon

 

icon技术选型的4个方面icon

 

 
icon数仓设计与开发icon

 

实时数仓分层设计

➢ ODS（贴源）：以Kafka Topic内的数据直接作为ODS层数据。
➢ DWD（明细）：建议在明细层统一完成数据的过滤、清洗、规范、脱敏等操作，提高数据复用率。为提高时效性，实时数仓较少进行维度退化。

➢ DWS（汇总）：加工共性的多维指标汇总据，提高代码利用率。

开发规范

➢ 主题域划分。
➢ 表命名、任务命名、指标命名、标签命名规范。

➢ 开发过程规范（代码、注释、格式、数据类型...）

代码开发与调试

➢ 按照模型规范及指标定义，进行SQL类代码开发。
➢ 需具备友好的代码测试、调试工具，进行充分的测试，防止在生产环境进行反复代码测试。

icon管理与监控icon

 

任务发布

■ 需考虑实时任务从测试发布至生产环境的流程规范。


■ 任务版本的有效管理、版本切换等，当发生异常时可快速回退版本。

运行监控与告警

■ 实时任务运行过程中的各种指标监控，例如数据流量、数据延迟、任务背压等各项指标，均需可视化方式进行管理与维护。


■ 基于监控指标之上，需根据一定的业务规则触发告警，例如数据延迟过大、数据流量突变等，提高任务运行的可靠性。

实时数据治理

■ 当实时任务、流表数量，以及配套的开发人员逐渐增多时，除了完善各项规范外，还需提升实时数据治理能力，例如：

a、统一的流表数据资产管理

b、流表数据质量稽核
c、实时数据安全、脱敏

...

icon产品定位介绍icon
实时开发 StreamWorks
StreamWorks，面向实时数仓构建的云原生一站式大数据实时开发平台，实现从实时数据采集、实时数据处理、任务监控运维的全链路覆盖。支持Flink多版本引擎、Kubernetes资源调度，提供丰富的运维监控曲线，助力企业实时化转型。
 
icon产品架构icon

 

icon产品特点icon

 

采集+计算+运维一体化
内含实时开发全链路工具，采集、计算、运维一体，降低客户使用成本，降低实时计算门槛。
统一元数据管理
基于Hive Metastore，实现统一的元数据管理，Flink在不同Catelog建表后统一存储至hive matastore其他人员直接使用，统一管理，资源共享。
批流一体
批流一体采集：支持存量数据同步+增量日志采集还原，一体化任务，无缝衔接。
批流一体开发：支持基于Iceberg的批流一体任务开发，通过定期批任务，修复实时计算可能的数据问题。

 

功能丰富
平台提供任务跨环境发布、代码调试、SQL校验、提交检查、自动启停、批量连接现存任务等丰富功能。
云原生支持
在支持YARN+HDFS的基础上，同时支持Kubernetes资源调度、MinIO、OSS等对象存储。
icon利用实时开发StreamWorks平台构建实时数仓icon

 

icon实时采集icon
基于ChunJun（原FlinkX）对数据库进行数据采集，实现采集工具化，可对主流数据源进行CDC日志数据和通过JDBC间隔轮询两种实时采集方式。

一、支持向导/脚本双模式：
向导模式：面向新手用户，界面配置，简单易上手；
脚本模式：面向资深用户，纯代码开发，配置更灵活。
二、基于CDC实时采集的数据还原：
采集上游数据库的DML、DDL日志数据，还原为下游数据库的SQL语句，实现表结构、数据内容的还原写入。
三、批流一体化的采集任务：
一个采集任务实现上游存量数据的同步，然后无缝衔接增量日志的采集还原。
icon数据开发:基础功能icon

丰富的底层组件封装，界面化操作，降低开发门槛，使开发人员专注于业务逻辑处理

WEB SQL IDE
➢ 多人协作的任务锁
➢ 任务版本控制、一键回滚
➢ 代码高亮/自动补全/列块模式
➢ 语法检查，快速定位
➢ 可进行代码调试，提交预校验
维表缓存策略
➢ LRU(Least Recently Used):设置缓存大小、缓存时间灵活取用
➢ ALL：全缓存至内存定、全量刷新
➢ None：无缓存，Join时直接查询
 
 
可视化建表
➢ 页面可视化配置源表、结果表
➢ 数据预览，字段快速导入
➢ 更新模式适配append、upsert
➢ 并行度灵活配置
 
系统&自定义函数
➢ 本地资源上传
➢ 项目内使用、全局共享
➢ 内置系统函数，满足日常开发
➢ 自定义函数，为数据开发能力提供可拓展性
 

 

icon任务开发:高阶配置icon

 

icon发布上线icon

 

icon任务运维icon

 

icon产品价值icon

 

降低开发门槛

兼容了多版本引擎、适配多种数据源，封装集成为可视化操作界面。基于Web IDE，图像化配置表信息并使用SQL语言进行开发，降低整体上手门槛。

全面运维保障

提供任务全生命周期的可视化运维。全链路拓扑、丰富Metirc曲线展示、多方式多渠道任务告警，帮助用户搭建全面运维体系，提高运维保障。

促进数据规范

协助企业构建实时数仓，建设实时数据标准及规范。搭建一套实时任务调度、任务运行监控及实时任务可靠恢复机制于一体的实时数据平台，保障数据质量，提供统一标准的数据出口。

icon光大证券icon

 

icon新华财经icon

 

icon银河证券icon

 

 

 

产品推荐

腾讯云慧眼人脸核身私有化解决方案
腾讯云慧眼私有化产品是围绕客户实人、实名、实证、实愿的核心需求，打造的全方位、高安全、准验证的私有化核身解决方案。提供人脸检测、活体检测、人脸比对、人脸检索等能力的本地化部署，满足客户各个业务中的身份核验需求，为客户业务安全保驾护航。
免费试用
查看详情
腾讯云大模型智能客服
腾讯云大模型智能客服，基于行业大模型，专注智能客服场景全面升级，对接海量知识，帮助模型精准生成答案。企业知识快速学习，增强垂直领域知识理解，提供精准答案。支持答案溯源，增加可靠感，不断逼近真人的交互体验。
免费试用
查看详情
苏宁科技数据可视化分析平台NiceBI
苏宁科技数据可视化分析平台NiceBI，丰富的图表组件，交互样式自定义调整。轻量级、低成本部署投入，完善的数据管理策略，可视化探索式分析。支持丰富的数据源连接，帮助企业进行数据整合。数据源可视化配置，简单快捷高效。多表自由关联组合，自定义sql数据加工。
免费试用
查看详情
小鹅通企业微信私域运营解决方案
小鹅通企业微信私域运营解决方案，一分钟搭建企业自己的私域运营平台，与小鹅通知识店铺双向数据打通，根据客户特征，进行分层运营，大大提高用户服务效率和质量。私域直播全链路用户引流承接，统一管理台，操作便利，结合知识店铺营销工具针对特定用户人群，实现精准触达与转化。
免费试用
查看详情