立即咨询

电话咨询

微信咨询

立即试用
商务合作

中国软件达梦启云云原生大数据平台

中国软件的达梦启云云原生大数据平台以容器编排跑批处理与查询组件,数据存独立存储层,作业按队列领资源、闲时缩容,这款云原生大数据平台适用于不想按峰值配机器的场景。
立即咨询
 
中国软件 · 达梦启云云原生大数据平台

中国软件达梦启云云原生大数据平台

中国软件的达梦启云云原生大数据平台以容器编排跑批处理与查询组件,数据存独立存储层,作业按队列领资源、闲时缩容,这款云原生大数据平台适用于不想按峰值配机器的场景。

容器编排存算分离弹性伸缩多租户作业队列数据湖
底座
容器编排
存储
独立存储层
扩缩
按作业压力
隔离
队列与配额

⚠️行业痛点与挑战

🔍按峰值买机器
集群按年底峰值配,平时一半机器空转;空转也要付电费与维保,预算年年涨,业务方还觉得资源不够。
⏱️大作业挤小作业
一个月度报表跑起来占满队列,实时查询排队等着;没有配额,谁提交得早谁先跑,重要作业被堵在后面。
🧠扩容要停集群
加节点要停机改配置,改完组件版本还得对齐;窗口排在周末,一次没对齐,周一上班业务查不了数。
🔗组件版本各异
批处理、流处理与查询引擎各装一套,版本互不相认;升级一个组件,另外两个跟着报错,最后谁也不敢升。
📉多部门共用一套
各部门数据放一起,权限按库分,跨部门取数要开权限;开完没人回收,离职的人账号还留着。
🚧资源账算不清
谁用了多少核多少内存,月底说不清;部门问为什么要交这么多钱,只能给一个总数,拆不出明细。

🎯产品定位与核心价值

中国软件的达梦启云云原生大数据平台以容器编排跑批处理与查询组件,数据存独立存储层,作业按队列领资源、闲时缩容,这款云原生大数据平台适用于不想按峰值配机器的场景。

💡低门槛上手
数据仓库建设服务能力的使用界面贴合业务习惯,培训成本被产品设计吸收。
🔁可靠交付保障
云原生大数据平台的实施配套包含培训与知识转移,团队可持续自主运营。
🧷灵活扩展路径
业务增长带来的数据仓库建设服务新需求,在既有架构上按模块扩展承接。

⚙️核心能力详解

🧮容器化组件
批处理、流处理与查询服务以容器镜像交付,按版本成套发布;升级时换镜像再滚动重启,不必逐台装包,回退也换回上一版镜像。
🧱存算分离
数据落在独立存储层,计算节点只做加工;计算节点可随时增减,缩容不影响数据,扩容也不必搬数据。
⚡弹性伸缩
按队列积压与 CPU 水位配伸缩策略,作业多时自动加节点,空闲时缩回;缩容前要等节点上的任务跑完,配了超时才强制迁走。
📊多租户隔离
按部门建租户,各租户有独立队列、配额与存储目录;配额用完提交被拒,避免一个部门把整池资源占满。
🌐作业调度
作业按优先级与队列排队,支持依赖编排与失败重试;重试次数与间隔可配,失败作业留日志与现场,便于复查。
🔧计量与账单
按租户统计核时、存储量与作业数,出月度账单;账单可下钻到作业,部门能看出是哪几个任务在消耗资源。

📐技术规格

产品名称 达梦启云云原生大数据平台
所属厂商 中国软件
产品分类 数据引擎·云原生大数据平台
核心能力 容器化组件、存算分离、弹性伸缩
应用场景 日报与月报分队列、促销期的弹性扩容、新部门接入
协同机制 数据仓库建设服务与云原生大数据平台的接口在实施阶段一并确认,避免后续返工
运维归属 云原生大数据平台的日常运维责任可在实施阶段明确并交接
适用阶段 数据仓库建设服务场景的不同阶段均有对应配置,无需整体重建
投资视角 云原生大数据平台投入的规模与数据仓库建设服务的收益节奏可分阶段对应

🏭典型应用场景

✈️日报与月报分队列
数据组把日报放高优先级队列,月报放低优先级,两边配额分开;月底月报跑起来时日报仍按时出,看队列等待时长与超时作业数,超时的回头调配额。
🚗促销期的弹性扩容
促销前把伸缩上限调高,作业积压超过阈值自动加节点;活动结束缩回,统计这轮峰值用了多少核、多花了多少,作为下季度预算依据,也看看阈值定得准不准,不准就调一档。
🔋新部门接入
新部门要建数据湖目录,管理员建租户、给配额、开存储目录;部门自己提交作业,配额不够走申请,不再找管理员临时加机器,申请单里写清用途与期限,用完回收配额。
🌊组件版本升级
升级查询引擎时先在小租户上换镜像,跑一轮回归;没问题再按租户滚动,出问题就换回旧镜像,全程不用停整池作业,滚动顺序按业务低峰排,每批之间留观察时间。
🏗️离线与实时混跑
实时链路与离线批处理共用一池,实时作业单独队列并保底配额;大促时离线作业自动降级等待,保证实时不堆积,降级记录留一份给数据组复盘,复盘看降级次数。
🚢成本分摊核对
季度末财务要各部门的资源账,平台按租户出账单并下钻到作业;账单发给部门核对,有异议的查作业日志,核完作为下季度配额依据,也是预算评审的材料,材料要能对上账。

🏆典型应用案例

📦
月报堵住实时查询
一个平台把月报与实时查询混在同一队列,月末查询超时。改成两条队列并给实时保底配额后,月报跑起来不影响查询,队列等待时长明显下降,之后每月按积压调整配额,队列长度也留了记录。
🛫
扩容窗口压缩
原来加节点要停机改配置,改成一池弹性伸缩后,作业积压时自动加节点,活动结束缩回;运维不再排周末窗口,改看伸缩记录与缩容失败的节点,失败的要手工清,清不完要查镜像缓存。
🏭
升级不停池
查询引擎升级时先在一个小租户换镜像跑回归,通过后按租户滚动;中途有一个租户的作业报错,换回旧镜像后恢复,问题定位到该租户自带的函数,函数改完再升一次,升级节奏不变。
📦
租户配额落地
按部门建租户后,两个部门超配额提交被拒,走申请流程加配额;一个月后统计各租户实际用量,把长期用不满的配额收回,池子利用率回到合理区间,收回前先通知,通知里给整改期。

🔌接入方式

🖥️与对象存储
数据落在对象存储上,按租户分桶与目录;前置是存储侧配好访问密钥与限流,密钥一套共用,权限就形同虚设,按租户分密钥才管得住,密钥还要定期轮换,轮换要通知到租户。
☁️与调度与开发工具
已有调度平台的作业通过接口提交到平台队列,开发工具里的脚本打包成镜像;前置是两边参数命名一致,否则传过去跑不起来,参数改了要两边同时发版,发版顺序写进流程。
🤝与BI查询工具
BI 通过查询服务连平台,走租户账号与配额;前置是查询并发要与队列配额匹配,配额给小了,报表一刷新就排队,并发上限按报表数量估,估高了整池都被报表占着。

🧩生态协同与能力底座

🧩服务器与存储厂商
节点规格与存储容量按作业类型测算,计算与存储分开报;混在一台机器上报,后面扩计算要连带买存储,预算不好拆,采购单上也说不清哪笔算计算,审计也要问。
🔗数据服务商
实施方按业务域划租户与队列,出配额方案;配额一开始给足,后面收不回来,先小后调更稳妥,调整要有依据,用量报表就是依据,报表按月出,部门自己也认。
🌱开源社区
组件多来自开源生态,版本兼容要自己验;跟着社区版本走太快,出问题没人兜底,落后太多又缺补丁,按验证过的组合锁定,锁定清单随版本更新,更新前先在测试池验。

🚀产品差异化特点

🌟与物理机集群
物理机集群扩容要停机加机器,资源按峰值配;容器池按作业压力增减,平时能缩回,代价是容器与存储层的运维要多学一层,出问题定位要多看一层日志,人也得跟着练。
🆚与云上托管服务
云上按量付费、开箱即用,但数据出域与网络时延要评估;本地部署的池子数据不出机房,弹性靠自己扩缩,上限受机器数量限制,扩到机柜满就得再买,预算要提前报。
🧬与单机大数据套件
单机套件装完即用,扩节点要手工改配置;这里把组件容器化并由编排层管理,扩缩是声明式的,代价是初期要把镜像与配置理清,理不清就先别上生产,上了也退不回去。

✅最佳实践

📝
存储先与计算分开
一上线就把数据放在独立存储上,别图省事放在计算节点本地盘;后期再拆要停作业搬数据,搬一次按天算,还要挑窗口,窗口排不上就一直拖,拖着拖着就没人动。
🔄
伸缩阈值别太敏感
按积压量与水位配阈值,加冷却时间;阈值贴着均值设,作业一波动就扩缩,节点反复上下线比不伸缩还乱,先把阈值往上抬一档跑两周看效果,稳定后再微调。
🎯
配额先小后调
新租户先给小配额,按实际用量调;一上来给足,后面收配额要跟部门扯皮,池子也被占着不动,收回前先出一个月的用量对比,把对比摆出来才好谈配额。
📈
升级先换小租户
组件升级先在一个小租户换镜像跑回归;直接整池换,出问题全租户停摆,回退也要等镜像重新拉起,回退时间要写进升级方案里,写不清就先别约窗口。

🗺️企业落地路径

1️⃣
底座与存储
先搭容器池与独立存储,跑通一个批处理作业;产出池子规格与存储目录规划,底子没打好,后面迁作业要反复返工,返工的工夫比搭池子长,还容易背锅。
2️⃣
租户与队列
按部门建租户、配队列与配额,把日报月报分开;产出配额表与队列规则,规则不定,作业还会挤在一起,挤在一起再拆就有人不认账,先定规则再开租户。
3️⃣
弹性与计量
配伸缩策略并开计量,跑一个月看实际用量与账单;产出账单样例与伸缩记录,账单拆不到作业就没法分摊,分摊不到部门就不认这笔账,账要先拆细。
4️⃣
存量迁移
按业务域分批迁存量作业,每批迁完核对产出;产出迁移清单与差异说明,差异未清不迁下一批,迁完一批就固一批,别攒到最后一起对,攒着对不清。

💬常见问题 FAQ

要什么基础环境
要一套容器集群与独立存储,节点规格按作业类型配;存储与计算混在一台机器上,缩容时数据跟着走,弹性就无从谈起,先分开再谈伸缩,分开的投入比后面搬数据便宜。
现有作业怎么迁
批处理作业改提交方式,脚本路径与参数映射到平台上;先用一个不重要的小作业跑通,再按依赖顺序迁,别一次全搬,搬之前把作业清单按依赖排好序,排错了会连环失败。
弹性会不会抖动
伸缩策略要配冷却时间,避免刚加就缩;阈值定太敏感会反复扩缩,节点反复上下线,调度器反而更忙,先把阈值设在均值的上沿再看一周,看一周的扩缩次数再定值。
多租户怎么隔离
按租户分队列与存储目录,配额按核时与容量两个维度限;只限容量不限核时,一个租户能把整池 CPU 占住,隔离要两个维度一起限,缺一个都挡不住互相抢资源。
数据放哪
放独立存储层,按租户分目录,权限跟着目录走;数据与计算绑在一起,计算节点一缩数据就要搬,弹性做不成,搬一次要停作业,代价比一开始就分开大,还容易搬丢。
计费口径怎么定
按核时、存储容量与作业数三项统计,口径在平台内固定;口径中途改,历史账单对不上,部门的预算也没法横向比,口径变更要出说明并留旧口径,旧口径只读。
和现有数仓什么关系
可以接已有数仓做查询,也可以把加工迁到平台上;两边同时加工同一份数据,口径会分叉,迁移期要明确哪边才是出口,出口只能有一个,另一个只读,读完就别再写。
验收看哪几项
看弹性伸缩的实际触发记录、租户配额是否生效、作业失败重试是否按配置执行,以及账单能否下钻到作业;只有功能演示不算通过,记录要能回放,回放不了按未通过。

📄信息来源与免责声明

此页面内容由云巴巴汇总整理,信息来源包括中国软件官方产品资料与公开报道。

页面中的云原生大数据平台等描述仅供选型参考,具体功能以官方发布为准。

云巴巴平台支持达梦启云云原生大数据平台的咨询、对比与接入流程,协助企业完成数字化选型。

产品推荐

复运科技商业清洁平台
商业清洁平台管的是室内保洁的点位、班次与验收,供物业保洁主管、外包班组长与商场运营方使用,巡检结果按楼层汇总成月度服务报告。
免费试用
查看详情
蓝途网络出海聚合营销平台
蓝途网络出海聚合营销平台,聚焦海外社媒矩阵营销与 WhatsApp 引流。提供多平台社媒账号管理、内容一键分发及 WhatsApp 消息群发功能,集成客户画像分析、获客数据追踪及转化路径优化,适配跨境企业出海获客场景。是出海营销优选工具。
免费试用
查看详情
Cisco Nexus 9300-EX 平台交换机
Cisco Nexus 9300-EX平台交 换机基于现代系统架构而构建,专为提供高性能以满足高度可扩展的数据中心不断变化的需求而设计,它们提供多 种接口选项。
免费试用
查看详情
腾讯云知识图谱TKG
腾讯云知识图谱(Tencent Knowledge Graph,TKG)是一个集成图数据库、图计算引擎和图可视化分析的一站式平台。支持抽取和融合异构数据,支持千亿级节点关系的存储和计算,支持规则匹配、机器学习、图嵌入等图数据挖掘算法,拥有丰富的图数据渲染和展现的可视化方案。
免费试用
查看详情