立即咨询

电话咨询

微信咨询

立即试用
商务合作

谐云科技异构算力调度解决方案

谐云科技的异构算力调度解决方案把 GPU、NPU 等不同厂商的加速卡收进同一张资源池,按租户切配额、按任务排队,智算中心建设服务含计量口径,适用于多厂商卡混用的算力中心。
立即咨询
 
谐云科技 · 异构算力调度解决方案

谐云科技异构算力调度解决方案

谐云科技的异构算力调度解决方案把 GPU、NPU 等不同厂商的加速卡收进同一张资源池,按租户切配额、按任务排队,智算中心建设服务含计量口径,适用于多厂商卡混用的算力中心。

异构资源池租户配额批调度算力切分利用率监控计量口径
纳管卡型
GPU与NPU与DCU
切分单位
整卡与切分卡
调度方式
队列与批调度
交付物
配额表与策略

⚠️行业痛点与挑战

🔍各买各的卡
几个团队分别采购不同厂商的加速卡,各自装驱动与工具链,卡闲着也调不出来给别的团队用。
⏱️抢卡靠喊
训练任务提交前先在群里问谁在用卡,抢不到就排队等,等多久没人说得清。
🧠配额说不清
部门之间借卡没有记录,月底对账时谁用了多少算不出来,预算只能拍脑袋分。
🔗小任务占大卡
推理服务只要一小块显存,却整卡占着,利用率长期低位,采购申请还照提。
📉卡坏了才发现
驱动报错、显存异常要等任务失败才知道,同一张卡反复失败几次才有人去看。
🚧多区域各一套
几个智算中心各建一套管理平台,卡型与账号不互通,跨区调资源要人工协调。

🎯产品定位与核心价值

建设内容分四段:资源池接入、租户与配额隔离、批调度与抢占、监控与计量。交付物是卡型清单、配额表、调度策略与利用率报表。它管的是算力怎么分、怎么排队、怎么算账,不涉及模型训练本身的框架选型。

💡交付可验收
智算中心建设服务的验收标准在项目启动时确认,异构算力统一调度平台能力的达成度可对照检查。
🔁业务价值导向
异构算力统一调度平台相关能力的价值以业务指标度量,从部署之初即明确效果口径。
🧷工程化落地
智算中心建设服务的实施方法与交付节奏成熟,上线到见效的路径可复制。

⚙️核心能力详解

🧮资源池接入
按厂商与型号登记加速卡,驱动与运行时版本记在节点上,卡型差异在池内标注。
🧱租户与配额
按部门或项目切分算力,配额按卡数与显存计,超配需审批并留记录。
⚡批调度
任务按队列排队,支持单机单卡到多机多卡的提交方式,空闲资源按策略回填。
📊算力切分
支持整卡分配与切分分配两种形态,小任务按切分卡跑,避免整卡空占。
🌐隔离与抢占
租户之间做资源隔离与限额,高优先级任务可抢占低优先级,被抢占任务可重排。
🔧监控与计量
采集卡利用率、显存占用、温度与链路状态,按租户出用量与利用率报表。

📐技术规格

产品名称 异构算力调度解决方案
所属厂商 谐云科技
产品分类 云管理平台·异构算力统一调度平台
核心能力 资源池接入、租户与配额、批调度
应用场景 多厂商卡纳管、训练任务排队、租户配额核算
实施周期 以智算中心建设服务场景的边界与集成深度为参照,可分阶段推进
验收口径 异构算力统一调度平台的效果以智算中心建设服务相关业务指标作为核对标准
扩展方式 算力资源调度方案等配套能力按需启用,不改动异构算力统一调度平台的既有部署
数据边界 智算中心建设服务相关数据的归属与访问范围由客户按合规要求确定

🏭典型应用场景

✈️多厂商卡纳管
算力组把三个厂商的加速卡按型号登记进资源池,驱动与运行时版本记在节点上。衡量口径看纳管卡数、覆盖的卡型数、驱动版本不一致的节点数与纳管后无法调度的卡数,登记表按季度更新。
🚗训练任务排队
算法团队把训练任务按优先级提交到队列,调度器按卡型与空闲情况分配。衡量口径看排队任务数、平均等待时长记录、被抢占后重排成功的任务数与因卡型不匹配退回的任务数。
🔋租户配额核算
平台组给每个部门划配额,按卡数与显存记账,超配要先审批再加。衡量口径看租户数、配额总量、超配申请条数与月末用量与配额偏差超过阈值的部门数,偏差大的先约谈业务方。
🌊推理卡切分
推理服务按显存需求申请切分卡,小模型不再整卡占用,同一张卡跑多个服务。衡量口径看切分实例数、整卡占用实例数、切分后单卡承载的服务数与显存溢出的次数,溢出实例按模型归集。
🏗️多区域统一
几个智算中心接入同一套管理入口,账号与卡型目录统一,跨区调资源走审批。衡量口径看接入区域数、卡型目录一致项数、跨区调度任务数与跨区任务的失败原因分布,失败单列到区域。
🚢算力用量结算
财务与平台组按月出用量报表,按部门与项目分摊算力成本,偏差大的先核对。衡量口径看报表覆盖的租户数、用量与配额偏差项数、复核后调整的账单条数与申诉条数,账单争议按季度清理一次。

🏆典型应用案例

📦
一次卡型接入
选一个机房,把两种型号的加速卡装好驱动与运行时,登记到资源池并跑一个测试任务。产出接入记录,口径是接入卡数、一次调度成功数、需补装组件的节点数与不兼容的卡型,不兼容的单独列,接入前先做兼容性验证。
🛫
一次配额核算
按部门拉出历史用量,对照申请配额算缺口与冗余,再定新一季度的分配方案。产出配额表,口径是部门数、配额总量、缺口部门数与冗余超过阈值的部门数,方案由双方签认后生效,签认单随季度分配归档。
🏭
一次批调度验证
提交一批大小任务混排的作业,观察队列顺序、回填效果与被抢占任务的恢复情况。产出验证记录,口径是任务数、按序完成数、回填利用的卡时与被抢占后失败的任务数,失败原因分类,验证结论写进调度策略说明。
📦
一次利用率盘点
抽一周的监控数据,按卡型与租户看利用率分布,找出长期低位的卡与整卡空占的实例。产出盘点表,口径是卡数、利用率分档分布、可回收卡数与整卡改切分的实例数,回收方案先与业务确认,确认后按批次执行。

🔌接入方式

🖥️与容器编排
加速卡以扩展资源的方式注册到编排层,任务提交时声明卡数与卡型,调度按声明分配。前置条件是设备插件版本与编排版本匹配,插件不匹配时卡可见但分配失败,任务起不来。
☁️与存储与模型仓
数据集与模型文件放在共享存储,任务启动时挂载,跨区任务按就近存储取数。前置条件是存储带宽跟得上卡型,带宽不够时卡在等数据,利用率看着高实际在空转,带宽按卡数配比估算。
🤝与作业队列与计费
队列系统提交任务并回传状态,用量数据按租户汇总到计费口径。前置条件是任务标识可追溯到提交人,标识重复时同一个任务会被记两次用量,账单对不上,标识规则由平台侧统一下发。

🧩生态协同与能力底座

🧩加速卡厂商
提供卡、驱动与设备插件,决定能纳管到什么粒度、能不能切分。选型时看插件是否跟进编排版本,插件停更的卡型,新版本编排上来就调不动,只能整池降级,选型前先问更新节奏。
🔗服务器与整机厂商
提供承载卡的机型与散热方案,决定单机可插卡数与稳定性。合作时先确认机箱风道与供电,卡插满后散热不足会降频,降频后的算力与标称值差一截,插满前先算风道。
🌱算法与模型服务商
提出算力需求与卡型偏好,是资源池的主要使用方。合作时把需求按训练与推理分开提,混在一起提的系统,配额永远算不准,最后都按峰值申请,需求表分两栏填。

🚀产品差异化特点

🌟与厂商自带管理平台相比
厂商平台只认自家卡,混用就要开几套界面,账号也不通。这里按卡型纳管,多厂商卡进同一张资源池,配额与用量在一处算,换卡不必换平台,账号也只维护一套。
🆚与开源调度器方案相比
开源方案能排队能分配,但配额、计量与监控要自己拼,运维成本落在团队身上。这里把策略、配额与报表一起交付,出问题有人对口径,不必自己攒一套工具链。
🧬与云上 GPU 实例相比
云上实例按台租,跨区跨云要分别开账号,长期跑成本不可控。这里按卡与显存切分,自建与多云资源进同一池,用多少记多少,闲时可以回收给别的团队,回收有记录。

✅最佳实践

📝
卡型号先分池
不同型号的卡先按池分开,池内保持驱动与插件版本一致,再谈统一调度。型号混在一个池里,任务分到性能弱的卡上跑得慢,用户会认为平台不行而不是卡不行。
🔄
驱动版本先对齐
把卡型、驱动、运行时与框架版本的对应关系列成矩阵,逐格验证。矩阵没验完就上线,任务失败原因会指向框架而不是版本,排查要绕很大一圈,矩阵每季度补一格。
🎯
配额先谈再上线
配额分配要先跟部门谈定,写清超配的申请路径与审批人。不谈就上线,首批用户会把配额占满,后面进来的团队没资源可用,平台口碑直接掉下来,配额表要公示。
📈
监控口径先定
利用率按卡时算还是按显存算,先定口径再出报表,两种口径差得很多。口径不定,同一批卡在两张报表上是两个数,谁都不认账,结算时只能重算,口径变更要留版本号。

🗺️企业落地路径

1️⃣
资源池接入
把主力卡型接入资源池,跑通驱动、插件与调度链路,输出卡型清单与接入记录。这一阶段先求能跑通,卡型不求多,接一种稳一种,别急着铺开,接入记录要能复现。
2️⃣
隔离与配额
上线租户与配额,跑通超配审批与用量记录,输出配额表与审批流程。配额表要能被业务看懂,写着百分比抽象的配额,业务方不会按它提需求。
3️⃣
批调度与切分
把队列、回填与切分分配跑起来,输出调度策略与切分验证记录。策略要能解释为什么这个任务先跑,说不清规则的策略,用户会认为有暗箱,规则要写进提交页面。
4️⃣
运营与扩容
按季度出用量与利用率报表,按缺口扩卡型与节点,输出扩容建议。扩容建议要跟利用率挂钩,只看申请量扩,扩完还是一半卡闲着的局面,扩容单附利用率曲线。

💬常见问题 FAQ

支持哪些加速卡
常见的 GPU 型号能纳管,国产 NPU 与 DCU 按厂商提供的驱动与插件适配。前置条件是拿到厂商的设备插件与版本对应表,插件版本与运行时对不上,卡能识别但任务跑不起来。
驱动版本要统一吗
同一节点内要统一,不同节点可以分池管理,但池内版本要一致。前置条件是把版本矩阵先列出来,版本混在一个池里,任务分到哪台机器上跑结果不一样,排查时无从下手。
能跨集群调度吗
能,多个集群接入同一入口后按区域与卡型排队,跨区任务走审批。前置条件是区域之间的镜像仓库互通,镜像拉不下来时任务会在目标集群反复重试,最后超时失败。
租户隔离怎么保证
按租户做配额与命名空间隔离,卡资源按配额上限分配,超额提交直接被拒。前置条件是配额先与业务谈定,配额给得太松等于没隔离,给得太紧业务会绕开平台自己装。
切分最小粒度是多少
按显存与算力比例切,具体粒度取决于卡型与厂商插件能力,不同卡不一样。前置条件是先拿一张卡做切分验证,验证不过的卡型只能整卡分配,别写进方案承诺。
任务排队怎么排
按优先级加提交时间排序,同优先级先到先跑,空闲资源按策略回填小任务。前置条件是优先级规则要事先公示,谁都把自己标成最高级,排队就失去意义,优先级规则每季度复核。
监控取哪些指标
取卡利用率、显存占用、温度、链路状态与任务排队长度,按租户汇总。前置条件是指标采集不能影响训练,采集频率过高会抢资源,频率与开销要做一次实测,实测数据写进采集方案。
验收看什么
看纳管卡数、调度成功率、配额执行率与整卡空占下降情况四项,抽一个季度核。四项达标再扩卡型,卡型扩得比调度能力快,失败率会跟着上去,扩卡型前先做小规模验证。

📄信息来源与免责声明

本页面由云巴巴基于谐云科技官方公开渠道信息整理发布,内容覆盖异构算力统一调度平台等产品能力。

页面描述基于公开资料,智算中心建设服务相关功能的最新状态请以官方发布为准。

云巴巴提供异构算力调度解决方案的选型对比、方案咨询与实施对接服务,助力企业高效决策。

产品推荐

酷豹科技智慧数字档案馆平台
酷豹智慧数字档案馆平台是一套多全宗、多用户的网络版系统,适用于综合档案馆、集团性企业等管理规模较大、档案工作较复杂的用户群体,除满足对电子档案的收集、管理、利用、统计等基本需求以外,可实现对档案业务的流程化控制,并提供更丰富的综合管理和利用服务功能。
免费试用
查看详情
联想LeapHD大数据平台
LeapHD帮助企业快速建立统一数据湖或数据中台,支持企业内外部数据的融合、实现海量数据的集中存储、大规模计算的并行处理、计算资源的统一管理以及高效的数据分析挖掘。在大数据的平台之上,用户可以构建相应的分析挖掘应用。
免费试用
查看详情
身边云企业零工服务解决方案
身边云企业零工服务解决方案,零工经济是共享经济的重要组成形式,是人力资源的新型分配形式。多元化用工,更灵活的用工方式可以降低传统、单一的雇佣模式带来的用工风险,疫情已经提醒,企业对人的依赖不能太高,业务结果交付更重要,改革组织模式势在必行,“专业的人干专业的事”,聚焦核心竞争力,势必要外包非核心业务,释放企业资源,互联网零工经济崛起,供应链资源整合让企业轻松实现轻运营模式转型成为可能。
免费试用
查看详情
首形科技 Origin F1 桌面仿生型交互机器人
Origin F1是桌面级仿生人形交互终端,二十六个自由度驱动头眼面,自研面部算法对齐表情与语音,带对话记忆,可换妆造与二次开发。
免费试用
查看详情