数新智能赛博数智引擎CyberEngine
立即咨询
首页
为何选择CyberEngine传统大数据平台挑战
复杂部署
传统大数据架构需要繁琐的配置和安装，耗费大量时间和资源。
性能瓶颈
存算一体导致性能难以扩展，无法满足快速增长的计算需求。
数据安全
分散的数据存储和处理容易导致数据泄露和安全风险
传统大数据架构需要繁琐的配置和安装，耗费大量时间和资源。
性能瓶颈
存算一体导致性能难以扩展，无法满足快速增长的计算需求。
数据安全
分散的数据存储和处理容易导致数据泄露和安全风险
CyberEngine 解决方案
一站式解决方案
集成所有主流组件，提供一站式集群部署、管理和监控，全面解决大数据运维难题。
性能极致优化
基于存算分离架构和云原生弹性调度能力，优化组件性能和资源利用率。
平滑迁移和升级
兼容Yam和K8s两种资源调度模式，支持混合部署架构，适用复杂企业场景的过渡和迁移。
集成所有主流组件，提供一站式集群部署、管理和监控，全面解决大数据运维难题。
性能极致优化
基于存算分离架构和云原生弹性调度能力，优化组件性能和资源利用率。
平滑迁移和升级
兼容Yam和K8s两种资源调度模式，支持混合部署架构，适用复杂企业场景的过渡和迁移。
大数据产业面临新形势数据存储和计算领域的发展方向由实现海量数据的高效存储计算转向 降低运维成本，提升数据处理效率。
数据存储与计算领域技术发展历程当前数据存储与计算发展的三大特点
云化改造全面加速
数据存储与计算技术持续与云融合，资源利用率进一步提升。
融合一体化持续加深
流批一体、湖仓一体持续加深，不断降低运维成本。
安全能力快速补强
数据存储与计算面临着新型安全挑战，内生安全正成为传统防护
的重要补充。
传统大数据平台vs 云原生大数据平台
云原生大数据带来的好处
扩展性大幅提升
资源调度和管理能够根据业务即时伸缩。
资源利用率提升
通过离在线混合部署，节省整体资源成本。
标准化发布流程
基于容器化技术，实现大数据组件的标准化
资源调度和管理能够根据业务即时伸缩。
资源利用率提升
通过离在线混合部署，节省整体资源成本。
标准化发布流程
基于容器化技术，实现大数据组件的标准化
部署与升级流程。
产品概述数据智能引擎CyberEngine是数新网络独立自主研发的企业级云原生大数据平台，支持数据存储、资源调度、流批计算、交互分析、数据湖、消息队列、搜索引擎、工作流编排、MPP数据库等组件的深度整合与优化，为客户提供稳定高效服务的大数据组件信创化版本。为客户提供快速便捷的集群部署、组件安装、平台运维和智能监控等服务的一站式大数据平台解决方案，助力企业构建自主可控大数据平台。
产品由两大部分组成：
大数据组件发行版
基于开源技术和云原生技术进行深度优化形成数新大数据发行版，集成各类大数据组件和K8S生态组件，包括:HDFS，Hive，Spark，Flink，Kafka，YARN，ZooKeeper，Doris等;
大数据组件管理平台(Engine Manager)
基于可视化用户操作界面，提供集群管理、主机管理、组件部署与升级、监控告警、日志审计等功能，从而实现一站式集群管理运维服务。
平台界面展示
平台界面展示
金融业
金融机构可以利用CyberEngine构建离线数仓，分析历史交易数据、市场趋势等，以便进行风险评估、投资决策等。
物流与供应链
物流公司可以利用CyberEngine实时计算能力，监控车辆的位置和状态，以优化路线规划、提高运输效率。
电子商务
电子商务平台可以利用CyberEngine的全文检索功能，提供高效的商品搜索和推荐服务，增强用户购物体验。
医疗健康
医疗机构可以使用CyberEngine进行交互式分析，研究患者数据，以便更好地了解疾病趋势、治疗效果等。
产品架构底座基于Hadoop、云原生，实现存储和分布式计算的扩展能力，产品架构如下图所示：
核心组件CyberEngine目前已集成的组件清单如下图所示，组件及组件版本将随着平台版本迭代持续集成；
管控平台界面化集群管理
向导式自动化平台安装、通过浏览器即可安全、方便地进行集
群部署和管理。
群部署和管理。
一站式组件安装
界面可视化配置，覆盖开源hadoop生态及第三方各类大数据组件安装、升级、维护。
可视化监控体系
通过仪表盘、指标监控视图
实时了解集群组件、服务当前
运行状况。
多样性告警服务
支持短信、钉钉、邮件告警通道配置，集成多种第三方消息插
件，提供告警服务。
件，提供告警服务。
技术能力与优势
可视化运维管理，简化运维难题场景: 繁琐的运维管理
大数据平台的运维管理常常充满挑战，需要监控集群、跟踪组件状态、升级软件、解决问题等，这一切都需要耗费大量的时间和精力。
方案优势
直观的可视化界面、自动化运维
可视化管理：CyberEngine提供了直观的可视化界面，可以轻松地监控整个大数据集群。
自动化运维：自动化的运维流程可以减轻管理员的负担，降低错误风险。
直观的可视化界面、自动化运维
可视化管理：CyberEngine提供了直观的可视化界面，可以轻松地监控整个大数据集群。
自动化运维：自动化的运维流程可以减轻管理员的负担，降低错误风险。
价值点
降低运维成本、提高效率
降低运维成本：减少人力投入，降低运维管理成本。
提高效率：通过可视化界面和自动化工具，可以更迅速地识别和解决问题，提高平台的稳定性和性能。
降低运维成本、提高效率
降低运维成本：减少人力投入，降低运维管理成本。
提高效率：通过可视化界面和自动化工具，可以更迅速地识别和解决问题，提高平台的稳定性和性能。
存算分离，释放计算潜力
场景：复杂计算需求
传统存算一体架构限制了大数据计算的规模和效率，无法应对复杂的
传统存算一体架构限制了大数据计算的规模和效率，无法应对复杂的
计算任务。
方案优势 解耦存储和计算，优化性能
存算分离：CyberEngine引入存算分离架构，将存储和计算分离，解决性能
方案优势 解耦存储和计算，优化性能
存算分离：CyberEngine引入存算分离架构，将存储和计算分离，解决性能
瓶颈问题。
计算弹性：根据需求自动分配计算资源，确保高效处理大规模数据。
价值点 提升计算效率，降低成本
极致性能：通过分离存储和计算，释放计算潜力，加速数据处理速度。
弹性计算：根据实际需求自动调整计算资源，提升效率，降低成本。
计算弹性：根据需求自动分配计算资源，确保高效处理大规模数据。
价值点 提升计算效率，降低成本
极致性能：通过分离存储和计算，释放计算潜力，加速数据处理速度。
弹性计算：根据实际需求自动调整计算资源，提升效率，降低成本。
湖仓一体，简化数据管理，提高数据洞察力场景：数据湖管理
数据湖的复杂性可能导致数据管理和洞察变得困难。
方案优势 无缝集成数据湖和数据仓库
数据统一：CyberEngine实现湖仓一体，将数据湖和数据仓库整合，统一管理
数据流动：在任何情况下，都能够提供高可用性的数据访问。
价值点 简化数据管理，提高数据洞察力
业务连续：简化数据湖和数据仓库的管理与维护。
减少停机时间：无需转换，直接分析数据，提升数据洞察力。
数据湖的复杂性可能导致数据管理和洞察变得困难。
方案优势 无缝集成数据湖和数据仓库
数据统一：CyberEngine实现湖仓一体，将数据湖和数据仓库整合，统一管理
数据流动：在任何情况下，都能够提供高可用性的数据访问。
价值点 简化数据管理，提高数据洞察力
业务连续：简化数据湖和数据仓库的管理与维护。
减少停机时间：无需转换，直接分析数据，提升数据洞察力。
容灾&高可用，减少风险，提供稳定性场景：业务连续性
在面对自然灾害、硬件故障等情况时，业务连续性变得至关重要。
方案优势 多地域备份，保障数据安全
数据备份：CyberEngine提供多地域备份方案，确保数据不受单点故障影响。
高可用性：在任何情况下，都能够提供高可用性的数据访问。
价值点 减少风险，提供稳定性
业务连续：即使发生故障，数据仍然可用，保障业务的连续性。
减少停机时间：避免长时间的服务停止，降低因故障而造成的损失。
在面对自然灾害、硬件故障等情况时，业务连续性变得至关重要。
方案优势 多地域备份，保障数据安全
数据备份：CyberEngine提供多地域备份方案，确保数据不受单点故障影响。
高可用性：在任何情况下，都能够提供高可用性的数据访问。
价值点 减少风险，提供稳定性
业务连续：即使发生故障，数据仍然可用，保障业务的连续性。
减少停机时间：避免长时间的服务停止，降低因故障而造成的损失。
安全可控，保护数据隐私，满足合规需求
场景:敏感数据处理
在大数据环境中，处理敏感数据时需要确保数据的隐私和安全。
缺乏安全认证，存在数据泄密风险。
缺乏统一权限管理，用户权限难以管控。
缺乏用户审计，关键问题难排查。
方案优势 权限控制、数据加密
细粒度权限：提供Kerberos+Ranger+OpenLdap的金融级安全管控架构。
数据加密：敏感数据在存储和传输过程中进行加密，防止数据泄露。
价值点 保护数据隐私，满足合规需求
数据隐私：确保敏感数据不会被未授权人员访问，保护用户隐私。
合规需求：满足数据保护法规和合规要求，避免违规问题。
在大数据环境中，处理敏感数据时需要确保数据的隐私和安全。
缺乏安全认证，存在数据泄密风险。
缺乏统一权限管理，用户权限难以管控。
缺乏用户审计，关键问题难排查。
方案优势 权限控制、数据加密
细粒度权限：提供Kerberos+Ranger+OpenLdap的金融级安全管控架构。
数据加密：敏感数据在存储和传输过程中进行加密，防止数据泄露。
价值点 保护数据隐私，满足合规需求
数据隐私：确保敏感数据不会被未授权人员访问，保护用户隐私。
合规需求：满足数据保护法规和合规要求，避免违规问题。
信创化适配，降低采购成本，灵活扩展
场景:混合部署
现有集群、平台无法迁移至国产机器;
机器批次多、环境复杂，无法统一使用和管理。
方案优势 适配不同硬件，提供多样选择
硬件支持：CyberEngine支持arm和x86机器部署，适配国产化操作系统。
混合部署：在不同的硬件环境中混合部署，满足不同的业务需求。
价值点 降低采购成本，灵活扩展
成本效益:充分利用已有的硬件设备，减少新硬件的采购成本。
资源弹性:灵活选择硬件平台，根据实际需求扩展或缩减资源。
现有集群、平台无法迁移至国产机器;
机器批次多、环境复杂，无法统一使用和管理。
方案优势 适配不同硬件，提供多样选择
硬件支持：CyberEngine支持arm和x86机器部署，适配国产化操作系统。
混合部署：在不同的硬件环境中混合部署，满足不同的业务需求。
价值点 降低采购成本，灵活扩展
成本效益:充分利用已有的硬件设备，减少新硬件的采购成本。
资源弹性:灵活选择硬件平台，根据实际需求扩展或缩减资源。
弹性扩缩容，确保高性能，避免资源浪费场景：业务高峰
在业务高峰时，需要处理更多的数据，保障性能是一个挑战。
方案优势 自动扩展集群资源
智能监测：CyberEngine能够自动监测负载和性能，识别高峰期。
自动扩容：在业务高峰时，自动扩展集群资源，保障高性能处理。
价值点 确保高性能，避免资源浪费
高效应对:即使发生故障，数据仍然可用，保障业务的连续性。
降低成本:避免长时间的服务停止，降低因故障而造成的损失。
在业务高峰时，需要处理更多的数据，保障性能是一个挑战。
方案优势 自动扩展集群资源
智能监测：CyberEngine能够自动监测负载和性能，识别高峰期。
自动扩容：在业务高峰时，自动扩展集群资源，保障高性能处理。
价值点 确保高性能，避免资源浪费
高效应对:即使发生故障，数据仍然可用，保障业务的连续性。
降低成本:避免长时间的服务停止，降低因故障而造成的损失。
数据开发服务引擎，加速数据流程，提升开发效率场景：数据开发需求
数据是关键资产之一。为了充分利用数据，需要进行数据开发，
包括ETL (抽取、转换、加载)、数据清洗、分析等。
方案优势 自研可视化数据开发引擎
CyberEngine提供统一SQL引擎、统一任务调度引擎、统一数据集成
引擎，更好地支撑一站式数据开发服务。
价值点 加速开发、提升效率
加速开发：统一引擎可加速数据开发，减少开发周期。
提升效率：减少了手动处理和数据传输的需求，提高了开发效率。
数据是关键资产之一。为了充分利用数据，需要进行数据开发，
包括ETL (抽取、转换、加载)、数据清洗、分析等。
方案优势 自研可视化数据开发引擎
CyberEngine提供统一SQL引擎、统一任务调度引擎、统一数据集成
引擎，更好地支撑一站式数据开发服务。
价值点 加速开发、提升效率
加速开发：统一引擎可加速数据开发，减少开发周期。
提升效率：减少了手动处理和数据传输的需求，提高了开发效率。
案例一:某金融行业客户背景&契机
该银行基于多年的工作经验，已在各业务场景积累了丰富能力。
随着业务和科技的发展，现有的单一生态大数据平台已无法满足成本、自主性、自研等多重需求。
在比较后，该银行选择我们合作，希望开发兼容多种生态、统一运维的综合大数据平台。
痛点
高昂的成本
该行使用过往产品时，产生了两项额外的成本:
一、订阅服务而产生的高额订阅费。
二、平台层的产品体系对开发团队的能力较高，间接增加了人力和使用成本。
一、订阅服务而产生的高额订阅费。
二、平台层的产品体系对开发团队的能力较高，间接增加了人力和使用成本。
国外产品的束缚
该行正计划转型成为科技金融公司，要求摆脱国外产品的束缚，进行产品自研。基于开源研发一套用于支撑行内大数据核心业务的平台，支持多种开源组件集成，组件、版本的灵活升级和快速迭代，并具备对外输出的能力，成为该行的重点工作。
数据分散
该行现有的业务数据及处理方式过于分散，希望搭建一个具备解决实际应用场景问题的大数据平台。不仅能够满足集群运维、开发、监控需求，同时也要满足平台管理需求，通过平台+解决方案的形式，持续地为更多的应用场景服务。
了解该银行具体需求后，我们为其制定了以下解决方案:
为其搭建一个多元开放的大数据综合管理服务平台。上层具备支
持服务该银行行业属性的大数据支持能力，下层拥有开源自研产
品，同时具备国产化产品生态技术栈纳管能力。
实施效果
搭建的一站式综合服务管理平台，解决了银行内部五大数据
集群组件安装、升级、监控等运维复杂度高、人力投入大等问题，提升了
集群组件安装、升级、监控等运维复杂度高、人力投入大等问题，提升了
平台整体运营服务效率，实现了PB级数据迁移和接入300+集群节点数，
500+TB总存储，有效保证了平台的可用性。
在业务层面上，该银行也实现了更好地进行数据分析和挖掘，
提高了业务运营效率和精准度，为客户提供更优质的服务，
数据处理效率提高了20%，平台运维成本据估算也至少降
低了40%。
在业务层面上，该银行也实现了更好地进行数据分析和挖掘，
提高了业务运营效率和精准度，为客户提供更优质的服务，
数据处理效率提高了20%，平台运维成本据估算也至少降
低了40%。
客户好评
案例二：某零售行业客户
背景&契机
该公司是一知名零售企业，在发展初期采用常见的Hadoop生
态大数据集群架构，随着业务的迅速增长以及与第三方系统整合过
多，数据规模极速增长、数据类型不断增加，进而出现了如下问题:
不同业务场景对数据时效性、精确性、可用性有不同要求;
现有架构存算耦合度高、难以满足近实时需求;
同时存在运维复杂、数据格式多样且缺乏统一管理等问题。
态大数据集群架构，随着业务的迅速增长以及与第三方系统整合过
多，数据规模极速增长、数据类型不断增加，进而出现了如下问题:
不同业务场景对数据时效性、精确性、可用性有不同要求;
现有架构存算耦合度高、难以满足近实时需求;
同时存在运维复杂、数据格式多样且缺乏统一管理等问题。
客户痛点事件流实时分析是大数据中常见的需求，典型的业务场景如分析广告投放效果、物流跟踪、实施运营、日志排障等。
该公司因业务、规模、成本等限制，业务仅最终报表与关键业务链路会使用实时分析，其他场景仍以离线分析为主。但随着业务发展，该公司需要一种更大规模、更便宜的近实时分析手段。
该公司最初采用常见的Hadoop大数据集群架构。随着业务迅速增长，出现两个问题:
存储成本显著增加
因为HDFS集群需要三个冗余备份，加上集群增长和容灾需求，
存储成本增速过快。
存算耦合
随着数据存储需求增加，必须增加服务器。由于计算和存储耦
合，增加服务器时不仅要考虑存储，还要考虑算力。当存储需
求满足时，可能造成算力浪费。
因为HDFS集群需要三个冗余备份，加上集群增长和容灾需求，
存储成本增速过快。
存算耦合
随着数据存储需求增加，必须增加服务器。由于计算和存储耦
合，增加服务器时不仅要考虑存储，还要考虑算力。当存储需
求满足时，可能造成算力浪费。
解决方案针对该公司的业务场景、业务规模和诉求，CyberEngine为此设计基于云原生
的数据湖存算分离大数据集群架构，并以此提供基于Flink的实时数仓存算
分离方案和基于Spark的离线数仓存算分离方案。
批处理场景：ETL处理、日志分析、图像和视频处理、风险分析、机器学习......
实时计算场景：实时监控大屏、实时交易分析、实时物流分析、智能业务风控、
批处理场景：ETL处理、日志分析、图像和视频处理、风险分析、机器学习......
实时计算场景：实时监控大屏、实时交易分析、实时物流分析、智能业务风控、
用户营销......
即时计算场景：用户行为分析、安全分析、商品......
即时计算场景：用户行为分析、安全分析、商品......
实施成果弹性伸缩
使用Flink Operator和 Spark
Operator，按需使用，节省计算资源。
Operator，按需使用，节省计算资源。
高效存储
采用Hudi数据湖+S3对象存储，1.5副本机制，节省存储资源。
精简运维
存算分离，简化大数据组依赖，减少线上故障。
近实时处理
Hudi支持增量读取，1-5分钟内数据可见，明显优于Hive离线，满足大部分业务需求。
案例三：某风电行业企业背景
该公司是某风电行业企业，原先一直使用传统的物理机进行
数据存储，机组分散。
根据业务需求，月度需进行热数据的数据处理和分析，数据
量非常庞大。
运行过程中无法及时发现设备故障/异常或性能下降，从而无
法采取及时的维修和优化措施。
该公司是某风电行业企业，原先一直使用传统的物理机进行
数据存储，机组分散。
根据业务需求，月度需进行热数据的数据处理和分析，数据
量非常庞大。
运行过程中无法及时发现设备故障/异常或性能下降，从而无
法采取及时的维修和优化措施。
痛点：
数据分散和不一致
数据分散在不同设备及传感器，格式和结构的不一致性，导致数据的整合和分析困难。
数据处理和分析复杂
数据量大，旧有的系统和基础设施难以满足高速读写需求，业务处理需要很长时间完成。
实时监测和预警困难
缺乏对数据的实时监测及数据处理，无法综合数据分析和及时的风险预警，无法做到良好的决策支持。
解决方案针对该公司的业务场景、业务规模和诉求，
CyberEngine为此设计基于云原生的数据湖存算分离
大数据集群架构，并以此构建公司数据中台，提供统
一的r数据集成、元数据管理、任务调度、数据服务、
数据接口等。
CyberEngine为此设计基于云原生的数据湖存算分离
大数据集群架构，并以此构建公司数据中台，提供统
一的r数据集成、元数据管理、任务调度、数据服务、
数据接口等。
测点数据读取
使用CyberEngine和大数据组件，集中管理和监控风电场的数据采集设备，自动提取测点数据并传输到目标位置，减少了人工操作的繁琐和错误风险。
离线数据分析
通过CyberEngine，可以进行离线数据处理和分析。通过大数据组件进行数据清洗、转换、聚合等操作，提高分析效率。同时平台提供的可视化界面和监控功能可以更好地管理和优化离线数据分析的过程。
实时数据落库
通过CyberEngine，可以实现实时数据流处理和存储。使用大数据组件，可以实时地处理和存储风电场的实时数据，保证数据的及时性和准确性。为实时监控、预警和决策提供了重要的支持。
数新网络
数新网络，全称浙江数新网络有限公司，2020年7月成立，总部位于杭州，在上海、北京、深圳等各地设有分支机构。
数新作为一家拥抱开源，专注于云数据平台的大数据服务商，基于现代数据架构，打造中国特色的云数据智能操作系统，行业领先的数据价值流通体系。
公司已于2022年8月完成数千万元Pre-A轮融资，获得资本市场的高度认可。截至目前公司已与100+企业达成合作，在金融、能源、电力、教育科研、高端制造和政务等行业都有相应解决方案与成功案例。
数新作为一家拥抱开源，专注于云数据平台的大数据服务商，基于现代数据架构，打造中国特色的云数据智能操作系统，行业领先的数据价值流通体系。
公司已于2022年8月完成数千万元Pre-A轮融资，获得资本市场的高度认可。截至目前公司已与100+企业达成合作，在金融、能源、电力、教育科研、高端制造和政务等行业都有相应解决方案与成功案例。
产品推荐
腾讯天御金融风控解决方案，天御风控服务提供“四位一体”的产品矩阵，涵盖场景解决方案-业务咨询-风控SaaS-风控PaaS的多维度产品输出。客户可根据实际需求灵活选择咨询、建模、平台等产品组合使用。
法大大快消零售行业电子签约服务方案，提高劳动合同文件的签署效率，节省合同往返盖章、合同归档、存证管理、司法举证的时间和各项成本。建立员工全生命周期电子档案；实现人力资源服务信息化，签约成本节省超90%(省去招聘人员打印、装订、核对、收集、搬运存档等)。
熠智科技DataVault可控计算，面向大规模算力基础设施，用以解决分布式计算中数据、模型安全问题。实现应用程序二进制层面的兼容，无需修改业务代码，涵盖主流AI模型训练框架，实现无缝迁移。实现数据/模型全生命周期的保护，对于数据的流转、分析、处理等实现可度量、可监管。
数字化社区
视频
文章
