科杰科技企业级数据底座解决方案_数据开发管理平台

科杰科技企业级数据底座解决方案

通过一站式的大数据&AI能力产品，覆盖数据全生命周期（数据集成、数据治理、数据开发处理、数据资产管理、数据挖掘建模、数据服务），赋能客户一线互联网大数据技术工程能力，完备支撑万台节点、数千人高效协同的大数据&AI基础设施，以及IT团队未来5-10年大数据和AI项目的持续规模化构建，实现各行业数据能力的快速构建与落地。

立即咨询

首页 > 产品中心 > 数据开发与治理 > 科杰科技企业级数据底座解决方案

一个完整的企业级数据底座形态构成 icon

企业普遍存在的数据场景问题 icon

激增的暗数据&数据孤岛

随着企业数据量激增和数据需求日趋复杂，越来越多数据技术 (如数据仓库、数据湖、NoSQL 数据库、OLAP 数据库、实时数据源等) 被引入，企业数据在物理上支离破碎，尤其是采用混合云&多云架构后更是加剧了这一问题。只有 45% 的结构化数据应用于业务，只有不到 1% 的非结构化数据被分析或使用，多达 68% 的数据没有被分析，多达82% 的企业受到数据孤岛的阻碍。

日益严峻的数据质量问题

企业中 55% 的数据无法用于决策，47% 新创建的数据记录至少有一个严重错误，数据质量差导致了巨额的财务损失；为解决不同数据计算和存储需求，企业开始采用越来越多的数据技术 (如数据仓库、数据湖、NoSQL 数据库、OLAP 数据库、实时数据源等) ，让实现“单一事实来源的数据”变得十分困难。

低效的数据交付方式

激增的企业数据、爆炸的业务需求、复杂的数据工程，让业务自助找数、用数变得日趋困难：分析师 80% 的时间用于发现和准备数据，知识型员工将 50% 的时间浪费在寻找数据、发现和纠正错误以及确认不信任的数据来源上、数据科学家花 60% 的时间清理和组织数据。

不断扩大的安全合规风险

超过 70% 的用户可以访问他们不应该访问的数据。而随着网安法、数安法、个保法、GDPR、CCPA 等数据安全和隐私保护法律的出台和外部安全威胁越来越大，企业必须在合规和治理方面表现出更高的标准，更难的是，企业还需同时兼顾业务的用数效率。

以湖仓一体化为核心技术工程能力的KeenData产品，

持久化提升企业数据能力。 icon

存储计算分离

多源多态数据汇聚整合，更加易于灵活扩展。减少数据迁移工作从而确保数据的可靠性、一致性和实时性；支持丰富的计算引擎；更优秀的数据管理能力，更高效的查询性能。

ACID与事务性

具备完整的ACID特性，提升事务性处理能力。

批流一体

支持批处理和实时计算；可以使用批处理分析数据流；可提供批处理、流处理的联动和转换。

数据编织

可以在混合云和多云环境中动态管理不同的数据源，以提供高质量的数据来支持应用程序、分析和业务流程自动化。

一站式、全流程

统一数据资源，统一开发流程，统一智能调度。

DataOps

数据运营一体化，数据工程、数据集成、数据安全和数据质量全过程自动托管运维。实现“持续集成、持续开发、持续运营”。

科杰融合大数据创新技术，以KeenData产品矩阵，夯实企业级数据底座。 icon

一个完整的企业级数据底座形态构成 icon

科杰科技数据底座KeenData产品矩阵 icon

数据服务平台（Keen DaaS）：大数据服务发布中心，无缝对接业务生产系统。数据标签（Keen TAG）：自助数据标签平台，实现用户分群分类，快速构建数据画像。数据资产目录（Keen Asset）：企业数据资产门户，企业全域数据资产地图。数据科学平台（Keen DSP）：高度自动化、易于使用的机器学习算法平台，可拖拽可编程双方式进行数据建模。数据指标管理（Keen Index）：一站式企业数据指标管理平台，建立企业数据指标体系。

数据标准管理（Keen DSM）：数据标准管理管控中心，为企业数据标准化体系落地提供能力支撑。数据开发管理平台（Keen BDP）：一站式数据开发管理平台，数据全生命周期的处理中心。实时计算平台（Keen Stream）：实时计算处理中心，服务企业实时数据处理场景。数据同步系统（Keen Dsync）：异构数据源实时高性能、安全可靠的一站式数据同步系统。大数据基础平台（KDP）：多存储架构融合，全栈技术封装，高效、稳定的数据基础环境平台。

Keen KDP 大数据基础平台 icon

是面向企业客户提供的Hadoop发行版，针对大数据生态中的众多服务，KDP提供了可视化的部署、管理、监控、运维大数据服务组件与大数据节点的能力，涵盖了HDFS、YARN、Hive、HBase、Spark、Flink、Presto、Kudu、Impala、Ranger等开源大数据组件。大数据服务之间完全兼容，支持对不同模块进行拆分，可以灵活选择按需使用。

产品定位
一站式智能大数据基础

运维平台

应用场景
集群部署

集群运维

集群扩容

组件监控

组件升级

核心功能
高性能计算框架：支持hive, spark, flink等高性能计算框架。灵活扩展：计算资源/存储(YARN/HDFS)底座支撑，高稳定，高可用，高扩展。应用支撑：支持离线/实时数仓、OLAP分析平台。多版本兼容：适配组件之间多版本，服务之间完全兼容。可视化运维：全可视化集群部署、监控、运维管理。

面向对象
数据架构师

集群运维

Keen BDP 数据开发管理平台 icon

提供全面托管的工作流服务和一站式开发管理功能，赋能企业全链路构建和管理大数据能力，实现全域数据资产管理，建立私有大数据中心。产品定位：一站式数据开发管理平台，数据全生命周期的处理中心。应用场景：数据汇聚集成、数据ETL开发处理、数据任务流调度、数据监控、数据治理。核心功能：数据集成：低代码、零代码，可视化配置完成多源多态异构数据源的灵活接入。仓库模型设计：统一主题标准分类、标签分级、统一指标、统一模型表创建。协同开发：支持多团队协同开发、代码版本控制/代码回溯。智能调度：系统自动解析任务依赖并生成任务流依赖关系，无需人工构建任务流。数据安全：数据加密脱敏、系统权限、支持库表、行列级权限控制。数据质量：自定义数据质量建监控规则，数据质量趋势预测，自动生成质量报告。面向对象：数据开发，业务运营，分析师，IT研发，财务人员。

Keen Stream 实时计算平台 icon

提供全可视化、简单易用、高吞吐量、高容错、一站式流数据计算处理平台，支持SQL进行实时数据清洗、数据分析、数据同步，全面的监控机制，保证流式计算的准确性。可支撑企业实时数仓构建、实时数据大屏、实时报表等企业各类实时数据处理场景的应用。

产品定位：实时计算处理中心，服务企业实时数据处理场景。应用场景：实时数据清洗，实时数仓构建，实时大屏，实时风控，实时分析。核心功能：Flink程序开发：提供Flink SQL进行实时任务开发，支持上传Jar创建流计算任务，支持在线调试。任务管理：提供实时任务上下线，提供数据读取时间配置等任务管理配置操作。数据源管理：提供丰富的数据源管理mysql、Oracle、Greenplum、sql server、hbase、kafka。任务监控：提供实时任务Metric指标监控，支持kafka集群监控。数据字典：提供kafka消息字典，支持Topic主题消息版本变更的信息，辅助消费。面向对象：数据开发，分析师，IT研发。

Keen Dsync 数据同步系统 icon

一站式数据同步产品，用于企业多源数据融合。解决企业内关系型数据库非关系型数据库、大数据平台、文件系统等复杂异构数据源之间、大数据量高并发下的数据交互和数据同步问题，实现企业内数据统一共享和分发。

产品定位：智能化的多源实时数据传输工具。应用场景：实时数据仓库，实时数据交换，多源、异地数据整合和分发，数据本地/异地灾备。核心功能：同步任务配置：提供一个源端多个输出端任务配置，实现一次接入多次分发，不对源系统产生影响，Sink端自动创建表功能，减少中间操作，支持断点续传任务管理：提供同步任务的管理功能，包括任务启停、offset配置、更新、删除等运维管理：提供多个输出端同步任务运行监控，一站式管控数据的source和sink同步进展数据源管理：提供丰富的同构和异构数据源的管理功能，支持oracle、mysql、kafka、文件、hive、kafka、kudu、hbase管理功能。面向对象：数据开发，分析师，IT研发。

Keen DSM 数据标准管理 icon

支持标准、代码、命名词典以及度量单位的上传下载，支持已有业务库元数据资产直接生成标准，方便灵活的应用，与数据平台方便集成。

产品定位：企业统一的数据标准管理中心，提供完整的数据标准体系落地支撑。应用场景：数据标准定义，数据标准落标，数据标准稽核，数据标准资产管理。核心功能：标准管理：统一数据标准编辑、定义、审批、发布、稽核。标准落标：同时可对数据仓库和业务数据库的数据表进行落标。数据稽核：对数据仓库及业务数据库的数据字段、命名、数据内容进行标准稽核。标准字典：提供详细的数据标准详情信息。标准概览：可视化展示标准目录、标准用度、落标比率等信息。可视化操作：全可视化操作界面，流程化操作过程，覆盖数据标准管理全周期。面向对象：数据治理，业务系统人员，开发工程师，标准管委会。

Keen Index 数据指标管理 icon

实现对指标的生命周期管理和统一规则，构建指标标准，对指标的频度、业务范围、主题分类进行规范和规划，并落地为相应规则、标准、数据的存储和分析，建设统一、便捷、安全、高效的数据指标体系。

产品定位：一站式企业数据指标管理中心，提供口径一致、快速灵活的指标体系落地支撑。应用场景：指标体系建设，统一指标口径，指标资产管理，自助指标生产。核心功能：数据源管理：支持数据源灵活配置，对指标体系涉及的数据源统一管理。统一指标口径：规范指标，统一指标口径，便于后续指标共享和应用。指标资产化：将各种业务指标形成体系沉淀形成资产，业务人员随时随地查看获取。模型管理：支持逻辑模型、物理模型、星型模型、雪花模型可视化配置，支持模型注册。可视化操作：全可视化操作界面，指标生产流程线上化，覆盖数据指标管理全周期。面向对象：数据治理，业务系统人员，数据管理，分析师。

Keen DSP 数据科学平台 icon

提供高度自动化和易于使用的机器学习算法平台，帮助用户快速构建和部署高精度的机器学习模型，提高数据挖掘生产力，助力企业实现从BI时代跨入AI时代。

产品定位：一站式企业数据指标管理中心，提供口径一致、快速灵活的指标体系落地支撑。应用场景：可拖拽可编程双方式进行数据建模，提供从数据预处理、特征工程、模型训练评估、服务部署到在线预测的一站式服务。核心功能：自动化流程：构建全流程数据挖掘工程，涵盖数据的清洗、特征工程、机器学习算法、在线预测及离线调度。可视化建模：封装上百种机器学习算法，通过可视化拖拽实现模型训练，亦可通过notebook代码式实现模型训练，也可根据业务场景构建自定义组件。特征工程：通过配置即可系统化自动生成高维特征，大幅降低人工特征生成的工作量。自动学习：提供自动化建模工具，系统自动化进行预处理、特征工程、算法选择和模型训练调参。模型应用：既支持离线的模型预测，也支持在线的模型预测服务，打通机器学习全流程。面向对象：数据开发，算法开发，分析师。

Keen Asset 数据资产目录 icon

企业统一的数据资产门户，作为企业数据资产的地图，可以面向企业各个角色对于数据的信息查询、追溯数据的来龙去脉及具体的加工计算逻辑，数据资产在数据开发建设过程中自动沉淀，无须手工维护。

产品定位：企业数据资产门户，企业全域数据资产地图，开发人员/业务人员快速了解、查找和探索数据的窗口。应用场景：提供全面的元数据信息以及可追溯的血缘关系图谱、影响分析。核心功能：统一门户：企业统一数据资产门户，提供数据资产的查询、浏览、获取。数据资产：自动发布数据资产，全景360°数据资产搜索查询浏览。血缘关系：数据表、数据字段全链路血缘关系展现。数据标签：支持多级类目标签管理，数据资产分类管理，便于检索和维护。数据获取：自定义审批节点，快速申请数据读写权限。面向对象：企业所有用户。

Keen TAG 数据标签管理 icon

支持企业根据自身的业务体系发展和业务场景建设，创建符合自身发展的标签体系, 根据不同的业务规则灵活地为客户创建标签和群体，接入不同类型的数据源，满足于不同的业务场景，形成标签规范并及时更新，满足企业生产需要。

产品定位：企业级用户数据分析平台，提供探索用户特征及画像能力。应用场景：标签的加工生产，用户画像及画像分析，标签分群管理和接入多种数据源。核心功能：标签标签：提供标签体系的自定义功能，创建符合业务需要的标签体系。标签生产：零代码操作，根据不同的业务规则灵活地为客户创建标签和群体。标签画像：提供个体画像和群体画像，可依据不同标签维度进行分析展示。标签任务：提供标签任务管理功能，包括审批、发布openAPI、更新、删除等。服务化API：形成标签服务化API，获取群体数据，以满足第三方系统的业务场景要求。面向对象：数据开发，算法开发，分析师。

Keen DaaS 数据服务平台 icon

数据服务发布中心，无缝对接业务生产系统，解决数据最后一公里使用的问题。支持SQL、拖拽方式快速创建服务API，提供 API的完整生命周期管理，包括创建、维护、发布、运行、监控、下线等。

产品定位：大数据服务发布中心，直接将数据结果多种形式发布服务API，面向各应用端提供授权服务。应用场景：数据资产发放赋能，API统一授权管理，API统一监控，API策略管理。核心功能：统一API管理：提供快速将数据表生成API的能力，且支撑将已有API快速注册，实现API的统一发布和应用授权管理；安全可靠：数据服务认证采用Token、AKSK等方式进行，充分保证安全性和可靠性；全流程实时监控：提供多维度的API实时运行监控功能，支持检测不同应用API的运行状况。高性能、稳定性：采用弹性资源架构设计，系统根据服务情况自动进行计算资源分配，支持弹性扩展简单易用：提供界面配置生成API，提供SQL模式生成API，支持多表关联、复杂查询和聚合函数。面向对象：数据开发，IT研发，分析师。

一个完整的企业级数据底座形态构成 icon

全域数据资产体系 — 数据资产体系建设路径 icon

科杰科技通过多年的大数据综合实施经验，总结出了一套通用的大数据实施方法论并基于这套方法论构建统一、规范、可共享的全域数据体系，帮助企业建立完善的信息化解决方案，全面支撑公司业务发展，规范作业流程、提高工作效率,减少重复劳动，保障数据的准确性。KeenData数据资产建设方法论中总结了标准的、完善的企业级数据资产实施流程，结合KeenData完整产品矩阵，能够大大提升项目实施效率。

全域数据资产体系 — 数据资产建设关键路径 icon

全域数据、统一采集存储
主要采集数据源为内部数据的业务数据与日志数据，以及互联网的外部数据等，采集的方式分为离线采集，实时采集，增量采集，全量采集，以及文件采集。

数据体系分层设计
总体分为四层，原始数据层(ODS)尽可能的保持全量原始数据，公共数据层(DWD) 保存统一标准的业务事实明细数据，公共汇总层(ODM)保存以对象为核心主体的全域主题数据，应用数据层(APP)则保存面向数据应用的业务定制数据。

全域数据建模
面向数据分析（报表、经营分析）和数据应用（数据挖掘、业务应用）进行全域数据模型构建模型构建方法通常使用维度建模，主要应用DWD层之上，用于构建事实维度层，分为四个阶段：业务建模、概念建模、逻辑建模、物理建模。

数据质量管理
从一致性、完整性、准确性、及时性、重复性、规范性六个方面对数据质量进行评估，并从数据、规则、告警和反馈四个方面进行数据质量监控，实现企业全流程数据的高质量和稳定性。

数据资产管理
主要包含数据标准管理、数据质量管理、元数据管理、数据标签管理、数据生命周期管理、数据安全管理、主数据管理、数据模型管理、数据价值管理，形成九个数据资产管理职能域。

数据多元服务模式
通过四种服务模式对外提供数据服务能力：数据接口（API Service）、数据集市服务、数据推送服务、JDBC服务。

全域数据资产体系 — 全域数据资产统一采集存储 icon

数据同步中心是全域数据的汇集之地，把分散在企业各个业务系统，底层日志，以及信息互联网的数据采集到数据中心，用于构建公共数据中心。主要采集数据源为内部数据的业务数据与日志数据，以及互联网的外部数据等，采集的方式分为离线采集，实时采集，增量采集，全量采集，以及文件采集。

全域数据资产体系 — 全域数据资产分层设计 icon

科杰科技全域数据体系分层理念：总体分为四层，原始数据层(ODS)尽可能的保持全量原始数据，公共数据层(DWD)保存统一标准的业务事实明细数据，公共汇总层(MID) 保存以对象为核心主体的全域主题数据，应用数据层(APP)则保存面向数据应用的业务定制数据。

全域数据资产体系 — 全域数据资产建模设计 icon

• 面向数据分析（报表、经营分析）和数据应用（数据挖掘、业务应用）进行全域数据模型构建模型构建方法通常使用维度建模，主要应用DWD层之上，用于构建事实维度层，分为四个阶段：业务建模划分整个单位的业务，通过业务部门工作界定，理清各业务部门之间的关系

• 深入了解各个业务部门的内具体业务流程并将其程序化。

• 提出修改和改进业务部门工作流程的方法并程序化。

• 数据建模的范围界定，整个数据仓库项目的目标。概念建模抽取关键业务概念，并将之抽象化。

• 将业务概念分组，按照业务主线聚合类似的分组概念。

• 细化分组概念，理清分组概念内的业务流程并抽象化

• 理清分组概念之间的关联，形成完整的领域概念模型。

• 逻辑建模业务概念实体化，并考虑其具体的属性

• 事件实体化，也就是所谓的事实，并考虑其属性内容

• 说明实体化，也就是所谓的维度，并考虑其属性内容。物理建模针对特定物理化平台，做出相应的技术调整

• 针对模型的性能考虑，对特定平台作出相应的调整

• 针对管理的需要，结合特定的平台，做出相应的调整

• 生成最后的执行脚本，并完善之

全域数据资产体系 — 全域数据资产开放共享 icon

通过四种服务模式对外提供数据服务能力

1.数据接口(API Service) 各个业务库数据、大数据综合数据都可以直接发布成数据接口，面向应用来进行提供

2.数据集市服务，基于数据集市,可以进行更加灵活的数据处理，以数据集市来面向不同的业务进行开放。

3.数据推送服务，可以将大数据综合的数据直接推送到业务库，降低业务使用数据的成本

4. JDBC服务更为灵活，更容易被业务系统所接受，适用于支持JDBC数据对接模式的第三方软件，如第三方BI工具

全域数据资产体系 — 全域数据资产管理 icon

数据资产管理的职能主要包含数据标准管理、数据质量管理、元数据管理、数据标签管理、数据生命周期管理、数据安全管理、主数据管理、数据模型管理、数据价值管理，形成八个数据资产管理职能域。数据资产目录产品是科杰大数据产品体系中最重要的组成部分，是一套数据可视化的数据管理运营工具，实现复杂的数据资产运维简单化。

数据标准管理
定义数据统一标准，形成标准落地方案，让数据生产和使用数据达成一致，提高数据的复用率。

数据质量管理
从完整性、准确性、一致性以及及时性对数据进行质量评估，通过科杰大数据产品中的监控模块对数据质量进行及时监控。

数据生命周期管理
覆盖全量数据的生命周期管理，提高存储和计算资源利用率

主数据管理
对主数据进行控制，提高主数据质量，降低使用成本和复杂性

元数据管理
元数据是关于数据的数据，元数据管理可以帮助数据管理者、开发者、使用者非常方便的定位数据

数据标签管理
标签管理让数据使用者能够更好的探查数据、理解数据

数据安全管理
严格的权限授权，权限审批流程，完善的数据安全管理保证数据能够被合法合规的存储和使用，保障企业的数据安全

数据模型管理
通过数据模型管理清晰的表达企业内部各业务主体之间的数据相关性，构造企业内部数据统一视图

科杰科技介绍

卓越的大数据技术创新，大型企业多业态复杂场景最佳实践沉淀构建的湖仓一体化的大数据技术工程和AI基础设施能力，帮助企业构建核心数据底座。成熟完备的数据底座产品矩阵成熟完备的数据底座能力产品矩阵，融合dataops理念、覆盖数据全生命周期的一站式全链路全可视化的大数据技术工程&AI基础设施产品。企业级数据管理和运营落地的方法论行业领先的数据能力体系化建设方案，融合十余年大数据工作方法论，涵盖数据汇聚、数据处理、数据共享交换、数据挖掘分析、数据服务、数据应用、数据治理、数据运营管理等数据能力建设。

资质证书与荣誉