LeapHD 产品概述
联想大数据平台(简称: LeapHD)是业界领先的处理企业级大数据场景的高性能一站式平台。在大数据时代,构建面向海量数据的存储与计算能力、挖掘数据的深层价值正逐渐成为提高企业竞争能力的核心要素之一。
LeapHD帮助企业快速建立统一数据湖或数据中台,支持企业内外部数据的融合、实现海量数据的集中存储、大规模计算的并行处理、计算资源的统一管理以及高效的数据分析挖掘。在大数据的平台之上,用户可以构建相应的分析挖掘应用。
LeapHD 
平台特点
LeapHD 平台具有简单易用、 性能优异、 高度兼容、安全稳定等特点, 具有业界完整的 SQL on Hadoop 支持,实现完整支持 SQL 标准,增强分布式事务处理能力,全面支持 MPP 场景;突破实时处理计算框架,支持物联网实时业务分析;一站式图形化的数据开发套件,可快速分析应用;它是企业级大数据场景的高性能一站式分析平台的优秀选择。
它可以帮助企业快速构建统一的数据存储、计算和分析平台,支持企业内部、外部数据的融合、实现海量数据的存储、并提供极佳的数据计算与深度分析挖掘能力。在大数据平台之上,用户可以构建相应分析挖掘应用,从而辅助企业及时洞察商机和潜在的风险,以数据驱动业务价值实现, 提升企业竞争力。
产品价值
通过搭建企业级大数据分析平台,打破传统各系统烟囱式建设模式, 实现跨专业、跨层级、跨主体、全过程的数据呈现、敏捷开发与能力嵌入,充分发挥大数据的核心资产能力与价值能力,持续推动透明管控、科学运营和价值创造。
● 平台层面:主要提供数据存储和数据处理能力,提供统一的集成平台环境,将硬件和平台软件做有效的集成。搭建 Hadoop 和 SPARK 等计算框架, 实现海量数据的分布式处理; 通过新技术,降低系统总体拥有成本。
● 功能层面:主要提供数据整合、数据清洗&转换&加载、数据共享、数据分析与查询、数据挖掘、数据管理能力;提供新的 IT 功能架构,提供多租户的 ETL、统一的数据计算与存储、数据共享、多租户的应用开发、数据平台管控。
产品特性及技术优势
部署运维自动化
 支持向导式自动化的平台安装、部署过程,支持以本地源提供安装包;
 支持集群中节点的自动化配置,包括主机及在其上安装的服务、客户端等;
 支持 Hadoop 组件的管理功能,包括添加、删除、启动、停止等;
 支持对集群各节点的可视化、图形化、指标化监控,如 CPU、存储、硬盘、负载、网络等;
 支持统一的告警服务, 提供消息、邮件及界面可视化等多种方式展示;
 支持基于整体平台或独立组件的版本升级, 并保障数据的持续可用;
数据处理与调度
 支持数据质量的探查与规则化处理、大数据任务的执行与调度、大数据与传统数据库、 文件之间的导入与导出, 数据的批量化、 定时化处理与调度;
 支持多数据源的数据集成与整合, 包括 Oracle、 MySql、 SqlServer 等关系型数据库、 文件、Web 服务等多种类型;
 支持可视化的数据采集、 转换流程配置;
 支持流程定义与流程调度, 可以一次、 多次, 定时的执行计划任务;
 支持流数据实时采集;
海量数据存储与计算
 支持结构化、 非结构化海量数据存储,支持 HDFS、 Hive 、 HBase;
 支持基于 MapReduce 的批处理和 HBase API 处理数据;
 支持通过脚本、 Java 程序、 API、 SQL 等多种方式进行数据查询分析;
 支持 Hadoop 数据的多源、 多类型的导入与导出;
 提供可视化的 SQL 执行 IDE,支持 Hive、 Spark、 Impala 的数据查询及结果输出;
 支持 HDFS 文件管理;
 支持存储过程执行;
数据管理与安全
 提供完善的元数据管理工具, 支持对技术元数据的自动获取、 业务元数据的维护;
 支持数据的血缘分析、影响分析, 实现数据全生命周期的查看与溯源;
 支持数据地图构建,查看企业宏观数据划分;
 支持按照企业业务分类划分数据,形成企业专属的数据目录;
 支持数据元信息收藏、分享、 标签管理、快速 SQL 查询等操作,方便的进行数据定位分析。
 
LeapHD功能架构
从功能架构上分为数据集成、数据计算与存储、数据查询与分析、数据资产管理、数据服务和系统运维监控。主要采用 Hadoop、 Spark 等分布式技术,满足计算能力线性扩展、数据汇总能力。
联想大数据平台总体框架如下:
 
LeapHD 产品功能
数据集成套件
大数据平台提供实时、批量等多种数据采集模式,具备支持多种类型的数据采集方式:数据库、 本地文件、公有云平台和 Ftp、 dump 等其他类型的数据,能够根据企业的需求快速扩展,同时联想大数据平台也提供网络爬虫模块,以便快速获取外部网络数据。
数据查询与分析工具
联想大数据分析平台提供数据查询分析工具,以及多种分布式统计算法工具,以方便用户查询、分析和进行数据挖掘工作。
平台运维管理
联想大数据分析平台的运维管理系统,具备便捷的图形化监控运维能力。在提升易性的同时,可提供软件的自动部署、各节点运行状态的实时监控、各类用户的权限控制、统一的资源配额调度和系统自动告警等多种功能。
数据服务
通过整合内部数据资源,实现数据能力开放,连接服务提供者、服务消费者、服务管理者,构建数据服务开放生态,从而盘活企业的数据资产,提升数据价值。
数据计算存储
联想大数据平台基于 Hadoop 开源生态系统,引入了多种核心功能和组件,对复杂开源技术进行高度集成和性能优化。同时面向基础设施层进行深度调优。在分布式存储系统的基础上,建立了统一资源调度管理系统,高效地支持大规模批处理、交互式查询计算、流式计算等多种计算引擎。
任务调度
任务调度(TaskScheduler)是一套高效的图形化大数据工作流配置与执行管理平台,支持可视化的大数据计算任务构建能力。通过封装底层技术复杂性,提供对 SQL 脚本、 MR、 Spark Scala、 Shell 脚本、 MySQL/Oracle、 数据导入/导出等多种计算模块的可视化操作。
数据资产管理
将数据对象作为一种全新的资产形态,围绕数据资产本身建立一个可靠可信的管理机制,提供元数据管理、数据资产管理、数据标准管理、数据质量管理、数据安全。以实现对数据的可管、可控、可视,为提升数据价值奠定良好基础。
主要功能
数据计算存储
联想大数据平台基于Hadoop开源生态系统,引入了多种核心功能和组件,对复杂开源技术进行高度集成和性能优化。在分布式存储系统的基础上,建立了统一资源调度管理系统,高效地支持大规模批处理、交互式查询计算、流式计算等多种计算引擎。
系统管理
系统管理( System Admin )采用多租户的思路,将数据能力按需、可控的进行开放,提供多租户下的库表资源管理,权限分配,基于项目,提供存储、计算资源的分配、使用监控与计费等服务。
SQL查询分析器
SQl查询分析器( SQL Editor )是基于大数据平台构建的在线查询系统,借助SQL Editor系统,用户无需掌握复杂的大数据开发技术,只要熟悉SQL语法,就可以快速对海量数据进行类似关系型数据库的查询操作,并以可视化的方式获得直观的查询结果。
集群管理
集群管理( Manager )是联想大数据平台的自动化运维工具,满足不同场景下大数据平台向导式自动安装,实现对主机资源、主机服务有效的监控与可视化的管理,支持的组件包括HDFS、Yam.MapReduce、Hbase、Hive、Spark、Storm、Zookeeper等 ,支撑整个大数据平台智能化运维。
数据集成
数据集成( Data Hub)是大数据平台的数据传输工具,利用DataHub可以将不同渠道,不同平台,不同格式的数据汇总到Hive.Hbase或者Hdfs中,Datahub包含的功能有图形化ETL构建、迁移任务管理、迁移运行实例等模块。
数据开发及任务调度
数据开发及任务调度( TaskScheduler )是一套高效的图形化大数据工作流配置与执行管理平台,支持可视化的大数据计算任务构建能力。通过封装底层技术复杂性,提供对SQL脚本、MR、 Spark、Scala、Shell脚本、MySQL、Oracle、数据导入导出等多种计算模块的可视化操作,使得开发人员更专注于计算本身而不在关注底层技术细节。
数据目录
数据目录( Data Catalog )是大数据平台的数据管理工具,对企业拥有的元数据进行管理,支持业务视图和物理视图方式管理数据,可查看元数据基本信息、数据所在位置,数据的血缘关系,数据的影响分析,管理数据的生命周期等。
数据质量
数据质量( Data Quality )是大数据平台的数据质量管理工具,实现企业内部的业务应用程序中快速识别、修复及监控数据质量问题。支持企业数据标准与质量规则库统一维护,支持简单易操作的数据稽核配置,支持完善的图形化质量分析, 支持问题数据预览、下载,支持灵活告警机制。
产品推荐 查看更多>>
    数划云制造业预算管理分析系统

    数划云制造业预算管理分析系统,总体规划,立足全局闭环的预算管理流程蓝图,实现管理制度化+战略模型化+决策数据化的抓手。组织协同,流程配套,数据沉淀,结合公司战略及中长期目标测算模型,构建以销定产的预算编制模型。

    组织协同

    流程配套

    数据沉淀

    预算编制模型

    竹间智能企业智能化解决方案

    竹间智能企业智能化解决方案以知识为基础覆盖数据接入、知识管理、业务应用和可视化全业务流程一站式知识工程平台,帮助企业升级传统结构化数据资产管理模式,通过知识图谱将企业显性和隐形知识充分表达,重构为企业一站式智能知识中心,赋能给各业务生产环节,加速企业效能提升,加快企业数智化建设进程。

    知识工程构建

    基于AI的精益化客户服务系统整体架构

    赋能营销与客户服务

    赋能营销与客户服务

    数势科技经营罗盘系统

    数势科技经营罗盘系统通过API、RPA等方式自动化采集多渠道多系统数据,建立电商运营通用指标体系及分析算法模型,提供一站式场景分析、决策 和自助分析探索能力,助力商家经营效率提升。

    提升运营效率

    沉淀经营数据

    辅助运营决策

    自定义数据预警