联想LeapHD大数据平台

平台特点

LeapHD 平台具有简单易用、 性能优异、 高度兼容、安全稳定等特点， 具有业界完整的 SQL on Hadoop 支持，实现完整支持 SQL 标准，增强分布式事务处理能力，全面支持 MPP 场景；突破实时处理计算框架，支持物联网实时业务分析；一站式图形化的数据开发套件，可快速分析应用；它是企业级大数据场景的高性能一站式分析平台的优秀选择。
它可以帮助企业快速构建统一的数据存储、计算和分析平台，支持企业内部、外部数据的融合、实现海量数据的存储、并提供极佳的数据计算与深度分析挖掘能力。在大数据平台之上，用户可以构建相应分析挖掘应用，从而辅助企业及时洞察商机和潜在的风险，以数据驱动业务价值实现， 提升企业竞争力。

产品价值

通过搭建企业级大数据分析平台，打破传统各系统烟囱式建设模式， 实现跨专业、跨层级、跨主体、全过程的数据呈现、敏捷开发与能力嵌入，充分发挥大数据的核心资产能力与价值能力，持续推动透明管控、科学运营和价值创造。
● 平台层面：主要提供数据存储和数据处理能力，提供统一的集成平台环境，将硬件和平台软件做有效的集成。搭建 Hadoop 和 SPARK 等计算框架， 实现海量数据的分布式处理； 通过新技术，降低系统总体拥有成本。
● 功能层面：主要提供数据整合、数据清洗&转换&加载、数据共享、数据分析与查询、数据挖掘、数据管理能力；提供新的 IT 功能架构，提供多租户的 ETL、统一的数据计算与存储、数据共享、多租户的应用开发、数据平台管控。

部署运维自动化

 支持向导式自动化的平台安装、部署过程，支持以本地源提供安装包；
 支持集群中节点的自动化配置，包括主机及在其上安装的服务、客户端等；
 支持 Hadoop 组件的管理功能，包括添加、删除、启动、停止等；
 支持对集群各节点的可视化、图形化、指标化监控，如 CPU、存储、硬盘、负载、网络等；
 支持统一的告警服务， 提供消息、邮件及界面可视化等多种方式展示；
 支持基于整体平台或独立组件的版本升级， 并保障数据的持续可用；

数据处理与调度

 支持数据质量的探查与规则化处理、大数据任务的执行与调度、大数据与传统数据库、 文件之间的导入与导出， 数据的批量化、 定时化处理与调度；
 支持多数据源的数据集成与整合， 包括 Oracle、 MySql、 SqlServer 等关系型数据库、 文件、Web 服务等多种类型；
 支持可视化的数据采集、 转换流程配置；
 支持流程定义与流程调度， 可以一次、 多次， 定时的执行计划任务；
 支持流数据实时采集；

海量数据存储与计算

 支持结构化、 非结构化海量数据存储，支持 HDFS、 Hive 、 HBase；
 支持基于 MapReduce 的批处理和 HBase API 处理数据；
 支持通过脚本、 Java 程序、 API、 SQL 等多种方式进行数据查询分析；
 支持 Hadoop 数据的多源、 多类型的导入与导出；
 提供可视化的 SQL 执行 IDE，支持 Hive、 Spark、 Impala 的数据查询及结果输出；
 支持 HDFS 文件管理；
 支持存储过程执行；

数据管理与安全

 提供完善的元数据管理工具， 支持对技术元数据的自动获取、 业务元数据的维护；
 支持数据的血缘分析、影响分析， 实现数据全生命周期的查看与溯源；
 支持数据地图构建，查看企业宏观数据划分；
 支持按照企业业务分类划分数据，形成企业专属的数据目录；
 支持数据元信息收藏、分享、 标签管理、快速 SQL 查询等操作，方便的进行数据定位分析。

 

数据集成套件

大数据平台提供实时、批量等多种数据采集模式，具备支持多种类型的数据采集方式：数据库、 本地文件、公有云平台和 Ftp、 dump 等其他类型的数据，能够根据企业的需求快速扩展，同时联想大数据平台也提供网络爬虫模块，以便快速获取外部网络数据。

数据查询与分析工具

联想大数据分析平台提供数据查询分析工具，以及多种分布式统计算法工具，以方便用户查询、分析和进行数据挖掘工作。

平台运维管理

联想大数据分析平台的运维管理系统，具备便捷的图形化监控运维能力。在提升易性的同时，可提供软件的自动部署、各节点运行状态的实时监控、各类用户的权限控制、统一的资源配额调度和系统自动告警等多种功能。

数据服务

通过整合内部数据资源，实现数据能力开放，连接服务提供者、服务消费者、服务管理者，构建数据服务开放生态，从而盘活企业的数据资产，提升数据价值。

数据计算存储

联想大数据平台基于 Hadoop 开源生态系统，引入了多种核心功能和组件，对复杂开源技术进行高度集成和性能优化。同时面向基础设施层进行深度调优。在分布式存储系统的基础上，建立了统一资源调度管理系统，高效地支持大规模批处理、交互式查询计算、流式计算等多种计算引擎。

任务调度

任务调度（TaskScheduler）是一套高效的图形化大数据工作流配置与执行管理平台，支持可视化的大数据计算任务构建能力。通过封装底层技术复杂性，提供对 SQL 脚本、 MR、 Spark Scala、 Shell 脚本、 MySQL/Oracle、 数据导入/导出等多种计算模块的可视化操作。

数据资产管理

将数据对象作为一种全新的资产形态，围绕数据资产本身建立一个可靠可信的管理机制，提供元数据管理、数据资产管理、数据标准管理、数据质量管理、数据安全。以实现对数据的可管、可控、可视，为提升数据价值奠定良好基础。

数据计算存储

联想大数据平台基于Hadoop开源生态系统，引入了多种核心功能和组件，对复杂开源技术进行高度集成和性能优化。在分布式存储系统的基础上，建立了统一资源调度管理系统，高效地支持大规模批处理、交互式查询计算、流式计算等多种计算引擎。

系统管理

系统管理( System Admin )采用多租户的思路，将数据能力按需、可控的进行开放，提供多租户下的库表资源管理，权限分配，基于项目，提供存储、计算资源的分配、使用监控与计费等服务。

SQL查询分析器

SQl查询分析器( SQL Editor )是基于大数据平台构建的在线查询系统，借助SQL Editor系统，用户无需掌握复杂的大数据开发技术，只要熟悉SQL语法，就可以快速对海量数据进行类似关系型数据库的查询操作，并以可视化的方式获得直观的查询结果。

集群管理

集群管理( Manager )是联想大数据平台的自动化运维工具，满足不同场景下大数据平台向导式自动安装，实现对主机资源、主机服务有效的监控与可视化的管理，支持的组件包括HDFS、Yam.MapReduce、Hbase、Hive、Spark、Storm、Zookeeper等 ，支撑整个大数据平台智能化运维。

数据集成

数据集成( Data Hub)是大数据平台的数据传输工具，利用DataHub可以将不同渠道，不同平台，不同格式的数据汇总到Hive.Hbase或者Hdfs中，Datahub包含的功能有图形化ETL构建、迁移任务管理、迁移运行实例等模块。

数据开发及任务调度

数据开发及任务调度( TaskScheduler )是一套高效的图形化大数据工作流配置与执行管理平台，支持可视化的大数据计算任务构建能力。通过封装底层技术复杂性，提供对SQL脚本、MR、 Spark、Scala、Shell脚本、MySQL、Oracle、数据导入导出等多种计算模块的可视化操作,使得开发人员更专注于计算本身而不在关注底层技术细节。

数据目录

数据目录( Data Catalog )是大数据平台的数据管理工具，对企业拥有的元数据进行管理，支持业务视图和物理视图方式管理数据，可查看元数据基本信息、数据所在位置，数据的血缘关系，数据的影响分析，管理数据的生命周期等。

数据质量

数据质量( Data Quality )是大数据平台的数据质量管理工具，实现企业内部的业务应用程序中快速识别、修复及监控数据质量问题。支持企业数据标准与质量规则库统一维护，支持简单易操作的数据稽核配置，支持完善的图形化质量分析， 支持问题数据预览、下载，支持灵活告警机制。