机器学习PAI整体介绍

 

AI企业深度学习解决方案

深度学习算法爱好者

教育与科研领域

四种模型部署方式

无论您通过何种方式训练得到的模型，都可以方便地在我们的产品里将它变成一个稳定的在线服务

PAI EAS控制台部署

适合用户已有的自训练模型，上传本地模型，简单配置即可部署

PAI Studio部署

适合通过Studio流程生成的模型，一键完成部署

PAI DSW部署

适合在DSW中实验得到的模型，快速验证线上效果

本地客户端部署

适合用户自训练模型部署，可集成至已有的离线系统中

三种服务调用路径

不同的调用方式，可以适配不同的业务场景需求

公网地址调用

HTTP请求调用，调用地域不受限，适用范围最为广泛

VPC地址调用

HTTP请求调用，需同一region内请求，避免公网损耗，无流量费用

高速直连通道调用

即将发布，敬请期待

 

 

 

 

 

 

·PAI起初是一个定位于服务阿里集团的机器学习平台，致力于让AI技术更加高效、简洁、标准的被公司内部开发者使用。对集团内，PAI服务了淘宝、支付宝、高德等部门的业务。随着PAI的算法的不断积累，2015年底PAI作为天池大赛的官方比赛平台在阿里云正式上线，也成为了国内最早的云端机器学习平台之一。随着PAI在阿里云的业务的不断发展，2018年PAI平台正式商业化，目前已经在公有云积累了数万的企业客户以及个人开发者，是目前国内领先的云端机器学习平台之一。

·PAI底层支持多种计算框架：有流式算法框架Flink，基于开源版本深度优化的深度学习框架TensorFlow，支持千亿特征千亿样本的大规模并行化计算框架Parameter Server，同时也兼容Spark、PYSpark、MapReduce等业内主流开源框架。

·PAI平台提供：PAI-STUDIO（可视化建模和分布式训练）、PAI-DSW（notebook交互式AI研发）、PAI-AutoLearning（自动化建模）、PAI-EAS（在线预测服务）四套服务，每个服务既可单独使用，也可相互打通。用户可以从数据上传、数据预处理、特征工程、模型训练、模型评估，到最终的模型发布到离线或者在线环境，一站式完成建模，有效的提升开发效率。在数据预处理方面，PAI跟阿里云DataWorks（一站式大数据智能云研发平台）也是无缝打通的，支持SQL、UDF、UDAF、MR等多种数据处理开发方式，灵活性较高。在PAI平台上训练模型，生成的模型可以通过EAS部署到线上环境，整个实验流程支持周期性调度，可以发布到DataWorks与其它上下游任务节点打通依赖关系，另外调度任务区分生产环境以及开发环境，可以做到数据安全隔离。

·一站式的机器学习平台意味着只要训练数据准备好（存放到OSS或MaxCompute中），用户就不需要额外的迁移工作，所有的建模工作都可以通过PAI来实现。

 

重点介绍PAI的核心功能：
如图所示，PAI提供PAI-AutoLearning、PAI-Studio、PAI-DSW三种建模方式，从左到右，建模的灵活度更高。从右到左，建模的技术要求降低。其中Studio中包括了数据预处理、特征工程、机器学习算法、深度学习等基本组件。所有算法组件全部脱胎于阿里巴巴集团内部成熟的算法体系，经受过PB级别业务数据的锤炼。
此外，PAI在模型建模基础上，提供模型在线服务一键部署功能，解决了用户模型部署使用的最后一公里问题。
最后，PAI还给用户提供了智能生态市场功能，用户可以通过在智能生态市场快速获取业务解决方案或模型算法，进行相关业务与技术的高效对接。

PAI-Studio中的所有算法都经历过阿里巴巴集团许多业务、EB级数据的锤炼。根据算法的不同特点选用MapReduce、MPI、ParameterSever、Flink等不同框架进行实现，真正做到成熟、稳定、简单、易用。

同时，在调参方面，如何探寻算法最优的超参数组合是一直以来困扰算法工程师的难题，调参工作不仅考验算法工程师对于算法推导认知的功底，还会带来大量手动尝试的工作量，工作效率很低。PAI-Studio内置的AutoML技术通过智能化的方式降低机器学习实验搭建的复杂度，通过自研的进化式调参等方式彻底解放用户的调参工作，实现模型参数自动探索、效果自动评估、模型自动向下传导，实现模型优化全链路零干预，大大降低机器学习门槛，节约计算成本。

PAI-AutoML自动调参引擎自上线以来，已经收到国内外客户不错的反响。AutoML不仅包含基于Parallel Search思想的Grid search、Random search两种传统调参模式，还包含PAI团队基于Population Based Training理论原创的Evolutionary Optimizer调参模式，这种调参方式可以渐进式的帮助用户以最小代价探寻最优参数组合。

Evolutionary Optimizer在调参过程中保留所有参数的表现以备追溯，并且调参模式与训练流程打通，做到自动选参、自动训练、自动评估、自动部署的整个链路自动化。

 

 

 

 

目前EAS公共云支持区域：华北2(北京)、华东2(上海)、华东1(杭州)、华南1(深圳)、新加坡。

EAS公共云上整体通过资源占用量收费。提供公共资源组及专属资源组两种资源占用模式。在公共资源组中按照每个模型服务占用的资源计量计费，在专属资源组中根据资源组管理的机器资源包年包月或按量付费。

 

 

 

 

通过对底层的分布式算法封装，提供拖拉拽的可视化操作环境，让数据挖掘的创建过程像搭积木一样简单。缩短了您与数据的距离，真正实现了数据的触手可及。同时也提供了命令行工具，方便您将算法嵌入到自己的工程中。

机器学习平台上的算法都是经过阿里大规模业务锤炼而成的。从算法的丰富性角度来看，阿里云机器学习平台不仅提供了基础的聚类、回归类等机器学习算法，也提供了文本分析、特征处理等比较复杂的算法。

使用阿里云机器学习平台计算的模型直接存储在MaxCompute（原ODPS）上，可以配合其它阿里云的产品组件加以利用。

阿里云机器学习平台除了提供模型训练功能，还提供在线预测以及离线调度功能，让机器学习训练结果和业务可以无缝衔接。

阿里云机器学习平台已经包含了Tensorflow、Caffe、MXNet这三款主流的机器学习框架，底层提供M40型号的GPU卡进行训练。

阿里云机器学习算法平台的背后是阿里巴巴的算法科学家和阿里云的技术保障团队，在使用过程中遇到任何问题都可以到工单系统提交工单或者直接与相关接口人联系。