一篇关于“AIOps”蓝鲸智能运维的思考文章

来源: 云巴巴 2020-03-06 17:28:35

    矛盾是事物发展的源泉和动力。只有不断的解决问题才能够不断地自我提升,运维中的矛盾,既有来自业务和技术上的,也有来自开发和运营的,而想要解决这些问题只能不断的向前发展。
    一、安全生产
    数据中心的主要职责是安全生产,围绕着安全生产有三个目标:
    1高可用架构:高可用的IT基础设施可以确保应用系统的可用性与连续性,包括:应用集群、系统热迁、数据库集群、存储复制、物理备份等。
    2高效运维:围绕着高可用架构,进行一些列高效运维工作,包括:资源供给、应用部署、日常变更、故障处理、数据治理等。
    3 节约成本:在满足高可用和高效的前提下,尽量节约成本,包括资源优化、性能优化、以及减少成本不敏感的资源浪费。

    二、高效运维
    主要涉及如下四个方面工作:
    1资源供给:之前的这些工作需要多人协同,效率无法保证。现在通过云计算,可以提前准备一批资源,然后通过自动化的流程去衔接,避免沟通成本和低效的手工操作,提高了效率和人员安全。
    2应用部署:之前是开发——测试——组织投产——开展运维,应用发布部署效率低。现在通过DevOps提高效率,DevOps强调持续CI/CD,通过CI实现开发到测试的持续集成测试,通过CD实现开发到运维的持续系统部署,通过CD实现技术到业务的持续价值交付。
    3变更管理:之前是人工配合一些工具脚本,无系统化思维能力,往往只见树木不见森林。现在是通过云提升系统外变更效率,通过自动化工具(例如Puppet和Ansible)提高系统内变更效率。
    4故障处理:之前是接到监控告警,各专业分析根源,执行应急预案,但是存在很多问题。现在是通过AIOps解决,实现故障预测、故障检测、根因分析、故障自愈,尽量减少人工参与。
    三、智能运维(AIOps)
    IT运维经历了三个阶段,即人工运维、自动化运维、智能运维(AIOps)。人工运维是指人工配合脚本。自动化运维是指系统工具的自动化,决策在人,执行在机器。智能化运维是指决策的自动化,决策在机器,执行也在机器。
    1 AIOps定义:AIOps是指基于已有的运维数据(访问关系、监控告警、日志),采用数据分析和机器学习方法,提高运维决策能力,解决自动化运维无法解决的问题,进一步提高运维效率,AIOps的价值不仅在于提供智能运维决策,也在于实施过程中,对已有的基础架构、应用关系、监控告警、日志数据等进行梳理。实现真正的精细化运维,当然,AI算法的局限性、场景的多样性、数据的复杂性,决定了AIOps是人力密集性、过程的曲折性。也决定了AIOps不能解决全部问题,需要人机协同和知识图谱,才能发挥AIOps最大价值。
    3.2 数字化运维:信息化是把手工流程变成线上流程,数字化是把物理对象抽象为数字对象,通过大数据分析和机器学习算法挖掘数据的价值,大数据主要通过大量多样数据的分析,挖掘数据的价值,会使用到一些机器学习算法。机器学习主要强调决策的自动化,依赖的基础也是数据,可以说,大数据分析基础,AI是目标态,AIOps是运维数字化的直接体现。
    3.3 AIOps场景:一是质量方向,主要是异常处理,包括异常预测、异常检测、根因分析、故障自愈等;二是效率方向:主要是预测,包括批量预测、容量预测、交易量预测等;三是成本方向,包括资源优化、性能优化等。
    3.4算法为尊:
    现阶段的AI得以发展,得益于算力、算法、数据的共同改良,算力是通用的,场景决定数据,数据决定算法。往往不同的场景有不同的数据,即使同一个场景的不同环境也有不同数据,这就决定了数据的适配性、算法的多样性。
    AI算法:机器学习算法,按标注可以分为监督、非监督、半监督、强化。按用途可分为分类、聚类、回归、降维。按照方法可分为统计学、传统机器学习、深度学习等。其中,统计学(例如:正太分布、均衡分布)要求数据必须满足某种分布,在异常检测领域用的多,包括运维领域的故障处理、金融领域的反欺诈、工业领域的残次品检测,传统机器学习(例如:kmeans、随机森林、支持向向量机、贝叶斯、决策树、马尔可夫等),虽然对数据要求弱一些,但对场景依赖强,即使是同一个场景的不同环境,也需要不同模型,在数据分析领域用的比较多,深度学习(深层神经网络,例如:CNN、RNN)对数据要求高,因为更多的数据才能训练出更深的神经网络,更深的神经网络抽象表达能力更好,也就决定了场景适应能力越强,主要是用在图像技术、语音技术、自然语言处理三个通用技术领域。
    AIOps算法:做异常处理时,主要是概率分布和聚类,分类比较少,因为GT少。做预测时,可以是多维的线性回归模型,线性回归简单,但鲁棒性差。也可以是基于深度学习的非线性模型,一则对数据要求高,二则需要监督学习。还可以是传统的贝叶斯模型,但预测效果一般。
    3.5方案为王:学术界研究通用问题,寻找更优的算法。工业界除了需要解决通用问题,还需要解决更多的个性化问题,甲方和乙方经常不在一个频道上,乙方主打算法和产品,甲方确需要解决方案,解决应用场景中的痛点。这中间需要乙方设立解决方案部门,熟悉甲方各种套路,算法的价值在于解决问题,在算法、产品、解决方案、应用场景、产生价值整个周期中,算法仅仅是个开始。研究新算法,解决通用问题,固然很重要,利用已有算法,解决个性化问题,给出完整解决方案,才是关键。
    3.6非零基构建:AIOps是在现有基础架构之上构建的智慧大脑,依赖于现有的眼(应用访问关系、监控告警、日志)和手(云和自动化工具),眼数据主要有:应用访问关系,基础架构成熟的企业,积累了应用访问关系,不成熟的企业,需要借助AIOps进行梳理。监控数据,包括设备监控数据、网络监控数据、系统监控数据、平台监控数据、应用监控数据、业务指标监控数据,这些都是结构化的时序数据。日志数据,非结构化的数据,每个系统都有自己的日志数据,不便于统一分析。手主要分为外手和内手,外手主要是在系统在外侧操作,可以通过云平台(IAAS和PAAS)实现。内手主要通过自动化工具实现,例如无代理的Ansible和有代理的Puppet。AIOps就是基于现有的眼数据,进行分析、推理、决策,然后使用现有的手进行运维。
    四、监管之剑
    监管要求的安稳态是把双刃剑,一方面确保了业务的安全稳定运行,另一方面却阻碍了技术创新,然而,技术创新,无论是云计算、还是DevOps、还是AIOps,都在追求敏捷态,这往往挑战了监管要求。在监管面前,一切违反监管要求的做法都是一票否决,我们可以在现有的监管框架内寻求折中,例如,在严格遵守ITIL的严管控流程的同时,把人工流程全部优化为自动化流程,但这会偏离技术创新的原有初衷。解铃还须系铃人,监管需要为技术创新改变。
    五、结束语
    真理往往都是最简单的,但是,寻找真理的过程确是复杂且艰难的,这也恰恰是魅力所在。我们坚信,在大家的共同努力下,AIOps终将会让所有人看到它的魅力。

 

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里!

 

评论列表

为你推荐

一眼开门,智能虹膜锁在我们身边的应用

一眼开门,智能虹膜锁在我们身边的应用

虹膜识别技术是目前除了DNA外最为精准的生物特征识别技术,过去出门的时候经常忘带钥匙,但自从换了智能虹膜锁之后,每次回家,只需要走到门前对着屏幕眨眨眼,就能够智能开门,非常方便。

2022-11-23 15:55:09

为什么要用多模态生物识别进行身份验证

为什么要用多模态生物识别进行身份验证

多模态生物识别,顾名思义就是将多种生物识别技术进行融合,它区别于单一的生物识别技术,能够满足用户更高安全级别的需要。

2022-11-24 10:55:26

指纹锁不再是考勤打卡的唯一选择

指纹锁不再是考勤打卡的唯一选择

近两年,随着生物识别技术更加深入地发展,人脸识别、虹膜识别、指静脉识别也纷纷应用到我们日常的生活中来,所以指纹锁虽然是考勤打卡的常用选择,但不再是唯一选择,今天主要聊聊其他的三种生物识别方式。

2022-11-23 16:49:25

如何用大模型进行图像创作?一文了解腾讯大模型图像创作引擎

如何用大模型进行图像创作?一文了解腾讯大模型图像创作引擎

腾讯,作为中国领先的互联网科技公司,也在这一浪潮中积极探索,基于产业对模型的多模态能力需求以及性价比与效率要求,推出了专为图像创作设计的大模型图像创作引擎

2024-07-30 09:54:12

eyecoolE9智能虹膜锁,更加智能的虹膜锁

eyecoolE9智能虹膜锁,更加智能的虹膜锁

虹膜识别是我们经常会选择的一种身份认证方式,如果说生物识别方式和进行生物识别时是根据哪种信息进行身份认证相关那么虹膜识别技术使用的我们每个人的虹膜信息在安全方面让虹膜识别技术成为了安全系数较高的生物识别技术,在eyecoolE9智能虹膜锁中让我们感受到更多

2022-11-24 10:30:48

统一身份认证平台,助力科技与金融的完美融合

统一身份认证平台,助力科技与金融的完美融合

当下,互联网金融潮流涌动,客户结构与需求也不断发生变化,新技术的应用带来的全新商业模式正在加剧市场的竞争与变迁,智慧银行应运而生,为顺应时代发展趋势,荣成农商银行结合自身业务和服务特点,走出了一条紧跟时代发展、融合智慧城市建设的转型升级之路。

2022-11-23 16:56:25

严选云产品

好会计小畅报销 好会计小畅报销,费用管控一体化,报销全流程在线。多种方式收集发票, 发票抬头自动生成、智能识别票种、价税分离。自动携带电票源文件,报销单根据票据智能生成。无需贴票,一键提交。
三足蛙TIKTOK 智能云控系统 三足蛙TIKTOK 智能云控系统,云控可以20倍降低获客成本,免越狱,键清理环境,安全性⾼,隐私性强,⽣态环境好,操作简单,系统稳定,运⾏流畅,群控管理,⾃动养号,售后保障强,⻛险低。
梅卡曼德机器人重工业解决方案 梅卡曼德机器人重工业解决方案,轻松应对现场不同品规、结构复杂的曲轴工件;支持一定程度反光、表面锈色、结构复杂等情况;可快速适应新增品规;智能轨迹规划、碰撞检测算法,可引导机器人在形变深框环境中稳定抓取,避免发生碰撞,显著提升清框率。
腾讯乐享企业文化建设解决方案 腾讯乐享企业文化建设解决方案,多渠道、多形式发布与传播,将社区文化建设落到实处。线上宣传结合渠道,更快速、精准,定时消息通知,并增加互动,触达更有力。活动资料上传云端,且支持多终端访问,用户随时可查阅与回顾活动过程记录方式更灵活,视频/音频+图文多种形式。
阿里云 工业数据应用平台 阿里云工业数据应用平台为企业提供工业物联与数据应用服务的一站式解决方案,为制造企业数字化生产构建基础能力。产品为客户提供资产建模、数据采集、数据分析、设备监控和数据分析五大产品能力
网御星云大数据安全管控系统 DSM 网御大数据安全管控系统(以下简称:Leadsec-DSM),实现大数据平台组件的用户鉴权、权限控制、数据脱敏、安全审计等功能,以满足客户对大数据平台自身安全管控的需求,有效杜绝由运维人员、数据分析人员等使用原始数据而造成数据泄露的风险,保障了大数据平台的数据安全和用户安全。

甄选10000+数字化产品 为您免费使用

申请试用