争锋科技数字免疫系统_故障演练平台_应急指挥调度系统-云巴巴

争锋科技数字免疫系统

争锋科技数字免疫系统数字免疫系统(Digital Immune System,DIS) 结合了可观察性、Al增强测试、混沌工程、自修复、站点可靠性工程和软件供应链安全等实践和技术，以提高产品、服务和系统的弹性，同时降低业务风险。

趋势-数字免疫系统

数字免疫系统(Digital Immune System,DIS)结合了可观察性、Al增强测试、混沌工程、自修复、站点可靠性工程和软件供应链安全等实践和技术，以提高产品、服务和系统的弹性，同时降低业务风险。 Gartner预计，到2025年，投资于建立数字免疫的企业将减少80%的停机时间，以此来提高客户满意度。

稳定性保障各环节的目标 icon

故障预防
基于用户行为高仿真、系统状态高仿真、运行环境高仿真，实现测试全覆盖。同时结合变更管理、操作行为防控、技术风险防控，确保系统变更过程可控。

故障改进
通过历史事件的复盘，持续完善故障预防能力、故障感知能力、故障处置能力。

故障处置
构建完善的应急处置能力和组织，在发生故障时，能有效的协调恢复系统。

故障发现
构建基于联邦制的统一监控体系，做到生产故障能发现。

应用实践

业务可用性实时感知
业务用例百分百覆盖(如买、卖、撤、查，以及各种高权限操作等)，实时感知、实时告先于用户发现问题，减少客户投诉，防止舆情发生

业务数据全方位验证
如市场数据不同步、数据异常变动、多终端数据不一致、数据加载异常等问题，同时可按需实现客户所需的业务验证点

业务流程多维度分析
通过APP纵向版本对比分析、同业横向业务对比分析、易错环节分析等，为业务提升和优化提供数据支撑。

客户认可

应用实践业务实时监控 icon

应用实践-保障稳定性提升 icon

什么是混沌工程

混沌工程是一门新兴的技术学科，它的初衷是通过实验性的方法，让人们建立复杂分布式系统能够在生产中抵御突发事件能力的信心。通过主动向系统中注入可能引发故障的扰动，来探索系统对扰动的承受能力，发现系统中潜在的脆弱环节, 提前识别位置隐患。

本质

通过实验发现风险

核心思想

主动+探索，以风险管理视角正视故障存在的可能性

核心手段

故障或事件注入

稳定性保障体系建设目标 icon

降发生:降低事故发生的概率；降影响:降低故障发生后的影响范围，稳定性建设工作的开展都是为了实现最终的稳定性目标。

混沌工程的应用场景

传统的稳定性保障手段，对于需要特定外界扰动才能触发的故障缺乏识别和修复的手段，只能在系统故障发生时对故障进行被动的响应，导致故障应对的进度和成本不可控，混沌工程通过主动注入的方式，在可控的前提下“通过失败来避免失败”，不但引入已知范围内的缺陷，还可以模拟多样化的现实事件、开展探索性的测试，更好了解系统的稳定性边界。

架构层面

通过验证分布式架构的韧性，及时发现架构不合理之处

开发测试层面

通过对基础环境、中间件层、应用层的验证实现“风险左移”

运维层面

通过验证告警能力、完善指标体系等，提升故障定位能力、丰富应急预案场景、提升应急处置能力

客户层面

通过验证产品在突发状况下的表现，提升客户产品使用体验。

混沌工程平台

支持Windows、Linux、云原生、信创等多环境的原子故障场景库，在laaS、 PaaS、 SaaS层已累积故障场景达上百种。用户可以根据实际演练计划需要择取原子场景构建演练活动。

故障能力增强

观测能力提升

华泰证券4年建设实践经验 icon

三大阵地

在产品发布三个阶段开展混沌工程活动 v生产环境:进行真实场景故障演练，合计演练 1.3万+次、覆盖各类系统300+，识别各类技术风险400+个。

仿真环境：与生产环境演练场景形成互补，开展新功能上线前的系统稳定性测试。

测试环境：将混沌工程理念融入到研发阶段，演练场景深入业务逻辑，问题发现能力前移至版本发布测试环节。

活动专项

提前发现技术风险，全面提升系统稳定性，保障业务连续性

保卫波特姆行动：根据生产运维经验，总结出威胁安全稳定运行的六大风险，通过该行动不断探测系统运行底线，发现技术风险，从而牢牢守住系统稳定运行底线。

建党100周年专项：重点聚焦在IT安全生产管理中亟待解决的五方面问题，制定专项提升行动计划，以涨乐财富通为代表的核心业务进行重点突破，进而总结经验，迭代推广，建立健全相关管理机制，最终覆盖到部门]所有核心生产系统。

安信证券-从测试快速走向生产 icon

海通证券测试左移

混沌工程在测试迭代中的左移与应用针对海通证券新一代分布式核心交易系统，运用混沌工程的理论和技术并结合海通目前对稳定性和可靠性的保障经验，构建上线部署前的可靠性技术覆盖体系。

应用混沌工程，优化对海通新- -代核心交易系统可靠性和稳定性测试场景体系。

对于存量积累的场景库，建立可转化成自动化执行。

和比对的自动化系统。

对存量和增量发现的生产问题，梳理出持续改进和积累成场景集合的流程。

.上交所-仲裁系统稳定性验证 icon

集群形成后对SEQUENCE集群Leader注入故障(网络包损/网络丢包/网络延迟/进程停止/进程杀死)观测集群是否影响重新选主，选主过程中恢复故障，观测该节点是否加入集群。

集群形成后对BIZ集群Leader注入故障(网络包损/网络丢包/网络延迟/进程停止/进程杀死)观测集群是否影响重新选主，选主过程中恢复故障，观测该节点是否加入集群。

集群形成后对SEQUENCE集群、BIZ集群Leader注入故障(网络包损/网络丢包/网络延迟/进程停止/进程杀死)观测集群是否影响重新选主，恢复故障，观测该节点是否加入集群。

集群未形成在信息初始化时对任意一机器注入故障(网络包损/网络丢包/网络延迟/进程停止/进程杀死)，并对故障进行恢复，观测集群影响，是否正常选主。

稳定性工程平台

依托混沌工程故障演练能力，构建稳定性工程平台，通过不断失败来避免失败，将这些"痛苦"放在事前，用"以战养战”的方式来使风险在可控的范围内及早暴露，持续地验证系统的容灾能力。稳定性工程平台坚持开放式发展，深度融入到运维一体化体系中，通过与各周边平台对接，力争打造稳定性能力发展中枢。

反演对比

业务快速迭代、系统重构拆分、平台持续升级，伴随着的是研发周期的缩短，如何持续验证业务的正确性成为了亟待解决的问题，测试质量和效率面临巨大挑战。基于流量的回放测试，相较于传统的自动化测试手段，具备测试准备简单、交易覆盖面全、测试场景更接近真实生产等优势，在核心、重要应用系统的升级重构过程中发挥了重要作用。回放测试是近年来自动化测试领域研究的热点。