科力锐非结构化数据容灾系统
立即咨询
首页
企业非结构化数据爆发式增长NAS/对象存储成为各行各业非结构化数据存储的主流
海量非结构化数据灾备建设刻不容缓
海量非结构化数据的保护挑战
数据同步速度慢
PB 级数据同步一次需要长达几周至几个月时间，耗时较长，甚至可能影响正常业务生产；
业务连续性难保障
传统备份恢复方案，可通过共享存储方式挂载，但只是可读数据，不能写操作，无法真正代替生产环境使用，一旦宕机严重影响业务开展，RTO难达成，无法快速接管业务；
存储间异构容灾兼容性差
存储复制大都是基于相同品牌、相同架构、相同型号存储之间，数据恢复/容灾异构兼容能力弱，无法进行数据迁移及数据同步；
非结构化数据容灾系统简介科力锐非结构化数据容灾系统可在NAS存储、对象存储、主机和主机之间配置容灾架构，实现海量文件高效扫描遍历、实时同步、增量同步、过滤筛选、容灾切换等功能，解决海量文件存储备份管理难、数据迁移慢、重建恢复速度慢、一旦宕机严重影响业务连续性等问题，满足海量文件存储容灾建设需求。
非结构化数据容灾系统产品架构
存储容灾方案整体概览
N2X复制架构
基 于S3、NFS、CIFS等标准协议，可跨平台、跨架构、跨品牌实现N2X复制容灾
智能增量同步
智能增量扫描分析，NAS/对象存储之间4 K小文件1小时可同步600万个；最高新增同步颗粒度可达5分钟
容灾切换
一键主备切换，切换时间短RTO≤1min 可用性强，有效保障存储服务连续性
反向同步
支持反向同步，当主存储修复完成后，新增数据可一键反向同步到主存储
灵活易用
无需安装客户端；web界面接口对接，支持文件过滤筛选
主机文件容灾方案概览
多样化同步
文件容灾同步：源端文件镜像复制到目标端，支持切换文件同步方向。 文件更新同步：支持一对多或多对一模式，不支持切换文件同步方向
应急/计划内切换
应急切换：源机故障时可应急切换到备机替代源机执行业务。 计划内切换：非紧急情况或日常执行演练操作可使用计划内切换。
定时/实时容灾
可根据设定的固定时问进行周期性定时同步，同时支持监控文件变化，自动实时同步
反向同步
当源主机修复完成后，容灾主机可一键反向同步到源主机
非结构化数据容灾原理-NAS存储NAS存储非结构化数据容灾全量同步原理
灾备系统配置挂载源/目标存储； 调用高效扫描引擎对源 NAS 存储进行扫描，并将扫描数据列表存储到系统后端； 使用科力锐高效同步工具根据扫描结果将源存储中数据及其元数据信息（如 ACL、文件加密、只读属性等）并发传输到目标存储中； 多线程并发读取传输可提高数据传输效率，缩短数据同步时间； 每同步完一个文件自动校验数据,对比目标文件与源文件的 MD5 值，若一致说明同步成功，不一致，则同步失败，重新同步； 同步结果与扫描得到的数据列表合并形成新的文件状态列表；
NAS存储非结构化数据容灾增量同步原理
在全量数据同步完成后，自动启用智能扫描分析算法分析源端存储中数据结构，识别新旧数据区域，根据分析结果自动生成最优同步策略，并定期更新同步策略，从而优化对新增数据的扫描范围，提高扫描效率。 通过调用科力锐高效同步工具，根据智能生成新增数据列表读取源端存储，将增量数据及其元数据信息（如 ACL、文件加密、只读属性等）多线程并发传输到目标存储； 每同步完一个文件自动校验数据，对比目标文件与源文件的 MD5 值，若一致说明同步成功，反之同步失败，重新同步； 同步结果与扫描得到的数据列表合并形成新的文件状态列表；
非结构化数据容灾原理-对象存储对象存储非结构化数据容灾全量同步原理
调用 S3 标准 API 接口对源桶进行全扫描，并将扫描得到需要同步的对象列表存到容灾系统后端存储中； 启用多线程同步，调用同步接口根据智能同步策略生成文件数据列表将对象及其对象的源元数据、数据类型、历史版本等信息并发传输到目标存储中； 多线程并发读取传输可提高数据传输效率，缩短数据同步时间并进行持续性同步； 每同步完一个文件自动校验数据，对比目标文件与源文件的 etag 值，若一致说明同步成功，不一致，则同步失败，继续同步； 最后同步结果与扫描得到的数据列表合并形成新的文件状态列表；
对象存储非结构化数据容灾增量同步原理
完成全量数据扫描和同步后，系统调用 API 接口启用智能扫描分析源端存储中数据结构以识别新旧数据区域，根据分析结果自动生成最优同步策略，并定期更新同步策略，从而优化对新增数据的扫描范围，提高扫描效率； 增量同步任务启动后，会根据增量对象列表将对象及其对象的元数据、数据类型、历史版本等信息并发传输到目标对象存储中； 同步完毕自动校验数据，每同步完一个文件后，就对比目标文件与源文件的 etag； 若一致说明同步成功，若不一致，则同步失败，重新同步； 最后同步结果与扫描得到的数据列表合并形成新的文件状态列表；
非结构化数据容灾原理-主机文件
主机文件非结构化数据容灾同步原理
通过安装文件同步代理客户端，使源端和目标端与容灾系统同时建立连接； 首次同步发起后，通过高效扫描算法，快速将文件目录结构和文件标识扫描遍历，通过数据分片，边扫边传，支持多重并发方式快速完成全量同步，同时同步过程会记录文件的元数据（如大小、修改时间等），这些元数据将用于后续的增量复制过程； 每同步完一个文件自动对比目标文件与源文件的 MD5 值，若一致说明同步成功，不一致，则同步失败，重新同步； 最后同步结果与扫描得到的数据列表合并形成新的文件状态列表； 数据增量传输阶段，通过智能扫描分析算法，校验比对增量区域根据记录的元数据信息比较源目录和目标目录中文件元数据，并仅传输发生更改的文件，实现增量同步，同步过程自动校验数据，保障源端和目标端的数据一致性；
关键技术1-高效的扫描遍历
关键技术2-多重并发传输多重并发挂载传输
采用文件存储挂载技术，在一个系统中，可以挂载多个挂载点；在不同系统中，也可以挂在多个挂载点；如果有多个IP，也可以使用多个IP进行挂载；通过挂载分别读取数据的方式，提高传输效率
智能路径分析，AI匹配挂载主机
文件智能路径分析，如果是在当前挂载点读取数据是最佳路径，那么直接通过当前挂载点路径由“数据复制模块”对其中的文件进行枚举与备份，如果不是，则AI匹配最佳路径，进行挂载传输
关键技术3-智能增量分析增量文件快速分析
从各数据路径的变更时间以及命名策略中形成新增路径候选模型；每次备份时，扫描源路径与该新增路径候选模型进行比对，从而分析得出新增数据进行同步。
不变特性文件图谱
通过文件类型以及文件新增规律等综合分析文件及文件路径是否具有“不变特性”，形成不变特性文件及路径图谱，在增量备份或差异备份时根据图谱，略过记录中的文件及路径，不对其进行递归枚举与元数据查询
关键技术4：文件传输实时校验文件MD5值、文件属性、字符集等传输校验，有效避免乱码情况出现。
关键技术5：断点续传，提高传输效率基于分析数据分布结构，采用数据分片，边扫边传，大大提高传输效率。支持断点续传，任务中断后，不需要基于全量数据扫描校验后再重新传输，只需要对比校验中断所在分片区域，30秒内完成校验重新在中断点开始；
关键技术6：分组管理，策略应用支持批量创建文件容灾任务，提高工作效率。
将文件容灾任务放置于不同组中分组管理，可使任务管理更加快捷、高效。
相同策略需求的容灾计划无需重复配置容灾任务参数，直接引用容灾策略即可。
关键技术7：文件比较计划什么是文件比较计划?
比较源端和目标端文件是否有差异，比较结束后，若源和目标端有差异将自动进行增量同步。
比较什么内容?
可选择比较文件数据即md5值（比较时间较长），或比较文件最后修改时间（比较时间较短）。
比较结果查看?
支持查看比较结果，可下载导出，对于不满意的比较计划可以选择停止或重新比较。
优势1：敏捷高效存储同步敏捷快速
针对4K小文件，一小时可同步600万个
针对 100K小文件，一小时可同步1100万
100-500K 的小文件，平均同步速度可达每秒600MB+
100T 小文件，仅需同步2天即可完成
优势2-一键容灾切换，增量反向同步
优势3：有效应对误删/勒索加密可自定义选择源端文件删除，目标端不删除，源端误删除可在备端找回数据。 可自定义选择源端文件篡改/加密，目标端不覆盖，有效应对勒索加密的场景。
优势4-N2X异构兼容基于S3、NFS、CIFS等标准协议以及代理agent，可跨平台、跨架构、跨品牌实现容灾
适用场景
产品方案价值
案例一：XX法院
用户需求
海量电子卷宗数据保护：我院拥有海量的电子卷组数据，存储在分布式存储中，虽然通过分布式存储解决了物理故障问题，但是难以解决误删除以及勒索病毒加密等逻辑故障问题，需要对数据进行保护； 电子卷宗业务连续性保护：我院电子卷宗业务系统繁忙，每天都有大量的调阅、写入等请求，一旦NAS故障，将会严重影响我院业务连续性，影响正常的开庭审判
用户收益
不仅可以保护海量电子卷宗的数据安全，还能保障业务连续性； 同步速度快、数据前后一致性验证强、同步方式灵活多样； 一键容灾切换，主存储修复后可反向同步
案例二：XX公司
用户需求
海量日志小文件高效保护：我司生产制作系统每日都会产生大量日志文件，这些日志文件多为几十K到几百K的小文件，且极为重要，需要这些日志文件作为生产排障、统计、审计使用。但传统备份方案针对数百TB的日志小文件备份时间太长，遭遇故障恢复耗时久。 源存储故障后需要有备存储实时写入日志数据：源存储一旦遭遇灾难故障后，可实现备存储接替源存储，按源目录树架构写入增量数据，保障生产系统日志信息的不中断保护
用户收益
数百TB日志小文件高效灾备保护； 解决海量小文件误删、误改、勒索加密等逻辑错误问题； 源存储故障后，备存储不间断提供服务
案例三：XX集团
用户需求
多源海量非结构化数据同步：我司主数据中心在超融合、对象存储、NAS存储中存在着海量非结构化数据，需要将这些多源海量非结构化数据跨机房同步到灾备数据中心的分布式存储上。 备存储通过CIFS供云桌面调阅查询：将多源海量非结构化数据汇总后，可通过CIFS协议共享供云桌面调阅查询，实现数据分析。为保障调阅分析及时性，需要及时、迅速、高效的增量数据同步
用户收益
N2X异构同步，实现NFS、S3、CIFS统一同步到分布式存储中； 智能增量数据同步，间隔短，速度快，供客户调阅查询使用； 同步是文件一致性检查，保障同步前后数据一致； 操作灵活，可过滤筛选同步目录，自主配置同步参数
产品推荐
简道云建筑企业数字化信息解决方案，可根据不同企业自身发展的管理需求，快速开发实现新的功能板块，并可实现数据互通互联。业务模块的数据互联互通，可个性化配置 ，项目相关方交互业务实现线上二维码应用，时间自动提醒、报表预警指标自定义。
青藤云青藤合规基线，构建了由国内信息安全等级保护要求和CIS组成的基准要求，涵盖多个版本的主流操作系统、web应用、数据库等。帮助用户快速进行企业内部风险自测，发现问题并及时修复，以满足监管部门要求的安全条件。
博睿数据NPM网络性能监控平台“硬件+软件+平台”一体化 的服务模式， 既节约成本，又保障了服务稳定性和品质。将行为数据与性能数据 相结合， 能够透析网站业务应用与性能之间的影响 。独特的镜像接口数据模式，使数据采集过程安全可靠， 对应用业务及系统环境的影响为零 。
数字化社区
视频
文章
