大道云行TaoCloud FOSS全闪对象存储系统
立即咨询
首页
FOSS产品概述面向下一个数据时代的全闪、对象存储系统
大道云行FOSS分布式全闪对象存储，采用先进的分布式全闪架构，以数据的长期、可靠、绿色低碳、高性能存取为目标支持超大规模数据的弹性存储。FOSS软件栈采用弹性微计算流水线架构，可提供高OPS和高带宽存储服务，支持海量文件数据的高并发吞吐，有效将非结构化数据高效存取使用转变为企业的核心生产力和竞争力。
FOSS产品优势
高性能
面向全闪的架构设计，高带宽，高IOPS。
大规模
分布式易扩展，单桶100PB级空间。
超安全
数据加密存储，对象多版本管理。
更可靠
多种冗余模式设计，智能化健康巡检。
高能效
全自动生命周期管理，自适应能耗调节。
面向全闪的架构设计，高带宽，高IOPS。
大规模
分布式易扩展，单桶100PB级空间。
超安全
数据加密存储，对象多版本管理。
更可靠
多种冗余模式设计，智能化健康巡检。
高能效
全自动生命周期管理，自适应能耗调节。
FOSS产品逻辑架构
FOSS产品物理组网· 扁平的二层网络，易于部署、管理和维护；
· 存储网、业务网、管理网独立组网，安全高效；
· 支持统一与分组两种部署方式，释放网络性能。
软硬件灵活交付
高性能全闪存Shared Nothing架构
微控制器流水线架构
1、PerCpu免锁设计
· 打破多核CPU缓存一致性同步瓶颈；
· 打破多核CPU缓存一致性同步瓶颈；
· 消除传统锁机制开销与复杂性
2、流水线架构
· 实现高效、流畅的数据处理流程；
2、流水线架构
· 实现高效、流畅的数据处理流程；
· 显著提升系统整体性能
3、并发任务处理
· 快速、准确地完成大量并发任务；
· 快速、准确地完成大量并发任务；
· 优化硬件层面性能
速聚优写 IO 技术
1、元数据处理的优化
· 多个元数据更新操作聚合为batch事务写入；
· 多个元数据更新操作聚合为batch事务写入；
· 聚合方式减少了IO操作次数，提高了更新效率；
· 通过事务封装，确保了元数据原子性和一致性;
· 在并发环境下，保证了元数据更新的正确性和可靠性；
· 维护了数据的一致性，增强了系统的健壮性
2、数据写入层面的优化
· 将多个小数据写入请求聚合为大IO写入操作；
2、数据写入层面的优化
· 将多个小数据写入请求聚合为大IO写入操作；
· 减少IO操作次数，降低系统负载，提升处理效率；
· 大IO写入充分利用存储设备带宽和吞吐量；
· 优化了写入性能，实现了写入速度的整体提升；
· 使存储设备在处理数据写入任务时更为高效。
智能分层&缓存技术
1、第一级缓存 -- 内存缓存
· 合并刷盘技术，高效处理小块IO
· 提高系统IOPS，减少HDD寻道次数
· 降低硬盘损耗，延长使用寿命
· 提高系统IOPS，减少HDD寻道次数
· 降低硬盘损耗，延长使用寿命
2、第二级缓存 -- 闪存缓存
· 加速数据读写速度，提升系统性能；
· 利用保电特性确保数据安全
· 提高用户体验，降低存储风险
· 提高用户体验，降低存储风险
高性能架构，无锁元数据
对象元数据存储采用高效率KV（Key-Value）数据库；
元数据采用三副本设计架构，线性化语义保证一致性；
采用多版本并发控制技术（MVCC）；可有效避免死锁问题。
高效数据处理方式
1、直写Volume策略
· 智能调度管理，数据有序保存；
· 智能调度管理，数据有序保存；
· 直接写入Volume，避免写放大。
2、聚合删除策略
· 考量数据生命周期属性
· 聚合删除减少数据迁移量
3、全域GC策略
· 选择迁移数据量最少的Volume进行GC
· 最小化对系统性能的影响
智能磨损平衡策略
1、智能算法实现全局磨损平衡
· 精确装配与分配Volume，确保全域擦写次数平衡
· 避免单盘高磨损，影响存储系统可靠性
· 避免单盘高磨损，影响存储系统可靠性
2、智能Volume使用策略
· 擦写次数超过保护阈值的Volume，保存低删除概率数据
· 擦写次数超过保护阈值的Volume，降低GC擦除概率
· 擦写次数接近阈值的Volume，停止写入操作
更低TCO，自适应性能调节
高效监控存储写入性能；
节点级集群性能调节控制；
降低数据中心存储能源消耗。
节点级集群性能调节控制；
降低数据中心存储能源消耗。
开放介质管理
· 将块设备trunk封装成跨节点、经过冗余算法保护的volume
· 提供volume装配、分配和读写接口
· 实现对多种存储介质的直接存取支持
· 兼容多种存储介质：主机本地硬盘（SATA、SAS、NVMe）、外部存储系统 Lun（FCSAN / IPSAN / NVMeoF / Rbd）
· 提供volume装配、分配和读写接口
· 实现对多种存储介质的直接存取支持
· 兼容多种存储介质：主机本地硬盘（SATA、SAS、NVMe）、外部存储系统 Lun（FCSAN / IPSAN / NVMeoF / Rbd）
快速高效传输，分段上传
· 自定义分段上传
· 提高吞吐带宽
· 提高传输效率
· 增加使用便利性
· 提高吞吐带宽
· 提高传输效率
· 增加使用便利性
高得盘率，大比例纠删码
· M+N 自定义配比
· 故障自恢复，高速重构
· 重构速率QoS控制
· 支持大比例纠删，90%以上得盘率
· 故障自恢复，高速重构
· 重构速率QoS控制
· 支持大比例纠删，90%以上得盘率
权限管理
身份验证与权限控制
· FOSS在用户访问时验证身份
确保真实性；
· 系统通过权限控制决定用户的读写、删除及桶管理权限。
· FOSS在用户访问时验证身份
确保真实性；
· 系统通过权限控制决定用户的读写、删除及桶管理权限。
灵活授权策略设计
· FOSS采用Bucket Policy 授权方式，简化配置与运维；
· 策略设计基于用户、资源和权限模板，灵活设置访问权限。
· FOSS采用Bucket Policy 授权方式，简化配置与运维；
· 策略设计基于用户、资源和权限模板，灵活设置访问权限。
生命周期管理
生命周期管理
· 冷热层间设定阈值自动迁移；
· 冷热层间设定阈值自动迁移；
· 策略删除，设定执行日期或生命周期与
多版本管理结合
· 结合多版本功能，有效管理历史对象版本；
· 结合多版本功能，有效管理历史对象版本；
· 精确操作当前或指定数量的非当前版本
筛选与多条件选择
· 提供丰富的筛选字段，支持多条件并行选择；
· 提供丰富的筛选字段，支持多条件并行选择；
· 精准筛选文件，提升管理效率。
对象查询
灵活的查询方式
· 利用对象KEY，元数据与标签信息，提供灵活多样的查询条件。
· 提供界面交互查询和API查询两种方式，满足不同用户需求。
· 利用对象KEY，元数据与标签信息，提供灵活多样的查询条件。
· 提供界面交互查询和API查询两种方式，满足不同用户需求。
查询流程与权限鉴权
· 查询请求经负载均衡机制转发至查询网关。
· 查询网关进行权限鉴权，确保用户具备查询权限。
· 权限验证通过后，执行查询语句并返回查询结果。
操作日志
操作日志记录能力
· 安全审计与系统操作跟踪的需求
· 关键操作记录与追踪
· 详细的日志记录内容。
· 安全审计与系统操作跟踪的需求
· 关键操作记录与追踪
· 详细的日志记录内容。
操作日志记录的意义与价值
· 实现对系统操作的全面监控和追溯；
· 实现对系统操作的全面监控和追溯；
· 提升系统的安全性和稳定性；
· 支持决策分析和业务优化。
· 支持决策分析和业务优化。
对象压缩
上传数据时的压缩处理
· 在上传文件时，系统首先检查目标存储桶是否启用了压缩功能。
· 若启用压缩功能，系统会对可压缩的数据进行高效的压缩操作。
· 压缩算法、压缩标志、原始数据长度及压缩后长度等关键信息会被追加写入元数据，并与数据一同下发至存储系统层。
· 在上传文件时，系统首先检查目标存储桶是否启用了压缩功能。
· 若启用压缩功能，系统会对可压缩的数据进行高效的压缩操作。
· 压缩算法、压缩标志、原始数据长度及压缩后长度等关键信息会被追加写入元数据，并与数据一同下发至存储系统层。
下载数据时的解压处理
· 在读取数据时，系统首先从后端读取压缩后的数据。
· 根据元数据中的压缩标志和算法，系统会对数据进行相应的解压处理。
· 解压后的数据保持完整性和可读性，然后返回给客户端。
· 解压后的数据保持完整性和可读性，然后返回给客户端。
自定义标签
自定义标签的实现与功能
· 通过为对象添加键值对形式的标识实现。用户可自定义键（tagKey）和值（tagValue）
· 通过特定接口设定标签，操作简便。支持查询和删除标签，方便用户管理。
自定义标签限制与特性
· 每个对象版本最多可附加10个标签，每个存储桶最多可附加50个标签。
· 标签键最多可包含128个字符，标签值最多可包含4096个字符。
· 每个对象版本最多可附加10个标签，每个存储桶最多可附加50个标签。
· 标签键最多可包含128个字符，标签值最多可包含4096个字符。
防盗链·
防盗链配置与管理
· 灵活配置Referer白名单或黑名单规则，满足不
同的安全需求。
· 用户可进行Bucket的防盗链配置，包括添加修改、查询和删除操作。
· 灵活配置Referer白名单或黑名单规则，满足不
同的安全需求。
· 用户可进行Bucket的防盗链配置，包括添加修改、查询和删除操作。
防盗链功能的工作机制
· FOSS自动对Referer信息与预设的白名单黑名单规则进行匹配判断。
· 若Referer与黑名单匹配或与白名单不匹配 FOSS拒绝访问权限。
· FOSS自动对Referer信息与预设的白名单黑名单规则进行匹配判断。
· 若Referer与黑名单匹配或与白名单不匹配 FOSS拒绝访问权限。
· 若Referer与黑名单不匹配或与白名单匹配 FOSS允许正常访问。
CORS（跨域访问）跨域举例说明
不同域名：www.FOSSXcom 和 www.FOSSY.com
主域名和子域名：www.FOSSXcom 和 bbs.FOSSXcom
不同协议：http:/lwww.FOOSXcom 和 https:1lwww.FOOSXcom
IP和域名：123.23.23.12 和 www.FOSSXcom。
CORS的概念与作用
· 浏览器遵循同源策略，防止恶意脚本访问敏感数据。
· 浏览器遵循同源策略，防止恶意脚本访问敏感数据。
· 跨源资源共享（CORS）是一种Web机制，允许不同域之间的Web应用程序安全地交互。
FOSS中的CORS机制
· 浏览器在发起跨域请求前，先发送一个OPTONS方法的预检请求。
· 服务器根据CORS配置决定是否允许跨域请求
· 浏览器缓存预检结果，有效期内不再重复发送预检请求，提高效率。
· 浏览器在发起跨域请求前，先发送一个OPTONS方法的预检请求。
· 服务器根据CORS配置决定是否允许跨域请求
· 浏览器缓存预检结果，有效期内不再重复发送预检请求，提高效率。
对象复制
对象复制的概念
· 用户将源存储桶中的对象内容复制到目标存储桶中；
· 复制的对象副本与源对象具有完全一致的属性信息；
复制操作的灵活性
· 复制操作可以在同一个存储桶内部进行，实现对象的备份或迁移
· 复制操作也可以在不同的存储桶之间进行满足跨桶的数据同步需求
· 用户将源存储桶中的对象内容复制到目标存储桶中；
· 复制的对象副本与源对象具有完全一致的属性信息；
复制操作的灵活性
· 复制操作可以在同一个存储桶内部进行，实现对象的备份或迁移
· 复制操作也可以在不同的存储桶之间进行满足跨桶的数据同步需求
· 跨桶复制仅支持单个集群内复制
高效空间性能管理，配额+QOS
配额支持文件数与容量两种方式，更好地管理和控制存储资源分配，优化存储管理流程，确保存储空间的有效利用。
QoS基于存储桶限制其带宽，控制和优化数据传输，满足不同的服务质量需求。
云原生，集群多租户管理
提供不同租户间数据逻辑隔离与物理隔离两种方式。
无论部署何处，都能提供弹性、规模和类似云的简单性。
无论部署何处，都能提供弹性、规模和类似云的简单性。
数据安全，多模加密存储· 支持独立对象加密和桶加密
· 对象支持自定义、自管理密钥
· 每个对象都有1个随机的密钥
· 主流加密算法AES256支持
· 对象支持自定义、自管理密钥
· 每个对象都有1个随机的密钥
· 主流加密算法AES256支持
数据安全，对象多版本
· 可以在一个桶中保留多个版本的对象；
· 可以快速检索和还原各个版本
· 某个版本对象删除后，会被增加删除标记；
· 在意外操作或应用程序故障时快速恢复数据。
接口调度，丰富SDK支持· 提供标准的S3接口与丰富的SDK
· 全量功能接入，实现与应用系统的灵活对接
· 全量功能接入，实现与应用系统的灵活对接
开放融合，多领域生态兼容
为大数据和人工智能工作负载带来速度和敏捷性并
降低成本；
降低成本；
多类型数据通过多平台迁移至FOSS存储系统降低成本，提高安全性。
全闪对象存储多场景支持
智能制造存储解决方案
客户挑战
存储扩展性差：数据增长迅速，数据价值高，保存时间长；
存储扩展性差：数据增长迅速，数据价值高，保存时间长；
应用兼容性差：各应用厂商开发环境复杂，S3、SDK等接口兼容性差
缺乏生命周期管理：数据自动删除、自动归档不便
缺乏生命周期管理：数据自动删除、自动归档不便
质检效率低：难以支撑数十亿、百亿级文件高并发需求。
解决方案&客户收益
海量存储，灵活扩容：统一资源池存储所有质检图片，分布式架构便于后期灵活扩容安全可靠，数据无忧：多副本、纠删码冗余策略保障数据安全；WORM、多版本、加密功能保驾护航；
智能检索，业务高效：自定义标签、毫秒级检系响应，提升业务效率。
创新技术，性能保障：SDS2.0高性能架构，高效率分布式KV数据库，解决海量数据场最下访问性能降的问题。
创新技术，性能保障：SDS2.0高性能架构，高效率分布式KV数据库，解决海量数据场最下访问性能降的问题。
金融双录存储解决方案
客户挑战
海量小文件性能差：KB级小文件为主，数据量大；
海量小文件性能差：KB级小文件为主，数据量大；
灵活性、扩展能力：线上交易业务系统增多，业务支撑与系统持续扩容。
影像数据备份难：传统备份成本高，备份和恢复效率低。
影像数据备份难：传统备份成本高，备份和恢复效率低。
解决方案&客户收益
统一存储底座：为金融影像系统提供统一存储底座；
便捷文件管理：统一命名空间，弹性扩展，无性能瓶颈；
冷热数据分层：数据在不同性能存储池间流动，自动完成冷热迁移，保证性能，解决成本；
简化对接难度：提供标准S3与丰富SDK，满足系统对接需求。
归档备份存储解决方案
客户挑战
数据大量增长：随着数字化进行加速，企业与事业单位产生了大量数据需要归档备份。
数据大量增长：随着数字化进行加速，企业与事业单位产生了大量数据需要归档备份。
长期保存与恢复：数据的长期保存需要保证数据的可靠性和完整性，还需要考虑数据恢复的可行性和便捷性。
法规遵从与内部政策：组织需要制定自己的内部政策和规程，缓解风险和控制IT。
低成本该安全存储：数据量大，存储时间长，如何低TCO高可靠的保存数据。
解决方案&客户收益
大容量的存储：分布式Shared Nothing架构，最大单集群支持4096节点，满足容量需求。
低成本该安全存储：数据量大，存储时间长，如何低TCO高可靠的保存数据。
解决方案&客户收益
大容量的存储：分布式Shared Nothing架构，最大单集群支持4096节点，满足容量需求。
高安全存储：支持EC与多副本冗余策略，支持数据扫描充分保障数据安全
高性能存储：统一元数据管理，高校检索，高带宽传输提升恢复回迁效率。
高性能存储：统一元数据管理，高校检索，高带宽传输提升恢复回迁效率。
法规遵从：提供WORM、多版本、加密功能，满足法律遵从。
人工智能存储解决方案
客户挑战
· 海量数据归集效率：大量数据的存储，跨线上线下的方式对数据进行归集汇总
· 数据清洗效率：如何保证解析、清洗、去重等工作的效率、减少资源的浪费面临挑战；
· 海量数据归集效率：大量数据的存储，跨线上线下的方式对数据进行归集汇总
· 数据清洗效率：如何保证解析、清洗、去重等工作的效率、减少资源的浪费面临挑战；
· 建模训练访问效率：启动阶段，随机读取数万个小文件结果写入阶段数百GBps级的带宽需求。
解决方案&客户收益
· 高性能的全闪系统：数据读写兼具高带宽与高并发提升 GPU 利用率、减少端到端训练周期；
解决方案&客户收益
· 高性能的全闪系统：数据读写兼具高带宽与高并发提升 GPU 利用率、减少端到端训练周期；
· 高效标签检索：自定义数据标签把多模态、高维度的非结构化数据的特征保存，提升AI效率；
· 低TCO一体化存储方案：一套集群全业务支撑，支持冷热分级存储，支持数据生命周期管理，过期数据自动删除，低成本，高效率。
· 低TCO一体化存储方案：一套集群全业务支撑，支持冷热分级存储，支持数据生命周期管理，过期数据自动删除，低成本，高效率。
混合云存储解决方案
客户挑战
多协议统一访问：数据的统一管理与访问需求。能够应对业务应用需求。
高性能高弹性：随着数据量的增长，需要具备大规模的存储容量和可扩展性。
智能感知与管理：应具备数据智能感知与管理功能，实现数据的智能分类、分层管理以及数据生命周期管理。
多协议统一访问：数据的统一管理与访问需求。能够应对业务应用需求。
高性能高弹性：随着数据量的增长，需要具备大规模的存储容量和可扩展性。
智能感知与管理：应具备数据智能感知与管理功能，实现数据的智能分类、分层管理以及数据生命周期管理。
解决方案&客户收益
高安全性：本地数据中心副本保证数据快速恢复需求，云中备份保证数据长期低成本存储需求。
高扩展性：兼具本地FOSS与公有云的扩展方式，减少了数据孤岛。
良好的合规性：内部政策与外部监管的双重约束，轻松的应对数据安全的需求。
产品推荐
微擎网络短剧分销软件 CPS聚焦熊猫短剧 CPS 分销推广平台与短剧 CPS 分销系统的数字化解决方案。依托成熟的 CPS 分佣模式，支持达人通过短视频挂载、社交裂变等多渠道推广短剧内容，实现用户充值后自动分账
对园区建筑进行写实风格外观建模，真实还原园区建筑及分布。还原园区周边环境，如道路、路灯、绿化等基础信息，融入环境模拟加以点缀，营造高还原度的仿真展示环境，提升楼宇的整体对外形象。在三维场景中按点摆放监控模型，还原现场监控情况。通过与监控视频流的对接，实现在三维场景中任意交互某一监控模型，均可调用当前摄像头监控画面。
腾讯轻联是一款开箱即用、安全稳定的企业级应用集成平台。基于腾讯云原生基座，通过预置连接器、图形化编排、一站式DevOps等能力，高效助力电商行业客户连接企业内部协同应用、打通营销-订单-生产-仓储全链路数据。
