杉岩数据制造行业存储解决方案

机器视觉助力智能制造
制造企业对产品产量管理的要求日益剧增，作为技术领域要求先进的电子制造、汽车、半导体和PCB等行业，更需要降本增效。当下生产线利用机器视觉技术来提高生产效率和生产的自动化程度，从而提高企业效益。

在生产线的质检工序中，机器视觉设备利用不同视角快速获取被检测产品的信息，从而满足对产品装配定位、质量检测、产品识别、尺寸测量等维度的快速质检需求。如图所示：

机器视觉质检工序的引入提升了产品质检效率，进而提高了生产效率。但也将面临视觉设备产生的巨量数据存储压力。

例如某产线的一个基台有10个检测点位或设备，每个点位图片大小平均为50MB，约2秒钟进行1个工件检测，按7*24小时生产如果有10条这样的产线，约1个月时，总数据量就达到了1亿+，存储容量就达到了6PB+。企业用户需要将产生的这些图片按规定时间保存，以满足上层业务系统对生产数据的留痕、追溯和分析需求。

目前制造业生产线数据存储方式，主要是采用机台本地存储和集中式NAS存储两种方式，在日常使用中会存在以下问题：

机台本地存储：
数据存储离散：数据独立存储在机台上，缺乏对数据的统一存储、管理、分析。

可用性和安全性低：机台单点故障，将会导致业务中断甚至数据丢失。

可用存储容量低：机台存储容量无法满足质检数据数月/数年周期的存储要求。

集中式NAS存储：
检索性能差：传统NAS系统面对上亿文件数量，检索性能变得非常差。
扩容成本高：生产线数据量增加，传统高性能NAS存储扩容成本极高。

检索维度少：系统仅支持文件名模糊检索或固定的目录结构检索，系统检索效率低。
运维难度高：传统的文件存储中不具备生命周期管理的特性，在进行数据的管理时，需要人工介入并筛选已过期的数据，管理复杂度高。

为了解决产线质检工序，机器视觉设备产生的图片、日志等巨量数据存储的难题。依托杉岩数据MOS海量对象存储平台，能够帮助制造业客户更好地存储数据、管理数据及应用数据。
MOS海量对象存储平台将不同生产线的机器视觉设备产生的数据进行统一存储，同时提供智能数据处理引擎、数据资源管理、业务API访问接口等丰富的数据服务，助力企业提升生产效率。

数据统一存储，管理运维更便捷
· 标准的x86硬件系统，实现产线海量质检图片、日志等数据的统一存储，存储系统可灵活按需拓展节点、硬盘，实现业务连续性；可支撑起EB级数据存储和管理。
· 根据产线数据的时间、特征等维度自定义生命周期管理，实现“热、温、冷”分层管理。数据转移策略可有效降低存储成本、过期删除策略可快速回收存储空间。
· 存储系统数据支持多副本/EC保护策略，最大程度保障数据安全。

海量数据处理能力，助力生产提高效率
· 摆脱”拼凑"式的传统技术架构，存储性能和容量线性扩展，消除系统瓶颈，单一命名空间可管理文件量数百倍于NAS存储。
· 系统在百亿级文件数量下，单桶写数十亿数据时MOS海量对象存储平台依旧拥有读写稳定的能力，波动性小于10%，性能稳定可靠。
· MOS海量对象存储的数据智能检索引擎分布于每个节点，系统在百亿级文件数量下，支撑应用平台具备秒级检索的能力，提升业务检索效率。

智能数据处理，挖掘数据价值
· 智能处理AI引擎提供了开放式的数据后处理平台，既免除了对业务网络的带宽压力，提升了系统响应速度和交互体验;还能够充分发挥存储节点富余的CPU资源的计算能力，确保存储性能的高效利用。
· 针对制造业的数据特性，开发了多样的数据处理模块，包括文件名解析、图片压缩、图片转码等。例如文件名解析引擎，该引擎支持依据文件命名规则（例如：工序、批次ID、vision、reject）自动对文件打标签，可以通过多维度标签提升业务系统检索效率。

客户介绍：
联测优特半导体（东莞）有限公司（以下简称UDG）隶属于UTAC控股有限公司。UTAC总部位于新加坡在新加坡、泰国、台湾、中国、印度尼西亚和马来西亚都有生产基地。UTAC在模拟器件、混合信号和逻辑器件以及存储器等主要产品类别中提供全套的半导体组装和测试服务，是行业领先的为半导体芯片提供组装和测试服务的独立供应商。

项目需求：
作为工业领域最尖端的技术之一，半导体和电子制造极度复杂。半导体制造行业的每个制程步骤的良率都必须接近100%，才能确保最终生产良率维持在可接受的水平。为了追踪和管理产品质量，UDG新建的制造产线采用多条AOI设备自动检测与人工复检的方式完成芯片质检，在此过程中产生的检测图片等非结构化数据必须按照业务流程的要求进行保存。
过去生产制程的图片数据存储在质检服务器的本地硬盘中，数据分散难以统一查找和管理，一旦硬盘损坏则数据丢失，可靠性低。图片数据的保存时限从七天到一个月不等，生产中如果精度提高、拍摄维度增多或保存时间延长则面临存储扩容难题，现有的存储方式扩容时必须暂停生产线运转以增加硬盘，影响生产效率。最后，本地存储中只支持按文件名检索，数量比较大时，搜索性能非常慢，不能保证实时检索。

针对智能制造对图片数据存储的需求，UDG亟需升级其存储基础设施，以满足如下诉求：
· 实现生产设备、存储设备的无缝连接，数据存储不影响生产效率。
· 实现生产过程中对数据的全生命周期管理，通过监测、整理和分析产品使用中的数据，提升企业服务附加值。
· 可以根据产线、工序、芯片ID、良次品等维度，快速检索历史图片，以回溯质量问题，以及分析和改进检测算法。

解决方案

· 实时保存生产机台每天新增300 TB数据，写入速率不低于20Gbps，使产线效率不受影响。
· 分设数据热池和冷池并实现自动迁移，满足应用程序高频访问热数据和低成本长周期存储冷数据的需求，实现数据的全生命周期管理。
· 存储系统内置智能数据处理引擎，将生产机台生成的BMP格式文件，数天后转换为JPG格式以节省存储空间，处理后的存储容量需求下降为原始需求的20%，降低存储空间。

· 自动给图片打上产线号、工序号、芯片ID等标签，并建立索引，存储系统提供数据的标签管理和检索服务，可按需进行可视化检索，百亿级文件秒级检索。
· 采用跨机房容灾保护方案，并支持快速主备切换，保障生产业务的连续性。

客户收益
01、生产线7x24小时不间断写入数据，可在线扩容存储
02、高性能实时转码影像数据成本降低近60%
03、快速定位质检图片，检索效率提升数百倍
UDG采用杉岩MOS海量对象存储提升智能质检效率，通过生命周期管理策略设定，在MOS内部完成质检图片的存储、格式转换、冷热分层和过期自动删除，节省存储空间，大幅降低成本并简化了业务流程，推动生产制造变“智造”。

客户介绍
信维通信是全球领先的一站式泛射频解决方案提供商，公司始终围绕射频技术，进行泛射频零部件及相关模组的研究、开发、销售及制造。

主营产品为天线、无线充电模组及磁性材料、射频前端器件、EMC/EMI射频隔离器件、线缆及连接器、音/射频模组等。因上游客户产品质量品控需求，要求公司将产品生产过程中的质检拍摄的图片都需要统一集中存储，需要建设一个数PB级别可用空间的存储池。

项目需求
存储性能要求：

· 需要支撑亿级别的文件数量
· 容量和性能具备随存储集群硬件规模线性增长能力
产品功能要求：

· 存储提供S3SDK,满足业务系统快速对接的需求

· 具备设置灵活策略实现自动删除文件的能力

解决方案

· 采用杉岩对象存储，统一存储所有生产线质检图片。
· 提供适配的SDK接口，机台改造S3接口，数据直接写入对象存储系统。
· 提供数据调用、检索接口对接MES系统，助力AVI判定系统精准复判检索不良品。

客户收益
01、数据管理方便：数据统一存储，数据检索更方便，存储维护简单。
02、按需快速扩容：增加产线或者调整数据存储时间，只需要增加服务器，不中断业务。
03、精准检索：利用标签建立索引,AVI判定系统检索性能从分钟级提升到秒级。

客户介绍
公司专注于3DNAND闪存设计制造一体化的IDM集成电路企业，同时也提供完整的存储器解决方案。

向客户供应3DNAND闪存晶圆及颗粒，嵌入式存储芯片以及消费级、企业级固态硬盘等产品。目前拥有多条丰富的生产线，生产线数据过去采用HBase进行存储，由于产能的释放产线数据逐步增加，同时上层数据分析平台Hadoop及专业数据分析平台kalrity都要求更高的数据检索效率，所以需要一套性能更强劲、功能更丰富的存储平台进行支撑。

项目需求
数据存储要求：
存储平台能力需要满足未来数千机台产生PB级数据的存储
产品功能要求：

· 提供业务系统所需的S3SDK，实现业务系统快速上线

· 依据文件命名规则（例如机台@晶圆编号@批次@产品@时间戳）自动打标签

· 可将HBase中约50T数据迁移到新建的分布式存储中

解决方案

· 采用杉岩对象存储，统一存储所有生产线质检图片和网盘办公系统业务数据。
· 提供数据迁移工具，方便客户将历史数据从HBase进行快速迁移。
· 部署智能处理模块，实现将文件按照规则打上标签，满足应用精准检索需求。
· 提供数据调阅、检索接口，对接客户的后端质量管理和大数据分析平台。

客户收益
01、数据管理方便：数据统一存储，数据检索更方便，存储维护简单。
02、按需快速扩容：增加产线或者调整数据存储时间，只需要增加服务器，不中断业务。
03、精准检索：利用标签建立索引，AVI判定系统检索性能从分钟级提升到秒级。