保险双录背景概述
一直以来，作为传统行业，保险公司的存储系统普遍采用集中式的SAN和NAS存储。这种采用专业硬件的紧耦合架构设计的传统集中式存储一直主导着险企存储技术的发展，而且长期以来都作为各种保险业务、ERP、邮件的主存储系统，因此我们的关注点也大多集中在如何提高这些专用存储系统的性能、安全性和可管理性上。但随着企业的发展，保险业务量的激增，企业信息系统出现越来越多的非结构化数据。影像系统是非结构化数据的一个主要来源，已经积累了数十亿的文件量，占用了近PB的空间。这些非结构化数据主要存放在上述集中式存储上。
由于传统存储采用集中的元数据处理方式，因此，当存取千万、亿级的文件量时就会出现陡峭的性能骤降拐点，直接表现就是前端内容管理平台处理效率降低，核保、保全以及理赔等保险业务效率的下降，最终导致客户满意度的下降，这显然不利于险企的健康持久发展。另外，中国保监会已经发文要求保险行业实施“双录”系统，以便规范保险代理人的销售行为，保障被保险人权利。“双录”系统的实施，带来了更多的录音、录像等非结构化数据，保险业的分布式存储之路势在必行。本文就是围绕保险业影像、“双录”等系统以及各类文件型应用产生的海量非结构化数据的存储和管理优化，进行分布式云存储系统的方案设计。
分布式存储建设背景和存储现状剖析
回顾保险行业最近10年的存储发展历史，可以说传统集中式的SAN和NAS存储抢尽了风头。SAN存储主要用在交易型和分析型的数据库场景中，应对高并发、低延迟、高带宽的各种结构化数据的处理。而NAS存储则主要承载着VDI虚拟桌面应用、E-mail以及各种保单影像等非结构化数据的存储。对于传统集中式存储系统，客户更多的关注安全性、性能以及易管理性等方面。当存储系统性能出现瓶颈时，通过引入SSD固态硬盘、扩充存储系统IO板卡、增加Cache，或者利用存储软件的QoS以及自动分层等高级附加功能，来实现IO的提速。再或者直接通过引入全闪存阵列解决业务系统严苛的IO性能要求。这些解决方案都是在性能维度追求着某种极致。性能以外，安全性显然是另一个维度的要求，是设计存储系统架构最重要的环节。
在保监会监管要求之外，对于保险公司自身的健康运营和长远规划来说，存储系统安全的重要性是毋庸置疑的。于是数据中心内部构建双活存储架构，两地三中心实现存储双活以及构建存储级的数据异步复制机制在所难免，在追求存储系统安全的道路上，可谓永无止境，而且这条路没有回头路。随着企业的发展，由于历史的因素，企业中有各种品牌以及同品牌各种型号的异构存储，这些存储大都作为“信息孤岛”独立运转，彼此缺乏联系，造成了各存储系统资源利用率不均衡，同时给运维管理带来了过多的复杂度，于是有了软件定义存储的需求。
软件定义从数据和控制平面给异构存储的池化管理带来了可行性，给存储系统的运维也带来了便利性。如同世间没有完美的事物，存储也没有完美的解决方案，我们只能追求尽善尽美，但是在我们追求传统存储性能和安全极致的同时，我们似乎忽视了非结构化数据生态的成长，这里面有客观因素的存在。
由于业务系统需要，如影像系统中的非结构化数据需要长期在线保存，以便前端业务对历史保单数据进行回调。随着业务量的增长，企业积聚了越来越多的非结构化数据。另外，近年来随着传统行业互联网业务的发展，这种非结构化数据的几何级增长更加剧烈。然而我们一直依赖和持续优化的传统集中式存储显然已经无力有效应对这种非结构化数据的激增。首先是传统存储的设计原理无法高性能的处理海量的非结构化数据，再者针对海量的非结构化数据的安全加固，在传统存储上设计高可用架构、两地三中心的容灾方案均带来了过高的成本开销，这里就需要我们从主观上更加积极的优化非结构化数据的存储和管理。
此外，在企业的发展中，我们更多的注重交易类的结构化数据优化，而忽视了海量非结构化数据的价值挖掘。为了更好地支撑保险行业前端大数据系统、未来的AI系统对这些海量非结构化数据的价值挖掘，后端需要构建高效的非结构化数据存储平台。
如果从传统集中式存储自身面对的挑战来看，不难发现，传统的存储架构也暴露出很多问题：
首先，传统存储对机房空间、综合布线、电力、散热等的要求较高，这对未来数据中心模块化机房的部署带来了诸多挑战。
其次，传统存储的初次采购价格和后期维保费用也是居高不下。在云计算和软件定义等技术大潮下，传统的存储厂商持久化发展带来了一定的影响。
再者，由于海量的非结构化数据普遍采用传统的集中式架构，造成业务数据的备份和恢复效率低，无法满足系统的安全性要求。
最后，如果从我们前期规划的智能一体化的云数据中心建设角度考虑，传统的存储系统还缺少一些业务系统要求的敏捷性和自动化能力。由于传统存储系统大多是采用紧耦合设计，存储的弹性较之于时下流行的分布式存储要弱。因此无法灵活、及时的响应前端业务系统处理规模变化带来的IO性能变化。
基于以上传统存储面临的诸多问题以及业务系统产生的的大量的非结构化数据，同时考虑到传统存储无法很好的满足这些新型的存储需求，我们急需构建新的分布式存储平台。最终可以对各类前端业务提供接口标准化的、规范化的、高可用、高可靠和高性能的分布式云存储新平台。
星实StarGFS解决保险行业存储痛点
StarGFS是一个性能为中心，围绕简单易用、易安装以及易管理而设计的领先并行文件系统。StarGFS采用集群架构设置，系统支持无上限的扩展，理论上能扩展到EB级别，单一集群承载上万台服务器。整个系统能提供上百GB/s的吞吐带宽。
StarGFS架构图
StarGFS具有强大得特性解决保险行业海量非结构化数据得存储问题：
在线横向扩展：StarGFS并行文件系统可以支持动态的扩展存储容量，而无需中断应用的运行。用户可以通过StarGFS的配置工具动态添加存储服务器以扩大系统的容量和规模，而且随着存储服务器数据的增多，整套系统的聚合带宽也会线性的增长，完全可以满足业务不断发展所产生的容量和性能需求。工业标准的通用硬件良好的兼容性和可获得性方便了整套存储系统将来的使用和扩展，StarGFS支持在1小时内无缝的在线增加上百TB存储容量，确保业务系统的连续性。
数据保护：StarGFS通过纠删码和副本进行数据冗余保护，避免了传统存储采用的硬件RAID卡带来的数据恢复速度过慢和性能瓶颈。StarGFS的纠删码提供N+M（N=2、4、8、16，M=1-4）,最大能支持4节点同时故障，数据正常访问。同时StarGFS也支持1-4副本的冗余模式，副本模式能提供更高的小文件读写效率，但是降低了空间利用率，不具备性价比。
海量文件/对象存储：StarGFS通过分布式架构解决了存储系统容量限制的问题，并且通过在线可扩展的元数据集群和存储集群解决海量数据的存储。整个系统无文件数量限制，单个文件大小也不限制。StarGFS针对小文件的Container存储技术能够实现小文件存储和大文件同样的存储和管理方式，能够极大的简化小文件存储并提高小文件存储和访问效率到十倍以上，切实满足海量非结构化数据的存储需求。同时，StarGFS还同时支持提供S3对象存储协议，能够按需提供对象、文件等访问协议，并且还支持同一个文件能够按需通过对象或者文件访问来增加业务使用的灵活性。
可视化监控和管理：提供基于 WebUI 的图形化管理界面，可在图形化界面对存储系统进行管理和监控，提供丰富的系统性能、空间使用情况的图表展现能力
应用接口：存储管理平台提供StarGFS、NFS、CIFS、FTP等文件系统接口，也支持基于 HTTP（RESTful API）的应用接入接口，如业界广泛使用的S3协议。满足不同应用接口访问的需求。
存储高级功能：StarGFS除了上述的功能还支持WORM、无限快照和克隆、在线升级QOS、SSD缓存等存储高级功能。
