构建基于国产化软硬件平台的高性能NAS
一、需求和挑战
当前飞腾、鲲鹏等国产化硬件以及国产操作系统使用越来越普遍,逐步应用到了很多行业和应用场景。而存储作为信息化的重要支撑系统,其国产化的必要性显得更加重要和紧迫。那么如何基于国产化的软硬件系统,构建一套高性能的NAS来满足企业办公电子文档、海量的音视频、档案影像,以及现在蓬勃发展的人工智能场景不断产生非结构化数据的存储需求?
目前非结构化数据存储具有以下常见的特点和挑战:
-
容量弹性:从数十TB到数百甚至数PB,需要灵活的容量在线伸缩能力;
-
RAID瓶颈:随着单块硬盘容量越变越大,硬盘损坏以后的修复时间过长,导致数据安全性问题突出。原有的技术已经无法满足发展需要;
-
存储协议多样化:需要如NFS、CIFS、FTP、ISCSI甚至S3、HDFS等更多的存储协议,以支持更加丰富的业务场景;
-
数据安全性更重要:需要实现更好的数据保护;
二、StarNAS构建国产化NAS
StarNAS是一套弹性化的高性能NAS软件,可以基于X86以及国产化平台如飞腾鲲鹏申威等各种构架的服务器硬件以及国产操作系统,构建弹性架构的高性能NAS,满足信息化场景的各种数据存储需求。
StarNAS主要有以下几个特点:
1,单存储节点、双存储节点、分布式存储
StarNAS可以灵活满足小到数TB到数百PB等区间的数据存储需求,可以灵活地在线硬盘、存储节点实现扩容,无需停止业务。StarNAS单台存储节点可以支持超过100块数据硬盘,如使用20TB大容量机械硬盘,则单台存储节点就可以提供2PB的存储容量,实现了超高的存储密度。
1)如使用一台存储节点构建数TB到数十TB的存储系统;
2)如考虑实现更高的数据安全性和访问连续性,则可以考虑使用两台存储服务器构建双活的NAS存储系统,并按需横向扩展;
2,采用纠删码StarRAID替代传统RAID:
StarNAS摒弃了传统RAID,采用了创新的StarRAID技术,单节点实现容错四块硬盘、双节点容错一个节点宕机等更高的可靠性,从而实现更高的数据安全性和存储访问连续性;
3,支持全面的存储接口协议
StarNAS提供全面丰富的存储协议接口,可以按需同时提供文件(POSIX、NFS、CIFS、FTP)、块(ISCSI)、对象(S3)、大数据(HDFS)等存储接口协议,满足各种类型的数据存储需求;
4,更多的数据保护机制
StarNAS支持快照、克隆、复制,以及丰富全面的权限控制,满足信息化场景中灵活的访问控制要求;
5,更高的兼容性
StarNAS兼容X86平台和国产化的飞腾鲲鹏申威平台,兼容常见的CentOS、Ubuntu、麒麟等常见的操作系统,并且支持不同架构和操作系统混合部署。
三、StarNAS支持的典型应用场景
-
人工智能等计算集群:
-
高读写聚合带宽、高文件访问检索效率;
-
-
二级备份/归档存储:
-
使用大容量硬盘构建高性价比的二级存储/备份;
-
-
企业信息化的办公文档存储:
-
丰富的文件访问接口协议;
-
-
中小规模的超融合平台:
-
融合存储&计算&网络虚拟化功能,弹性分配资源。
-
相关案例
-
中国电信-海量视频点播
随着互联网技术的逐渐成熟和创新模式的不断涌现,用户与互联网之间的交互越来越多,用户的浏览习惯也逐渐从简单的文字转向了更加丰富多彩的视讯类内容。互联网用户可以自由发挥丰富的想象力和创新能力贡献出大量极具观赏性的视讯内容,极大的丰富了互联网内涵,也吸引了越来越多的眼球。视讯网站吸引了大量忠实的用户并迅速地发展,用户又不断的参与到视讯内容作者的队伍中,规模几乎呈爆炸性的增长。在这样背景下,视讯应用的多种特点给存储系统带来了严峻的挑战。
넶67 ¥ 0.00 -
某保险公司-保险影像数据
一直以来,作为传统行业,保险公司的存储系统普遍采用集中式的SAN和NAS存储。这种采用专业硬件的紧耦合架构设计的传统集中式存储一直主导着险企存储技术的发展,而且长期以来都作为各种保险业务、ERP、邮件的主存储系统,因此我们的关注点也大多集中在如何提高这些专用存储系统的性能、安全性和可管理性上。但随着企业的发展,保险业务量的激增,企业信息系统出现越来越多的非结构化数据。影像系统是非结构化数据的一个主要来源,已经积累了数十亿的文件量,占用了近PB的空间。这些非结构化数据主要存放在上述集中式存储上。
넶111 ¥ 0.00 -
浙江某精密制造企业-人工智能
2012年以后,得益于数据量的上涨、运算力的提升和机器学习新算法(深度学习)的出现,人工智能开始大爆发。人工智能广泛的采用深度学习来实现,目前大部分的深度学习算法研究都基于GPU架构的超算平台。GPU+人工智能算法在很多领域都取得了很好的应用效果,如信号处理、物理模拟、几何计算、数据挖掘和图像处理等领域。HPC和AI正走的越来越近。
浙江某精密制造企业为了能够更好的进行生产制造,采用了人工智能技术来对相关生产数据进行更深度的分析,从而获得对于更多优化生产和制造相关的方案。넶84 ¥ 0.00 -
上海某三甲医院-医疗影像数据
上海市某知名三甲医院是一所集医疗、教学、科研、预防、保健、康复、急救为一体的三级甲等综合性医院,是上海市医保和新农合定点医院,是国家执业医师资格临床技能考试基地、国家住院医师培训基地、上海市住院医师规范化培训基地、上海市临床专科培训基地,先后荣获全国百佳医院、上海市文明单位等荣誉称号。
넶92 ¥ 0.00 -
环球数码-影视动漫制作
在动漫行业的应用中,3D建模渲染、动画、视频游戏、影视后期等图形密集型应用对硬件处理性能和网络带宽都有较高要求。随着高清、2K甚至4K电影的制作需求的增长,以往的NAS系统统一存储空间不足,从而成为了整套系统的限制;NAS头成为限制前端计算节点任务运行效率的重要因素;传统方案存储系统的业务访问连续性不足。传统的存储解决方案难以满足集群制作与渲染对于存储带宽和容量的需求,成为了制作流程中的瓶颈。
넶103 ¥ 0.00