StarGFS并行文件系统采用RDMA提升性能
一、需求和挑战
传统的NAS网络存储系统,都是通过TCP/IP协议来传输数据。TCP/IP经过了几十年的发展,成熟可靠,但因为其主要运行在不可靠的物理链路并具有复杂的层次结构,一开始就有着性能方面的先天不足。网络数据包要经过网卡驱动、操作系统内核等软件模块的层层处理,才能被应用程序使用,时延较大;数据包也在内存中来回移动,消耗了大量资源。
而如今服务器硬件配置越来越高,存储介质经常采用了带宽大时延低的NVMe SSD,虽然都能极大提升存储性能,但目前的性能瓶颈往往出现以太网络上。无论是带宽还是延时,常见网络设备和网络协议都无法满足人工智能等对性能有着苛刻要求的场景需要。
RDMA全称为Remote Direct Memory Access,字面的意思就是远程直接访问内存。RDMA就是让一台计算机能够直接访问另外一台计算机的内存,无需操作系统参与,能让应用程序直接读写网络收发的数据,从而减少了内存拷贝操作,避免对数据的反复传输,对性能有巨大的提升作用。目前能支持RDMA技术的物理网络主要有Infiniband(简称IB)、Omni-Path和以太网。基于以太网的RDMA技术主要是ROCE。
二、星实StarGFS增加RDMA技术支持
星实研发团队为StarGFS并行文件系统增加了RDMA技术的支持。在同样的硬件情况下,StarGFS并行文件系统基于RDMA技术的并发读写性能比TCP/IP模式快三倍以上,可以充分地发挥NVMe SSD的性能。
星实推出StarGFS并行文件系统基于RDMA的高速网络和NVMe SSD高速存储介质的解决方案组合,特别适合人工智能、生命科学、气象分析、能源勘探、视频分析、金融量化、渲染农场等行业领域,以更高的聚合读写带宽、更低的读写延迟、更快的文件检索访问效率来提升整体数据处理效能。
相关案例
-
中国电信-海量视频点播
随着互联网技术的逐渐成熟和创新模式的不断涌现,用户与互联网之间的交互越来越多,用户的浏览习惯也逐渐从简单的文字转向了更加丰富多彩的视讯类内容。互联网用户可以自由发挥丰富的想象力和创新能力贡献出大量极具观赏性的视讯内容,极大的丰富了互联网内涵,也吸引了越来越多的眼球。视讯网站吸引了大量忠实的用户并迅速地发展,用户又不断的参与到视讯内容作者的队伍中,规模几乎呈爆炸性的增长。在这样背景下,视讯应用的多种特点给存储系统带来了严峻的挑战。
넶67 ¥ 0.00 -
某保险公司-保险影像数据
一直以来,作为传统行业,保险公司的存储系统普遍采用集中式的SAN和NAS存储。这种采用专业硬件的紧耦合架构设计的传统集中式存储一直主导着险企存储技术的发展,而且长期以来都作为各种保险业务、ERP、邮件的主存储系统,因此我们的关注点也大多集中在如何提高这些专用存储系统的性能、安全性和可管理性上。但随着企业的发展,保险业务量的激增,企业信息系统出现越来越多的非结构化数据。影像系统是非结构化数据的一个主要来源,已经积累了数十亿的文件量,占用了近PB的空间。这些非结构化数据主要存放在上述集中式存储上。
넶111 ¥ 0.00 -
浙江某精密制造企业-人工智能
2012年以后,得益于数据量的上涨、运算力的提升和机器学习新算法(深度学习)的出现,人工智能开始大爆发。人工智能广泛的采用深度学习来实现,目前大部分的深度学习算法研究都基于GPU架构的超算平台。GPU+人工智能算法在很多领域都取得了很好的应用效果,如信号处理、物理模拟、几何计算、数据挖掘和图像处理等领域。HPC和AI正走的越来越近。
浙江某精密制造企业为了能够更好的进行生产制造,采用了人工智能技术来对相关生产数据进行更深度的分析,从而获得对于更多优化生产和制造相关的方案。넶84 ¥ 0.00 -
上海某三甲医院-医疗影像数据
上海市某知名三甲医院是一所集医疗、教学、科研、预防、保健、康复、急救为一体的三级甲等综合性医院,是上海市医保和新农合定点医院,是国家执业医师资格临床技能考试基地、国家住院医师培训基地、上海市住院医师规范化培训基地、上海市临床专科培训基地,先后荣获全国百佳医院、上海市文明单位等荣誉称号。
넶92 ¥ 0.00 -
环球数码-影视动漫制作
在动漫行业的应用中,3D建模渲染、动画、视频游戏、影视后期等图形密集型应用对硬件处理性能和网络带宽都有较高要求。随着高清、2K甚至4K电影的制作需求的增长,以往的NAS系统统一存储空间不足,从而成为了整套系统的限制;NAS头成为限制前端计算节点任务运行效率的重要因素;传统方案存储系统的业务访问连续性不足。传统的存储解决方案难以满足集群制作与渲染对于存储带宽和容量的需求,成为了制作流程中的瓶颈。
넶103 ¥ 0.00