在动漫行业的应用中,3D建模渲染、动画、视频游戏、影视后期等图形密集型应用对硬件处理性能和网络带宽都有较高要求。随着高清、2K甚至4K电影的制作需求的增长,以往的NAS系统统一存储空间不足,从而成为了整套系统的限制;NAS头成为限制前端计算节点任务运行效率的重要因素;传统方案存储系统的业务访问连续性不足。传统的存储解决方案难以满足集群制作与渲染对于存储带宽和容量的需求,成为了制作流程中的瓶颈。

成长挑战

环球数码公司是中国唯一有13年历史的集影视动画制作、培训、发行的上市集团公司。经过多年的努力,建立了一条可与欧美同业相媲美的CG生产线,成为亚洲从事内容创意、设计和制作的领导者。

 

环球数码的电脑数码图像业务的发展亦获得中国政府的认可:先后荣获国家商务部、文化部、广电总局、新闻出版总署联合颁发的“2007~2008年度国家文化出口重点企业”;“影视动画行业协会常务理事单位”;“三维动漫培训最具影响力机构”;“高新技术企业”“中国创意产业100强”“广东省及深圳市文化产业基地”等一系列殊荣。

 

在环球数码的计算机图像创作及制作业务的应用中,3D建模渲染、动画、视频游戏、影视后期等图形密集型应用对硬件处理性能和网络带宽都有较高要求。随着高清、2K甚至4K电影的制作需求的增长,传统的存储解决方案难以满足集群制作与渲染对于存储带宽和容量的需求,成为了制作流程中的瓶颈。

环球数码的计算机图像创作及制作业务大规模平台,不但面临的业务类型多种多样,还会面临各种类型的数据。数据增长非常迅速,很快就达到了上千TB。为了支持前端高效的计算处理作业,需要后台的存储系统能够支持统一的共享存储空间。

 

另外,环球数码采用Renderman、Mental-Ray、MayabatchRender渲染,需对目前主流三维动画软件Maya、3Dmax的多媒体作品进行高质量、高效率的集群渲染。影视后期的制作,需求快速的IO相应,以及大规模的稳定的统一存储。为保证快速、高效地完成渲染工作,环球数码构建一套具有高可靠性、高灵活性和高可扩展性的大规模并行文件系统。

 

方案选择

 

环球数码对多家知名的存储和系统厂商的文件共享存储产品进行了评测,最终还是选择了星实的StarGFS并行文件存储系统。

 

StarGFS的灵活扩展技术允许按需扩容,实现数百PB统一存储空间:用户在后期可以根据数据量的增长而进行快速动态扩容,减少了一次性投资的费用,而且新增容量立即可用,对应用服务器端完全透明,不影响业务正常进行。随着数据量的成倍增长和容量的增加,总体的IO带宽线性增长。

 

行业领先的并发性能:利用StarGFS架构,形成行业领先的读写并发效率,经过不断扩展,可达超过100GB/s的读写速率。从而消除数据读写的性能瓶颈,提高前端计算节点的并行运算效率。

 

StarGFS内嵌一套完整的故障恢复流程,消除了单点故障。集群中的硬件故障和人为误操作都会以正常的恢复流程进行自动处理,整个流程对用户完全透明。任何硬件故障都无需进行手动处理,用户唯一的管理工作就是在容量不够的时候添加硬件。种种高可用机制保证了业务能够以24×7小时不间断的工作。

 

StarGFS简单灵活的管理模块,极大降低了管理员对系统管理的参与度,简化了管理员操作出错的风险,有效的降低了系统管理成本。系统采用图形化管理工具,减少了日常运维工作。

 

除了使用StarGFS构建一套支撑核心业务运转所需要的高速共享存储以外,还使用了StarDM产品构建了大容量、高存储密度的二级存储系统。管理员可以根据实际情况配置相关策略将核心StarGFS存储系统中的数据通过全量、增量的方式定期将低访问量的数据迁移、安全性要求高的数据复制备份到高存储密度的备份一体机中,从而降低核心存储的容量需求、提高重要数据的安全保护级别,确保数据得到了合理的存储和保护。

 

效果评估

 

从实践看,StarGFS并行文件系统是高效、可靠、稳定的,它突破了原有的专有存储系统的诸多瓶颈,不仅可以轻松实现存储容量的扩展,而且大大提高了并发访问的速度,系统的应用和维护也变得十分简单,同时彻底消除了单点故障。正是获得了采用开放硬件平台架构和高性能集群软件的优势,环球数码基于星实StarGFS的存储容量已达到PB级别。而且通过StarGFS 的灵活扩展技术而进行的快速动态扩容,新增容量立即可用,对应用服务器端完全透明,不影响业务正常进行。随着数据量的成倍增长和容量的增加,总体的IO带宽线性增长。运维成本却相比原来大幅度降低。

 

StarGFS通过为应用提供全局统一的系统映像,所有的应用数据都存放在一个单一的共享文件系统中,更好的支持了不同应用的不同数据的共享。StarGFS并行文件系统支持数据的高并发传输,能够保障带宽的稳定。在选择采用了星实的StarGFS并行文件系统后,确保了环球数码业务正常、连续、顺畅的运转。目前,GDC环球数码的实力已获得好莱坞及欧洲制片商、发行商的认可,并取得“预先批准”的地位。