广电新媒体

【引言】

动画制作和渲染节点多了以后，引起系统响应速度变慢，如何解决？

素材多了以后系统响应速度变慢，对热点素材的读写总是较慢，如何解决？

理想的操作平台或应用程序，却因为存储系统兼容性的问题不得不放弃使用，如何解决？

存储系统的连续性和稳定性差，且关键数据得不到保护，如何解决？

需求背景

3D动画渲染是一种特殊的影视制作方式，通常包含了概念设计、故事板、3D模型、贴图材质、灯光、特效、分层渲染、合成等多个制作环节。电视台通常也会针对部分精品节目进行特效制作与包装渲染。渲染过程中通常包含大量的计算业务，这些计算业务通过访问大量纹理素材文件进行计算渲染，输出成品帧图片，最终合成成品影片。动画渲染主要是由前端渲染集群节点对大量动画图片进行加工处理，对存储系统的小文件处理能力提出了更高的要求，包括满足大量渲染集群节点的并发访问、长期稳定运行、具备良好的弹性。

星实信息推出的StarGFS并行文件系统可以作为渲染业务后端的存储基础架构，为用户提供高并发处理数据读写能力的高性能存储解决方案。

挑战

动画渲染业务系统对存储的需求主要有以下几点：

支撑海量小文件频繁读写

提供高性能，能够支撑众多的动画制作工作站或渲染计算集群节点对海量素材文件的频繁读写，保障渲染任务高效快速完成。

热点数据高效访问

动画制作及渲染任务中，最新的素材文件通常会被更加频繁的访问。因此，存储系统应具备热点数据加速能力，提供热点数据的高速访问能力。

跨平台兼容性

动画制作工作站及渲染计算集群通常运行多种不同的操作系统平台或应用程序，要求存储系统具备跨平台的兼容性，针对多种业务平台均能提供良好的性能及可靠性。

星实信息的解决方案

在动画制作和渲染领域，推荐采用星实信息的StarGFS并行文件系统。

星实StarGFS采用了元数据和数据流分离架构，可以充分发挥大规模文件存储高带宽和低时延的优势。StarGFS构建一个文件共享资源池，让制作各个流程（剪辑、调色、特效合成等）的设计师可以同时通过Linux、Windows、Mac共享访问源媒体文件，无需在各个工作站间进行数据传输和转换；同时StarGFS提供强大的随机IO带宽，使得各个工作站及渲染计算集群访问存储中的热点数据如同访问本地数据一样方便快捷。

------------------------------------------------------------------------------

方案亮点

高聚合带宽

StarGFS单个文件系统通过文件数据并行存储和读写，可逐步扩大存储节点规模以支持超过数十甚至数百GB/s的稳定码流带宽，可支持几百台工作站或计算集群同时工作，满足热点数据的高并发快速访问，缩短渲染业务时间，提升渲染制作效率。

海量小文件快速检索能力

StarGFS并行文件系统拥有高效率的多元数据服务器集群技术和高效的海量文件检索技术，在存放上百亿文件的同时保持极高的文件检索效率。StarGFS并行文件系统能够在单个目录下高效管理上千万个文件的存储系统，在单目录下存放上千万数量文件时，仍然能够提供每秒数万的文件检索效率。

StarGFS并行文件系统实现了将小文件聚合存储的创新策略。StarGFS可以根据应用场景需求设定小文件的指定大小，只要文件小于某个设定的阈值文件系统落盘的时候就会将小文件按照顺序进行合并聚合落盘，真正存储到底层硬盘上的为合并以后的大文件。该小文件聚合存储的策略可以大幅度降低硬盘的读写IO压力、减少元数据管理维护的工作量并可以利用文件系统的高效率预读技术来提升小文件的检索访问效率，按照常见的小文件应用场景中，StarGFS的小文件聚合存储技术可以将小文件检索效率提升十倍以上，从而能够大幅度提升渲染过程中对于海量小文件的访问效率。

高效的多层缓存技术

StarGFS并行文件系统实现了客户端、元数据、存储节点等多个层次的热点读缓存的技术，文件系统中经常访问的热点数据会被灵活动态的缓存在内存中或者高速存储介质中，从而能够极大的提升热点文件访问效率，避免出现热点数据导致存储系统缓慢的问题，确保满足渲染过程中快速变化的热点数据访问需求。

支持跨平台兼容性

StarGFS提供了MAC、Windows、Linux主流工作站定制的高效率存储客户端，能够实现跨操作系统平台的文件全局共享访问，能够满足客户在应用和平台的多样性需求，实现文件跨平台共享，提高工作效率。

高可靠性

StarGFS并行文件系统内的所有文件数据都根据重要性等级要求按需设置全局冗余保护策略，比如纠删码或者多副本技术的参数设置，实现了消除存储设备级别的单点故障(SPOF)；在保障单台甚至多台存储节点故障的同时，还可以提供高达80%左右的存储空间利用率，这样既保障了业务连续性，又实现了按需建设，有效降低TCO。