星实StarGFS并行文件系统

StarGFS Parallel File System

 

申请测试
  • StarGFS brief introduction

    StarGFS简介

      星实StarGFS是领先的基于POSIX文件系统接口的并行集群文件系统,意味着不必重写或修改应用程序来利用StarGFS。它的开发非常注重最大的性能和可扩展性,高度的灵活性,并且设计考虑了健壮性和易用性。

     

      StarGFS客户端通过高速以太网络、Infiniband连接与存储服务器节点进行通信,访问文件系统内的数据。StarGFS通过在多个存储服务器上透明地分布用户数据,当增加系统中服务器和硬盘的数量,所有硬盘和所有服务器的容量和性能都聚合在一个文件系统名字空间中。从而文件系统的性能和容量就可以轻松地扩展到特定业务所需的量级,也可以在以后系统投入生产时进行在线扩展。

     

      StarGFS文件系统的可伸缩性减少了部署许多独立文件系统的需要,例如每个集群部署一个文件系统,或者更糟的是每个NFS文件服务器部署一个文件系统。StarGFS的统一名字空间将带来强大的存储管理优势,例如避免维护在多个文件系统上暂存的数据的多个副本。由于这个原因,它们使用StarGFS文件系统所需的聚合存储比使用其他解决方案所需的要少得多。通过将文件系统容量与许多服务器聚合在一起,还可以聚合I/O吞吐量,并随其他服务器扩展。此外,通过动态添加服务器,可以在安装集群后轻松地调整吞吐量或容量。

      StarGFS并行文件系统包含三种系统模块:可用于访问文件系统的文件系统客户端、提供文件I/O服务的智能存储节点和管理文件系统中的名称和目录的元数据节点。图1显示了一个具有StarGFS文件系统的集群

    StarGFS form

     

    StarGFS组成

      StarGFS将用户文件块中分离出元数据:文件块由智能存储服务器来提供,包含用户想要存储的数据(即用户文件内容);而元数据是“关于数据的数据”,例如访问权限、文件大小以及关于用户文件块如何分布在存储服务器上的信息。一旦客户端获得了特定文件或目录的元数据,它就可以直接与智能存储服务通信来存储或检索文件块,因此元数据服务不再参与读或写操作。

     

      StarGFS面向所有需要大型和/或快速文件存储的应用场景。虽然StarGFS最初是为高性能计算而开发的,但如今它几乎应用于工业和研究的所有领域,包括但不限于:人工智能、生命科学、石油天然气、金融、音视频媒体、影像档案。无缝可伸缩性的能力还允许快速(但可能是不规则或不可预测的)增长的用户很容易适应他们随着时间的推移所面临的挑战。

    StarGFS Basic design concept

     

     

    StarGFS设计基础理念

      StarGFS并行文件系统采用了基于对象存储理念的体系结构,其中传统硬盘被结合了CPU、网络和数据的智能存储节点所取代。智能存储节点将传统的块级接口替换为这样一种接口,在这种接口中,客户端可以将字节范围读写到更大(通常大小可变)的命名对象,从而将低级块分配决策分发给设备本身。客户端通常与元数据节点交互以执行元数据操作(打开、重命名),同时直接与智能存储节点通信以执行文件I/O(读写),显著提高了总体可扩展性。

     

      StarGFS文件系统元数据信息任意写实现无缝在线扩容。StarGFS完全不同于传统文件系统的固定位图bitmap的设计,而是采用了基于独立SSD存储提高性能、文件系统元数据信息任意写的实现方式,不但可以提高元数据的读写访问效率,而且元数据信息完全可以根据实际文件系统文件数量动态的创建新的元数据信息任意的写入到高速SSD存储中,不但效率高,文件系统扩容完全不需要停止数据读写访问,从而确保了更高的业务访问连续性

     

    (3)支持单节点、双节点、分布式集群化部署

     

           StarGFS初始配置一台存储节点(智能存储节点)、两台存储节点即可实际上线使用,根据需要安装指定数量的硬盘。在初期部署双台存储节点的情况下,后续支持动态增加硬盘或者增加存储节点来扩展存储容量,容量区间可以从数TB按需扩展到数百PB,无需停机。

     

           StarGFS系统的安全性和读写性能可以随着硬盘数量的增多而随之提升。StarGFS系统更小化的初始部署能力,方便能够让并行文件系统从业务发展之初就进入到用户的业务系统中,并让文件系统能够持续在线扩展来支持业务的发展壮大所带来的高性能和大容量需求。

     

    (4)StarRAID提高数据安全性和空间利用率

     

           StarGFS摒弃了传统RAID技术以及存储节点之间的数据镜像、HA等复杂并且成本高昂的技术,采用了多副本和StarRAID N+M两种数据冗余模式等多种方式来保障数据的可靠性,并且可以针对单独的目录设置不同的冗余模式。在满足性能的前提下,用户可以根据业务的需求,灵活的调整性能优先策略或者容量优先的策略。

    StarGFS Core advantages

     

    StarGFS核心优势

           StarGFS的StarRAID N+M冗余功能可以支持在文件、块、对象等三种协议基础上大规模部署上线。相比传统常用的多副本策略,StarGFS可以在更少的硬件投入情况下,存储相同的数据容量和实现相同的容错能力:

     StarGFS的StarRAID冗余机制容错

    StarRAID冗余容错机制带来巨大的构建、使用成本优势

    (5)小文件容器化存储提高存储和检索效率

     

          StarGFS支持千亿级文件统一存储和高效率检索。StarGFS内部的系统采用了创新的小文件Container容器聚合存储技术,能够在前端呈现标准POSIX文件系统名字空间的同时,在后端小文件落盘存储的时候实现智能的聚合成大文件的方式来实际存储。

     

          StarGFS通过采用该技术将任何大文件、小文件都会被当做大文件一样的来存储和检索访问,完全消除了传统文件系统文件存储数量受限、文件检索效率低下等严重的数量和效率的问题,打破了传统存储的局限,将小文件创建、检索效率提高到传统存储的十倍以上,完全可以轻松应对任何存在海量小文件的业务场景。

    小文件性能优化效率变化

    (6)文件系统和对象存储互通

     

          StarGFS同时支持提供S3对象存储接口能力,同时还支持文件系统和对象存储实现数据互通的功能。业务可以根据S3NFS、CIFS、POSIX、HDFS等访问同一份数据,按需构建数据湖的存储平台。

    (7)广泛的应用场景支持

     

          StarGFS能够基于创新的StarRAID N+M冗余技术,消除设备级别的故障影响,并且能够同时提供文件系统、块设备、对象存储等全面的存储接口协议,提供更高的并发读写效率,从而能够在同一套系统中按需分配容量、接口协议等来支持广泛的业务应用场景。

    (1)高聚合读写性能:单块SATA机械盘150MB/s、单块NVME SSD 4GB/s,聚合性能随着盘数增加而线性增加

     

           StarGFS并行文件系统采取了操作系统内核模块化的POSIX客户端和服务器端的软件设计、线程池化的数据处理能力、优化的N+M纠删码、优化的RDMA等技术,在人工智能、HPC等高并发读写的场景中,能够充分发挥出存储介质、存储网络的性能极限,满足应用端更高的数据读写性能需求。

     

           StarGFS实现多了成熟的多元数据节点集群技术、小文件容器化聚合存储技术,能够提供每秒数十万次的文件检索访问,满足AI人工智能、HPC等场景中海量小文件的高性能存储和检索访问需求。

     

     

    (2)StarGFS按需实现与GPU/CPU计算服务器实现存算融合、存算分离等部署架构,并实现统一管理

     

           StarGFS支持以下几种方式构建存储池:

    1. GPU服务器本地SSD存储池:StarGFS支持融合部署在GPU服务器中,基于GPU服务器本地的SSD/SATA等存储资源,灵活构建一个并行文件系统存储池,提供给GPU服务器上运行的AI人工智能业务使用访问。即每台GPU服务器同时跑GPU计算,又作为存储资源的角色来实现配置。StarGFS基于NVME SSD优化的文件系统和RDMA技术,可以为人工智能业务提供超高的读写性能和极低的访问延迟。
    2. CPU服务器本地SSD/SATA存储池:StarGFS支持融合部署在CPU服务器中,基于CPU服务器本地的SSD/SATA等存储资源,灵活构建一个并行文件系统存储池,提供给CPU服务器上运行的计算业务使用访问。即每台服务器同时跑CPU计算,又作为存储资源的角色来实现配置。
    3. 独立存储节点构建独立的存储池:StarGFS部署在独立的存储节点中,构建一个独立的共享存储池,按需分配给对应的业务应用使用。

     StarGFS按需实现存算融合、存算分离模式,并统一管理调度

  • Stargfs Specification sheet

     

    StarGFS规格表

    类别

    功能项

    功能说明

    基础功能

    物理服务器性能监控

    支持监控服务器CPU、负载、内存、网络等硬件状态信息

    物理磁盘监控

    支持监控存储介质读写IOPS、带宽

    告警设置

    支持邮件告警推送

    实时健康管理

    支持对物理服务器、存储介质、存储池数据冗余状态监控及管理,支持存储介质根据SMART信息预测设备寿命,提醒坏盘可能。

    容量预警

    支持容量预警

    磁盘定位

    支持通过点灯进行硬盘定位的功能,支持在监控界面显示磁盘物理槽位。

    告警管理

    告警中心功能是基于资源层面的告警规则(如CPU、内存、硬盘等的利用率及集群中各个资源的使用状态),设置告警规则和通知列表,在存储系统的各级软硬件产生故障时,由管理控制台向管理员提示告警,有助于及时了解资源使用情况和处理突发事件。支持自定义告警通知,同时支持邮件告警。

    数据均衡控制

    支持数据自动/手动平衡,使各个存储设备的使用量更加均衡。并且均衡得动作可控制,无强制性得数据均衡。

    块存储

    卷和快照管理

    支持卷管理操作,精简配置,在线扩容。

    支持秒级快照。

    支持克隆。

    QoS

    支持卷级Qos,灵活设置业务优先级,支持在线调整Qos,实时生效

    块设备传输协议

    系统采用前端切片技术,保证数据安全性的同时,提升数据读写效率,并提供专用、高速、安全的分布式块访问协议

    iSCSI

    IP SAN访问接口

    ACL访问控制

    支持分别基于Target和卷的ACL访问控制。

    对象存储

    S3协议支持

    支持Amazon S3标准接口,兼容S3生态体系

    S3用户权限管理

    定义不同用户的权限和配额,不同的用户拥有不同的操作权限,同时会限制不同用户的总容量、总存储桶、总对象数配额。

    文件存储

    AD、LDAP、NIS

    支持接入AD域、LDAP域、NIS

    权限管理

    自带客户端以及用户访问权限机制,可设置增强型ACL

    文件快照

    支持文件系统秒级快照。

    文件系统级克隆

    支持文件系统级链接克隆及独立克隆。

    在线扩容

    支持文件系统在线扩容。

    文件传输协议

    系统采用前端切片技术,保证数据安全性的同时,提升数据读写效率,具有专用、高速、安全的分布式文件访问协议。

    FTP、CIFS/SMB、NFS

    支持FTP、NFS、CIFS/SMB 1.0/2.0/3.0等标准访问访问接口

    配额管理

    支持基于文件夹的配额管理,管理员可以指定文件夹的可用容量,并随时监控该文件夹的容量使用情况。

    数据迁移

    支持不同存储系统间及单套系统内数据高速迁移,迁移过程中不影响应用正常使用数据;且迁移速度达到网络带宽90%以上利用率。

    WROM

    支持WORM,一次写入,多次读取,以防止重要数据被篡改。

    异地备份

    支持异地备份

    云集成能力

    虚拟化平台接入

    支持OpenStack、VMWare等虚拟平台接入,并支持容器的平台接入

    数据可靠

    副本和EC纠删码

    支持多副本,支持在线修改副本数。采用优化的EC算法,以少量的冗余信息保证数据可靠性,比多副本机制获得更多的有效存储容量。支持N+M等多种纠删保护机制。同时支持块、对象、文件存储。

    恢复控制

    系统可在线控制数据修复流程,根据应用负载情况可随时人工停止或者启动数据修复流程

    数据恢复QoS控制

    系统可自动故障修复,无需热备磁盘。系统自带磁盘检测机制,可实时监测硬盘的IO读写延迟,并进行预判硬盘的损坏程度,发现不稳定磁盘后,系统可自动禁止此磁盘进行写操作。系统可在线控制数据修复流程,根据应用负载情况可随时人工停止或者启动数据修复流程。

    审计安全

    全面审计记录

    所有系统操作、维护、IP信息等记录,在线动态定制日志级别,在线定制操作日志,更改定制内容无需重新挂载,无需停机维护;

    软硬件兼容

    客户端操作系统支持

    支持操作端文件共享协议软件,支持操作系统:Microsoft Windows,RedHat Linux,Centos,debian, ubuntu,Suse/OpenSuse,MacOS,麒麟等国产操作系统

    硬件平台支持

    单套系统支持所有通用X86服务器,支持多品牌同时使用;可在此基础上同时支持国产飞腾、鲲鹏、申威、龙芯等硬件平台

    SAS SSD、 NL-SAS、SATA

    兼容SAS、NL-SAS、SATA HDD、SATA SSD等接口,支持磁盘分组

    40GE、25GE高速网络支持

    全网络支持Infiniband/RoCE网络实现RDMA访问。

    数据缓存

    SSD读写缓存

    支持SSD 读写缓存

    内存缓存

    支持将元数据缓存在客户端或者数据服务器内存中,提高访问效率

    硬件利旧

    服务器利旧

    支持服务器利旧,可将旧x86架构服务器加入至存储池中,可整合标准 SAN、NAS及JBOD,不限品牌。使用存储资源时不会局限在一个存储设备,可将众多存储设备集合成一个大的虚拟存储资源池

    扩展能力

    线性扩展

    支持随着系统规模的增加,系统性能和容量线性提升。

    卷在线扩展

    支持不中断业务的情况下进行卷级扩容。

    多资源池

    支持集群中不同存储介质分别建立资源池,系统可保证统一视图的前提下,实现硬盘与存储目录绑定机制,按需规划所有某目录下存放的文件都放置在那些硬盘中。

  • 说明书下载

    Stargfs Manual Download

     

    StarGFS说明书下载

  • Stargfs Technical video

    StarGFS技术视频