搜索
关于我们
ABOUT US
想得更全 分得更细 宏杉科技MOFS分布式支持两种各有优势的架构

划重点:宏杉科技将用户需求细分,推出了两款MOFS分布式文件系统:一是基于存储SAN共享的网关架构,适合小文件比例大且写占比高的应用;二是基于服务器的架构,适合大文件居多且读占比较高的应用。


MOFS是宏杉科技自主研发的分布式文件系统,特别是在推出基于存储SAN共享的网关模式的方案后,今年又推出了基于服务器的架构和方案,那么宏杉科技为什么要推出两种分布式NAS的方案呢?两种方案的相同和不同有哪些呢?

MOFS两种模式的相同特点

223.jpg

独立算法的BigHash:采用SSD作为元数据是目前分布式的通用方法,MOFS利用特有的算法,把元数据描述成特定结构的文件放在SSD中,所有节点的元数据保证一致性,通过每节点的SSD的特定结构元数据文件解析,检索文件Hash值中的关键键值,节省了一次磁盘操作。

321.jpg


缓存预留DMA读取:在进行类似Ls这样的目录遍历相关操作时,由于没有独立的元数据节点,在小文件场景下会严重影响整体读写效率。而MOFS通过从内存中“预占”一部分空间,预留内存空间的分配、使用和回收不受操作系统和其它组件的影响,文件存储少了一次校验读。

Windows命名空间原生支持:Windows索引数存储在元数据磁盘,按照伴随目录树的变化同步更新,受严格的ACID语义保护。无需额外的配置,对用户的应用程序透明,解决了很多分布式文件系统需要在内存中加载所扫描目录,然后再逐个进行大小写不敏感的字符串匹配的方式,极大提高了文件访问效率。

MOFS两种方案的各自优势

微信图片_20191129151124.png

文件系统逻辑分离:网关架构采用分布式文件系统与存储节点二者分离,由专属的网关硬件平台运行分布式文件系统,存储节点提供SSD元数据空间及HDD存储空间,充分利用硬件资源,提供高性能低延迟方案。

灵活的文件读写模式:不分片模式无需遍历所有节点的文件列表,可以保证整个分布式文件系统的小文件读写效率,同时后端文件直接传输的FC架构,也极大降低了整个系统的文件访问延迟。分片模式有效避免大文件并发访问热点冲突,在对性能稳定性要求较高的场景比较合适。

文件系统高可用:由于文件存储节点硬件全冗余架构、双活设计以及宏杉特有的IDDC+CRAID技术多维度保障系统的高可靠。大、小文件场景均可在性能上得到保障,即便存储节点的控制器出现问题,也不会对系统有任何影响。

101.jpg

海量小文件场景模型(4节点网关+2节点存储):

类型一:一次产生400万个小文件,文件大小为20K左右

类型二:一次产生100万个小文件,文件大小为20K~68K左右,大部分文件为68K左右

类型一结果:目录深度为3,宽度为1,读写1:9,测试时间1小时,测试带宽为5.6GB/s

类型二结果:目录深度为3,宽度为1,读写1:9,测试时间1小时,测试带宽为2.9GB/s

由此可以看到,即便在极致小文件的场景下,MOFS网关结构的方案基本将前端服务器节点的性能跑满了,在高性能的场景下表现出色。

MOFS服务器架构独特之处

宏杉科技服务器架构为全对称的分布式架构,其独特之处如下:

微信图片_20191129152032.png

自均衡式的纠删码存储:EC纠删码可以通过容忍硬盘故障和节点故障来提升系统的可靠性,随着节点扩容,数据条带大小还能自动调整以获取更高的空间利用率。

后端端口的自冗余:对于纠删码基础的分布式文件系统,后端网路的高效冗余是根本,MOFS的后端网络自冗余技术,从底层平台上设置冗余机制,所有网路相关故障,均由MOFS的数据传输机制完全处理,无需在交换机上做任何特殊设置,无需配置Bonding,无需Active-Standby冗余策略配置后端交换设备。


综上所述,在分布式文件系统盛行的今天,宏杉科技针对非结构化数据应用的不同类型,提供了两种分布式的方案,两种方案既具有MOFS文件系统本身的创新特性,又有自己鲜明的独特特点。总结起来,小文件比例大且写占比高的应用,可以优先选择网关式架构的方案;而大文件居多且读占比较高的应用,则可以优选服务器架构方案。

最优秀的存储方案是针对应用最匹配的方案,宏杉科技的MOFS双方案,为用户的非结构化数据存储提供了更多选择。

返回列表