搜索
关于我们
ABOUT US
更高效!宏杉分布式存储系统三招致胜(上)

高可靠性的架构:存储架构为核心

了解分布式存储的用户都知道,现在市面主流的分布式存储产品多采用x86的服务器硬件架构,其实就是在服务器中内置分布式存储软件实现的。这一实现方式的弊端是,x86服务器架构硬件冗余机制不足,和存储的全冗余架构差别很大,数据的安全保障基本通过分布式软件提供。因此,这些分布式产品花费了大量的机制、开销和算法来保证数据的可靠性,过多的硬件资源并没有用在数据存储上,这显然是一种浪费。

宏杉科技首创的基于存储架构的分布式存储系统,很好解决了这类问题。利用宏杉科技成熟的存储架构设计,从硬件上解决了数据安全问题,从而可以释放出不必要的硬件资源,在更多硬件资源的支持下让分布式存储的性能达到极致。自主创新的宏杉科技怎能不擅长分布式存储?

1072166473.jpg


图:宏杉科技分布式存储系统硬件架构图

效率提升关键:BigHash

分布式存储系统需要解决最大的痛点是海量文件存储,比如管理上千万乃至上亿、上百亿计数量的文件。如何在巨大的目录结构中,高效查找和定位文件是各家分布式系统共同面临的重大问题。

BigHash是宏杉科技分布式存储系统查找文件过程使用的Hash技术的统称,针对文件类型、文件路径等不同的属性参数,宏杉科技分布式存储系统会自适应不同的Hash算法,以最优的方式提供数据读写。

在技术层面上,宏杉科技分布式存储系统可以通过检索文件MD5值中的关键键值,快速定位文件。而传统分布式存储需要对完整MD5值进行比对才能检索出对应文件,速度慢且所需资源多。

因此在文件访问效率上,宏杉科技分布式存储系统有明显的性能提升。那么当面临海量文件时,出现关键键值相同时怎么办呢?宏杉科技分布式存储系统中除了设计了关键键值参数外,还设计了次级键值参数。这样,当出现关键键值相同时,宏杉科技分布式存储系统会自动检索次级键值,从而定位文件位置,只有在次级键值再次相同时,宏杉科技分布式存储系统才会检索比对完整的MD5值。

所以,利用BigHash技术,使得宏杉科技分布式存储系统的文件访问效率,相对于传统的分布式存储MD5值对比查找方式,提高50%以上。

第三招,请看下次分解......


返回列表