搜索
关于我们
ABOUT US
宏杉在线压缩 从用户业务出发的成本节约最优解

在线压缩是指数据在写入硬盘前先进行压缩。当存储设备开启在线压缩功能后,新数据写入存储控制器时,会先被存放在缓存中,然后进行数据压缩计算,再将压缩后的数据下刷至硬盘中。即,数据压缩是在数据写入硬盘前完成的,我们称为在线压缩。

我们经常会听到数据重删(宏杉在线全局重删:实时重删 数据无损)压缩功能如何好,多么强大,但实际上重删和压缩是两个不同的功能。虽然目的都是帮助用户缩减数据容量,但各自有不同的精妙之处。

两种不同压缩算法 各有优劣

宏杉科技的数据压缩功能可以支持LZ4与Deflate两种不同的压缩算法,用户可以根据自己需求灵活选择。两种算法各有特点,但都属于无损压缩,用户不用担心压缩时破坏数据,导致不可用的问题。

宏杉科技对算法的深入解读以及大量的实践测试发现,LZ4与Deflate相比,在系统资源上损耗更少,但数据的压缩比更低。反之,Deflate的压缩比更高,但是代价是会消耗更多的系统资源,二者各有优劣,可根据实际的业务场景酌情选择。宏杉科技本着业务优先的原则,建议用户采用LZ4算法,牺牲一部分压缩比以保证性能。当然,对于不繁忙的业务系统也可以采用Deflate算法。

从业务出发 选择数据压缩切片粒度

与在线全局重删功能相同,一段完整数据在写入存储设备时,需要先按照预先设定好的粒度将数据分割成等大小的数据块,这个过程被称为数据切片。在数据切片粒度方面,在线压缩支持8KB、16KB、32KB、64KB四种大小供用户选择,用户可以根据不同的业务需求指定。

需要注意的是,一旦有数据后,将无法带数据修改数据切片粒度,如果想要调整数据切片的粒度,需要将数据迁移至其他数据卷后再进行。

在线全局重删与在线压缩之间可复合使用

宏杉全闪存阵列支持在线全局重删与在线压缩复合使用,可以针对数据卷分别开启或同时开启两项功能,将数据缩减效果最大化。当二者同时开启时,存储设备会优先将写入的数据进行在线全局重删处理,完成后再进行在线压缩处理,以上两步操作均在数据写入硬盘之前完成。具体流程如下: 

微信图片_20191030163153.png

如果需要同时使用在线全局重删功能和在线压缩功能,二者的数据切片粒度要相同,使得二者可以更精确地匹配,提高数据缩减比率。数据写入存储设备时,先通过在线全局重删功能进行数据切片,切片后的数据进行全局数据重删比对。数据经过重删后,完成了第一次“瘦身”,此时保留下的数据块已经是全局唯一的数据切片了。因为在线全局重删和在线压缩的数据切片大小相同,在线压缩功能将跳过数据切片处理,而是将重删后全局唯一的数据切片进行数据压缩,最终将压缩后的数据写入硬盘中。


在线全局重删与在线压缩是目前主流的数据缩减处理方式,可以帮助用户在满足业务需求的情况下,尽可能节约采购成本。将在线全局重删与在线压缩结合使用,可以最大化数据缩减比,充分保证用户的利益,这也是宏杉科技多年来技术创新的初衷所在。

返回列表