搜索
关于我们
ABOUT US
宏杉在线全局重删:实时重删 数据无损

重复数据删除技术(Data Deduplication),通常也简称为重删技术,是目前业界公认的高效存储技术之一。在全闪存领域,一方面,重删技术可以缓解SSD盘贵带来的财务压力,另一方面,重删技术减少了实际数据写入量和SSD盘的写入次数,延长了SSD盘的寿命,从而降低了数据失效的风险。


宏杉科技在线全局重删技术的目标是实现全局数据块级、在线、无损重删,确保用户数据万无一失的同时,尽量提高重删效率,减少写盘次数,延长SSD盘的寿命。宏杉科技在线全局重删技术提供灵活的配置方式,可针对存储池启用或禁用重删功能,同时,与已有的快照、复制、双活等功能软件无缝结合,从而构建丰富的存储解决方案。

重删关键技术一: 文件级重删和数据块级重删

文件级重删也称为单一实例存储,在文件级别进行扫描并根据文件特征来识别重复文件,比如文件名称、大小、修改时间等,以确保重复的文件仅保留一个。而数据块级重删则是把用户数据切割成不同的小块,然后通过算法对分块中数据比对识别出重复数据,在真实写入磁盘时,重复的数据只写一份。


在文件级重删中,重删比由文件系统中有多少相同的文件决定。对于一个重复文件而言,即使做了很小的修改,也需要额外保存一个文件。数据块级重删的重删比则是由存储设备中有多少重复数据块决定,相比较文件级重删而言,粒度更精细。


重删关键技术二:在线重删和后台重删

在线重删和后台重删的差别在于重删时刻不同。在线重删是指数据写入磁盘之前重删,即写入磁盘前,通过重删技术已经消除了重复数据。后台重删则是指数据写入磁盘后再进行重删,即原始数据按常规流程写入到磁盘,然后根据策略在后台启动重删进程,识别磁盘中重复数据,并主动消除重复数据,缩减占用的磁盘空间。

可以看出,后台重删虽然减少了数据占用的磁盘空间,但是并没有减少实际数据写入量和SSD盘的写入次数,不能达到延长SSD盘寿命的目的,因此,不推荐在全闪存领域使用后台重删技术。

重删关键技术三:无损重删和有损重删

数据块级重删中最核心的技术是识别重复数据块。通常的做法是计算出数据块中数据的指纹,然后和已有数据的指纹进行比对,从而判断是否是重复数据块。计算指纹的方法通常采用HASH算法,然而,根据理论分析,不管使用哪种指纹算法,都存在极低概率的“指纹冲突”,即数据不同而指纹相同的情况。

无损重删和有损重删中“损”表示用户数据的损失。顾名思义,无损重删表示不能有任何数据丢失,针对上述指纹冲突的情况,进一步判断数据是否相同。而有损重删则是对性能的妥协,即不识别指纹冲突,只要指纹相同,均按照重复数据处理。很明显,存在重复数据时,无损重删做的事情更多,对性能有一定程度的影响,但是可以避免“指纹冲突”导致的数据丢失,保障数据安全性。

宏杉科技在线全局重删技术特点

宏杉科技在线全局重删技术的目标是实现全局数据块级、在线、无损重删,确保用户数据万无一失的同时,尽量提高重删效率,减少写盘次数,延长SSD盘的寿命。

1.灵活的DDSR

启用重删时,存储设备将自动在存储池中创建DDSR(Data Duplicate Shared Resource,数据副本共享资源),此时,DDSR仅需要预分配很少的空间。随着DDSR中写入数据变大,DDSR将自动扩容,自动从存储池中分配更多的空间。随着存储设备中数据不断变化,删除LUN、回收无效重删块等情况下,DDSR中有效数据变少,此时,DDSR将自动缩容,把多余的空间归还给存储池。

如果同时存在重复数据量大的应用和重复数据量小的应用,但是存储设备中磁盘数量有限、存储空间有限,也可以仅创建一个存储池并启用重删。该重删存储池中创建LUN时,默认启用重删,此时可根据应用类型选择不启用重删,即针对不同的应用,重删存储池中可以同时存在重删LUN和非重删LUN。

重删存储池中所有重删LUN将共享DDSR的重复数据集,如果存储设备仅存在一个存储池,此时实现了全局重删,这种配置下,重删效率最高。

2.合理切分重删块

重删LUN分配给客户端服务器后,客户端服务器并不感知其重删特性,可对LUN进行正常的读写操作。当存储设备收到客户端服务器针对某个LUN的写IO后,如果该LUN是重删LUN,针对新写入数据,将按照重删粒度切成多个重删块,并逐一处理。重删块是设备重删的单位,重删粒度是重删块的大小,粒度太小,会影响性能,粒度太大,会影响重删效率。根据实测情况,宏杉科技默认按照8KB的重删块来进行重删。

宏杉科技在数据流的在线处理过程中实现了重删功能,只有非重复数据,才写入DDSR,尽量减少写盘次数。同时,宏杉科技通过专用DDSR的冲突数据集实现了无损重删,严格保证用户数据的安全性和可用性。

丰富的宏杉科技重删解决方案

在线全局重删是宏杉科技针对全闪存阵列推出的旨在减少实际数据写入量、提高SSD盘存储效率和寿命的新技术,基于ODSP存储软件平台,与已有的快照、复制、双活等功能软件可以无缝结合,从而构建丰富的存储解决方案,包括双活高可靠方案、两地三中心灾备方案、私有云解决方案、NDM无中断数据迁移方案等,用户可以根据自己的实际情况部署使用。

返回列表