搜索
关于我们
ABOUT US
宏杉看未来:无限容量 无限扩展 非结构化数据管理重在流动

早在五年前,IDC就预测过2020年全球数据将达到40ZB。而今天,在我们感慨预测准确的同时,IDC又给出了新的预测——2025年全球数据将达到150ZB,这完全是几何级数的爆炸式增长。150ZB数据中,捕获数据和用户产生数据的比例将会达到17:1,非结构化数据的占比进一步增加。

1.jpg

2.jpg

从IDC经典的平台演变图,我们已经深刻感受到了数据中心发生的变化,云、大数据、移动互联和社交媒体加速了数据产生和数据类型的巨变,非结构化成为数据增长、管理和利用的核心,无论大数据分析、AI、8K超高清都是新时代面临的新型数据。同时,非结构化数据的激增也给用户带来了巨大的困扰,下面举几个真实的例子。


例子一

某大型用户前期成功构建了私有云,但一直受海量影像和音频数据造成的高昂成本和低效率困扰,制定了基于S3协议将海量数据归档至公有云的混合云存储方案。但迁移了PB的数据后,逐步发现如果实际归档数据回迁,会极大受到带宽的限制,访问效率大不如前。同时,由于上传后元数据改变,文件的网络共享必须重新设置,原有的混合云数据湖方案成了数据沼泽

例子二

某设计类型用户购买了分布式存储,测试单节点带宽可达1GB/s,计划20TB的图纸数据迁移一周,半个月新存储系统可以上线。但因为图纸文件均是小于1MB的小文件,实际数据迁移速度不到30MB/s,最终迁移时间长达5个月,严重影响了项目工期。

例子三

某非编应用用户,采用移动硬盘拷贝的“原始”方式进行数据交互。为了提高工作效率,购买了性能优异的分布式存储。但实际上线后才发现非编和渲染制作有大量的大小文件混行,数据传输需要通过业务网络和存储后端网络进行,丢帧和网络延迟不可避免的爆发了,用户不得不回到原始的方式。


针对非结构化数据的三大关键技术

上述例子,我们可以看到非结构化数据存储规划极为重要。规划不好,往往“数据湖”就变成“数据沼泽”。而IDC针对2020年的大数据形势,也提了三大技术关键点和四个技术方案,具体如下。

3.png

IDC明确提出了数据湖泊、软件定义、对象存储、闪存加速的四个要点,这四个技术方向是业界公认的主要解决方案。

目前,各存储厂商的产品和方案都针对NVMe-oF、NVMe SSD、RDMA等各项主流技术进行全面升级,以应对激增的数据。但非结构化数据管理的核心技术难点是数据的流动,大小不同的海量文件混合运行,数据存放在多家方案甚至在多朵云上,数据迁移和摆放如何进行?怎样构建统一非结构化数据管理平台?

宏杉科技认为,解决方案是UDP(非结构化数据统一管理平台)。

UDP可实现非结构化数据的统一管理

非结构化数据的架构核心有两个:文件系统、元数据管理。UDP(Unstructured Data Platform)又称宏杉非结构化数据统一管理平台,支持备份、迁移和归档工作流程,集成文件系统、磁盘阵列、对象和云等高性能和异构存储上的数据负载。UDP确保用户能够有效管理并易于访问最有价值的数据,同时提高存储的使用率,降低存储成本,减少不常使用数据的备份窗口。UDP专为可扩展性和高性能而设计,架构如下。

4.jpg

其中,管理服务器提供数据迁移系统的管理,云网关 (Data Movers)数据迁移引擎负责从主存储到二级存储的数据移动,管理员使用UDP管理控制台在本地或远程配置和监视系统。


UDP的三大功能

1.UDM解决方案(Unstructured Data Migration)

5.jpg

独有快速扫描机制,高效处理数以亿计的小文件

数据移动引擎无限横向扩展,提供并发的迁移数据流

将数据同步迁移到更换的新NAS存储系统

UDM的目标

系统里有超过百万的非结构化文件

希望将NAS中的数据迁移到全新的文件存储系统

7.jpg


2. UDR解决方案(Unstructured Data Replication)


6.jpg

基于用户应用逻辑或全用户触发的数据收集和复制

带有源数据的数据复制,复制站点可直接访问数据

独有快速扫描机制,高效处理数以亿计的小文件

UDR的目标

数据需按用户的应用逻辑同步到不同的文件系统之中

数据冗余副本的管理

(3)UDA解决方案(Unstructured Data Archiving)

7.jpg

针对GPFS、Lustre或StorNext独特设计

独有快速扫描机制,高效处理数以亿计的小文件

数据移动引擎无限横向扩展,提供并发的迁移数据流

UDA的目标

海量的文件存放在GPFS、Lustre或StorNext等文件系统之中

将分布式文件系统中的文件归档到全新的对象存储系统


宏杉科技十年,针对非结构化数据大爆发,连续推出MOFS分布式文件系统、MOSS对象存储系统、CloudSUN全数据管理平台。未来,宏杉科技将继续创新,通过UDP构建统一的非结构化数据管理平台,基于多种文件系统和元数据管理的兼容性适配,提供UDM、UDR、UDA三大数据管理功能,简单、直观、全面地把文件系统间、分布式存储系统间、云和云之间的非结构化数据拉通,让海量非结构化数据流动起来,极大提高用户数据管理的生产力。

返回列表