首页 关于宏杉 公司动态 公司动态

今天,我们聊聊地图诞生过程中的“幕后英雄”

2021年12月10日

二十年前,如要到异地旅游,购买一份导览地图曾是不少游客的选择,而如今,以手机导航为代表的电子地图已经成为大众日常生活、出行不可缺少的应用。从纸质地图到电子地图,承载地理信息的介质发生了变化,但信息的原始来源仍是相同的——均来自地理测绘。当然,地图仅是测绘其中的一项成果,实际上大至卫星定位测量、海洋测绘、国土测绘,小至不动产、市政道路、地籍测量,都离不开测绘。在我国,主要是以各地测绘地理信息局为首的专业机构来承担测绘工作。

1.jpg

一般而言,一项可用的测绘成果的诞生需经历三个步骤:首先全球卫星遥感、大飞机、无人机等拍摄原始图片,图片将统一上传至多台客户端,随后多台客户端通过专用系统软件如CIPS、ArcGIS、CC、PM、EPT等对原始图片进行加工处理,其中包含正射影像、镶嵌、匀色、建库、渲染、画图、出图、数据管理、格式转换、数据建模等功能模块,直至最终生成成果数据文件。

以无人机拍摄的原始图片为例,CC或Smart 3D等建模软件会对无人机图片进行计算切片加工处理,生成包含坐标信息的瓦片数据或栅格数据等过程数据,随后选择已有的过程数据生成模型,形成最后的成果文件。原始图片与成果文件间的数量之比约为1:200,容量占比约为1:5,即如果有2万张10MB左右的无人机原始图片,就能产生300万到400万个100KB-200KB的成果文件,而若应用卫星遥感影像数据,其成果文件单个就已达到几十甚至上百MB。所有流程中数据都将存放在数据存储系统中。

近年来,随着航空航天及计算机技术的不断提升,测绘遥感的发展前景无限广阔,快速增长的业务需求也对测绘遥感机构原有的数据存储系统提出更高的要求。

测绘存储系统面临的数据挑战

如前所述,原始图片上传与建模的过程需要多个客户端共同处理数据,为保证数据处理的效率,测绘存储系统必须具备高吞吐带宽与大容量,能够支撑多客户端高并发读写需求,保障业务的流畅性。

每个项目的文件数据都需保存在数据存储系统中,随着业务量的累积,数据存储系统扩容已是势在必行,而传统常用的存储阵列受制于前端的控制器数量,无法满足大规模、持续性地灵活扩展需求。

此外,每个项目的成果文件将被多次读取与分享,而数据存储系统中单文件夹的文件数量能达到百万甚至千万级别,无法快速在深目录与多文件中调用所需的文件也是目前存储系统面临的困境。

宏杉科技分布式存储解决之道

宏杉科技分布式存储解决方案提供文件、块、对象多种存储协议访问,可以根据应用读写I/O的特点,提供最适合的存储服务。此外,凭借高扩展、高性能、高智能、高可靠等特性,可为测绘机构数据存储、数据应用、数据分析等全过程提供深度支持。 

宏杉科技分布式存储采用全分布式、去中心化的架构,能够提供数百GB的访问带宽,通过前端切片、小文件聚合、缓存优化等技术在大文件和小文件环境下均能提供强大的性能支持,突破传统存储的性能瓶颈,高效应对测绘业务流程中多客户端高并发读写的场景。

值得指出的是,宏杉科技分布式文件存储为测绘行业CIPS等应用系统软件定制化开发组件,实现数据的实时在线处理,打破了以往需拷贝到本地处理再上传的方式,节省了数据下载、上传的时间,为测绘数据处理带来突破性的改变。

此外,由多节点构成的分布式架构,具备强大的弹性扩展能力,能在业务毫无感知的情况下实现扩容。存储节点支持从小规模到大规模无缝升级,存储系统容量可以扩展到EB级别,扩容后可立即获得更高的聚合性能和更大的容量。相较于传统存储,分布式存储能更好满足快速增长的测绘业务数据存储需求。 

针对成果文件数据快速调阅的需求,宏杉科技分布式对象存储能够发挥海量存储小文件与元数据快速检索等特性,实现单文件夹内上千万文件高效检索。实测数据显示,宏杉科技对象存储在亿级数量对象的情况下,检索到所需数据也仅需1秒,充分保障需求部门调取成果文件的效率。 

宏杉科技充分理解“数字赋能”的重要性,坚持以智能存储为用户打造最坚实的数据底座。未来,宏杉科技将在国土测绘、卫星遥感、海洋气象等测绘细分行业持续深耕,不断完善场景化解决方案,帮助用户提升数据管理能力,释放海量数据价值。