大数据存储解决方案提供商

遥感与国防 当前位置 >> 典型案例 >> 遥感与国防

中国遥感卫星地面站(现对地观测中心)应用案例

发布日期:2008-06-07
应用单位:
    中国遥感卫星地面站

 

项目背景:

    中国遥感卫星地面站主要任务是:接收、处理、存档、分发各类地球对地观测卫星数据,为全国服务,同时开展卫星遥感影像数据接收与处理以及相关技术的研究。中国遥感卫星地面站信息处理部(以下简称“信息处理部”)主要负责处理遥感卫星数据,以应用于国土资源调查、全国林业资源调查、生态环境调查以及重点城市扩展情况监测、荒漠化监测、农作物估产、灾害监测与评估、地质与资源勘探、地形图测绘等众多领域。由于业务量增加和项目规模增大,该信息处理部原有的信息处理系统在存储容量和I/O带宽上都已不能满足现有的业务需要,并且对原有存储系统的简单扩容还带来系统的不稳定,所以该信息处理部决定对原有信息处理系统的存储系统进行改造和升级,以满足大容量,高I/O带宽以及系统扩展性的需求。
    蓝鲸存储根据具体需求,提出了采用蓝鲸集群存储系统BWFS系统作为新存储系统的解决方案,很好地满足了该单位的应用要求。

 

 解决方案:

    本方案采用蓝鲸集群文件系统(BWFS v4.0)——包括硬件和软件模块,解决目前该处理部存在的存储系统问题,方案拓扑结构如下图。

 

 

    在本方案中,硬件系统包括1台元数据控制器和1台存储设备,它们都通过交换机与工作平台系统连接,所有工作平台通过网络共享和访问存储系统提供的存储空间,并通过目录权限控制来控制不同工作平台的访问权限和共享范围。通过BWFS v4.0,可以将异构的存储设备整合为一个大的存储池,通过元数据控制器,提供文件级共享服务。相比NAS和SAN,BWFS在体系结构的设计上结合了二者的优点,即具有NAS文件级共享的功能,又具有SAN集中存储和可扩展性的特点,可以管理上千节点的集群系统,容纳Petabytes级的海量数据,提供Gigabytes级的吞吐率,实现存储集中统一的管理,有效克服单点失效等问题。这样,就满足了前端工作平台多种环境、多种业务、性能、安全性、可扩展性和共享性的需求。

 

应用效果:

    实现了集中存储与数据共享:BWFS将卫星图像数据处理的各个处理阶段中的数据,进行集中存储、统一管理,轻松解决在传统应用模式中,遥感数据分散在多个处理系统中的存储和处理模式,从而保证了数据的可靠性和数据的安全性(如敏感数据等),减化了数据处理的复杂环节与使用流程,并通过分布处理,减少数据的冗余,降低了管理的复杂度。利用BWFS提供的集中存储,提供数据的文件级共享。
  实现了跨平台的数据共享:目前的工作平台之间,BWFS在数据共享的基础上,支持异构环境中的跨平台数据共享,支持运行在不同的计算节点、工作站和备份工作平台等不同操作系统平台中的应用程序。BWFS系统的良好兼容性,在安装时无需对原系统进行任何修改(只要在客户端节点安装蓝鲸客户端文件系统驱动程序),就可以直接利用BWFS实现文件的跨平台共享。
  实现了高效率数据传输:BWFS的单个设备提供数据传输带宽,随着设备增加,数据访问带宽线性扩展。相比NFS,其聚合带宽提高3倍以上,有效地解决在数据处理过程中,对存储系统的I/O带宽要求。此外,BWFS采用数据直接访问,极大地提高了存储系统IOPS,为延迟关键性应用提供很好的解决方案。
  实现了存储容量的在线扩展:BWFS提供海量存储,支持在线扩展存储容量。当在使用的过程中,存储系统的容量不足时,管理员可以透明的在线添加网络存储设备来增加存储容量。当客户端增加时,存储系统保持带宽能力,不会因为客户端增加而出现性能急剧下降的情况,相比NFS具有非常好的带宽平稳性。
  实现存储系统的统一监控和管理:BWFS通过Web界面对存储系统和客户端统一管理,所有操作、配置、浏览通过管理界面完成。此外,通过管理界面可以监控存储系统的性能,可以提供历史分析报告,便于对应用的性能监控和故障分析。
  此外,在信息处理部使用的软件设计,以及将来采购的软件,都不必再考虑存储带宽对计算性能的影响。因此,减化了算法的设计和程序编写工作,降低了编程的复杂度。
    该套系统在运行之后的第3年进行了一次升级扩容并至今仍在持续运行。