大数据存储解决方案提供商

信息化平台 当前位置 >> 典型案例 >> 信息化平台

ICT服务器共享平台

发布日期:2011-05-09

项目背景
    中国科学院计算技术研究所的工程中心、生物计算、并行编译、GIS、国家知识基础设施研究等多个科研方向中的众多课题对于高性能集群计算环境有着强烈需求。应用于高性能集群的传统存储解决方案和系统管理存在如下问题:
    1. 传统解决方案中NFS Server数据共享方式在多节点大量数据量并发访问时,性能会急剧降低,甚至导致了NFS Server死机的情况出现。死机时,若并行程序本身不支持“从断点处恢复计算”的功能,则将导致死机前的计算工作成果的丢失。
    2. 当前机群平台复杂,既有Windows操作系统平台,也有Linux操作系统平台。NFS主要在Unix/Linux操作系统平台共享数据,不支持Windows操作系统平台共享,当前存储方案不能够满足这种异构平台的共享。
    3. 在服务器共享平台中需要根据用户需求的不同改变集群计算节点的操作系统类型,同时作为研发用系统,也需要一个干净的操作系统环境来进行计算,而采用传统方式进行系统改变的话,管理员的工作量很大,也很繁琐。
    4. 由于共享平台的数据量比较大,随着使用量的增多还会越来越大,且在计算过程中的数据重要性也很高,如果发生科研成果丢失或损坏的事件,会给研究造成无法挽回的损失。所以共享平台对于数据备份也有比较强的需求。

解决方案
    为解决以上问题,中国科学院计算技术研究所决定引入 “蓝鲸网络存储系统”。解决方案如下:

 系统方案拓扑示意图

    系统架构如上图所示:
    在集群中的每个计算节点上安装蓝鲸集群文件系统客户端程序,蓝鲸集群文件系统支持各种常用的Linux系列客户端和windows系列客户端,因此可以解决异构平台的数据共享问题。集群文件系统提供约6 TB的存储空间,可供所有节点共享,对需要访问集群文件系统的节点可分组实现权限控制,当存储空间需求增加,可在线扩展存储空间。
    服务器共享平台目前所用的蓝鲸网络存储设备为该平台提供了9TB的存储容量,并且提供虚拟存储和存储容量的动态划分功能。
    蓝鲸部署系统在几分钟内就可实现集群系统中计算节点的操作系统的转换,且只需管理员通过Web在自己的工作机上就可实现,大大简化了管理员的工作。
    蓝鲸数据备份系统,可提供对关键数据的备份功能,以解决科研人员的数据备份需求。关键数据由用户事先向管理员声明,蓝鲸数据备份系统与蓝鲸集群文件系统的协同工作将为用户提供快速、动态、可扩展的最佳用户体验。
 

应用效益
 计算技术研究所服务器共享平台使用了蓝鲸网络存储系统后,实现了Windows操作系统平台和Linux操作系统平台之间的文件共享,文件共享性能比NFS提升了50%。
 用户可以根据对存储空间的使用需求,动态划分存储设备上的存储空间,存储资源的利用率得到了极大的提高,同时还减少了管理员的工作量和工作复杂程度。
 蓝鲸部署系统在系统部署方面大大提高了共享平台的工作效率,同时也大大简化了管理员的管理工作。
 对关键数据提供备份/恢复功能,提高了关键数据的安全性,也大大加强了不同研究方向的横向交流。