大数据存储解决方案提供商

媒体报道 当前位置 >> 新闻中心 >> 媒体报道

计算机用户:存储集群综述

发布日期:2011-06-07


 作者:库依楠  中科储天产品总监

 

    近两年存储集群产品在国际乃至国内存储市场的兴起同样符合以上趋势,一方面信息技术的迅猛发展促使用户对存储产品在容量,性能,可靠性,可管理性方面的需求迅速增长,从而极大的刺激了存储尤其是网络存储市场。另一方面,传统架构的NAS和SAN产品面对性能和容量快速增长的需求,在性价比,可扩展性等方面开始暴露出诸多弊端,一个比较典型的例子是传统的NAS产品,由于采用了数据路径和控制路径都经过NAS控制器的“带内”传输方式,在高性能计算,大规模视频处理等应用中无论整体带宽还是扩展性都已经无法满足用户的需求,在这种背景下,使用集群理念构建的网络存储产品再次成为厂商选择的突破方向之一,目前,除了专注于存储集群的初创公司,IBM,NATAPP,EMC,HP等公司也都通过自主研发或合作,OEM等方式建立了自己的存储集群产品线。这里需要额外说明一下用户对存储集群产品名称的一个误解,例如,很多用户误以为集群文件系统是只在计算集群环境使用的文件系统,虽然两者在应用中确实是经典搭配,但却没有必然联系。比如在视频处理公司,可能需要大量的非线性编辑站点访问存放在集群文件系统上的视频素材,这同样也是集群文件系统的典型应用模式之一。

    按照以上概念定义,目前市面上的存储集群产品种类非常繁多,分类方法也可以有很多种,比如提供块级存储和文件级存储的存储集群产品。以下重点对文件级存储集群产品进行简单分类:

    上表中需要注意的是SAN FS和BWFS,这两个产品同样可以是SAN 文件系统,用户一般容易对集群文件系统和SAN文件系统的区别产生疑惑,其实集群文件系统的重点在集群二字,强调集群带来的聚合和灵活扩展等效果,而SAN文件系统的初衷是用于解决SAN不能直接提供文件级共享的问题,却未必兼具集群的效果,比如ADIC的stornext。


     以上产品虽然特点各有不同,但是都在以下方面体现着的集群存储的优势:
    1. 对外提供统一视图,对于文件级存储集群即是提供了全局的命名空间(global namespace),该特性为用户的使用带来了极大的便利。
    2. 容量和性能上极强的扩展性更好的保护了用户投资。
    3. 更高的可靠性确保了用户的业务连续性。
    4. 系统的统一管理进一步降低总拥有成本。

为了实现以上目标,各个公司使用了不同的技术架构,以下将重点介绍近几年备受关注的带外架构。

    首先简单介绍一下“元数据”的概念。按照文件系统的标准处理流程,我们在获取一个文件之前需要先获取元数据,这个元数据包括了真正的数据存储地址,权限等信息。在获取了元数据后,才有可能获取所需的数据。

    上文中已经提到传统的NAS的局限性的根本原因在于将数据通路和控制通路(元数据通路)全部集中在统一的NAS控制器上(NAS“头”),这样的架构将导致以下问题:
    1. NAS控制器必将成为性能瓶颈,造成CPU资源和网络资源浪费。
    2. 性能无法扩展。
    3. 当客户端负载IO频度增强时,元数据的处理将占用大量带宽造成整个系统带宽下降的情况
    针对这个问题,解决方案之一是元数据和数据虽然还在统一路径上,但其处理分布在不同控制器或客户端,NAS集群或并行文件系统就采用的这样的方案。另一种更彻底的革新方案是将元数据和数据处理路径彻底分开,结合集群的理念提供更强大的系统。下图是简要的描述了带内和带外方式数据流的区别

    元数据的处理以及其他管理功能一般运行在一个服务器或刀片上,称之为元数据控制器,元数据控制同样可以是集群的方式提供高可用和负载均衡。客户端通过带外架构的存储集群访问数据时,首先访问元数据控制器获取元数据,然后以块级的方式直接访问存储设备,访问协议可以使用专有协议,也可以使用标准的FC或iSCSI协议。大多数带外存储集群同时还提供了存储设备之间的冗余以及数据的分布存储,从而实现了对系统带宽的聚合并使性能和容量的线形扩展成为可能。
    

    不管是带外还是带内架构,以目前已有集群存储产品的用户实际使用效果来看,该方式无论在系统的带宽还是在容量和性能的线形扩展方面都确实比传统的存储方式有诸多优势,下图是BWFS和传统的NAS在实际的地震资料处理环境下使用地震资料处理专用软件Paradigm Epos3 和Paradigm Disco测试的结果,从图中可以看出,虽然在不同数据访问模式下的效果不同,但是BWFS无论在整体带宽还是在带宽的平稳性上都要远远优于对比产品


    存储集群产品目前正在被高性能计算,流媒体,遥感信息处理等领域的用户逐渐接受,而相关厂商也不断的对其产品进行完善,不仅系统的性能,可靠性,可扩展性等核心功能在被不断完善,其他诸如快照等功能也在逐渐被融合到产品之中,相信不久的将来存储集群产品将以其独特的优势占据存储市场中属于自己的领地。


中科储天简介:
    北京中科储天信息技术有限公司依托于国内最大的存储研发机构――中科院计算技术研究所国家高性能计算机工程技术研究中心,工程中心2001年即开始专注于网络存储方向的研究和产品开发。储天公司专门从事工程中心研究成果的产品化和自主知识产权的蓝鲸系列网络存储产品的生产、销售,目前已拥有包括蓝鲸集群存储,蓝鲸网络存储设备,蓝鲸部署系统,蓝鲸数据备份系统在内的多条网络存储产品线,其核心技术全部自主研发。尤其是BWFS集群文件系统更是受到全球资深研究机构Gartner Group的关注。2006年9月,该研究机构对蓝鲸集群存储系统在石油地质勘探处理中的应用效果进行了实际地考察和研究,并以此做出了客观的研究报告。这是该研究机构首次对中国国产存储产品的应用情况进行研究。