自动分层存储:提高性能,降低成本?
本文作者:admin
点击:
2011-07-22 00:00
前言:
还记得80年代的淡啤酒广告喊出的“Tastes great!”和“Less filling!”的广告语吗? 当时的想法是在不牺牲啤酒口感的情况下,减少啤酒的热量。或许自动存储分层(AST)的拥护者正在采取相同的方式:它的两个目标——降低成本和提高性能——就好像截然相反的一样。根据经验,如果你想提升I/O性能(数据吞吐量),你就得购买高端的光纤通道(FC)磁盘阵列和磁盘设备。如果预算是个大问题,你就得考虑IP存储和SATA驱动器了。
实际上,大多数公司会同时使用两种类型的存储,以满足预算条件下的应用吞吐量需求。这实际上代表了分级存储,同时,分层的管理也归结为员工选择事实上的手动分层还是部署自动化地系统。随着数据存储环境复杂性的增加,数据的增长以及通常情况下对于存储的低利用率,长期采用手工分层管理的方法是很难想象的。
微妙的平衡:成本与性能
存储厂商在公布其AST解决方案的时候,它们都在兜售提高性能降低成本的理念。对于降低成本和提高性能两者之间的取舍,人们想知道是否他们已经发现了一条途径以消除物理定律。幸运的是根据牛顿的科学,答案是否定的。事实上,AST不能在降低成本的同时提高性能。它所能做的是在最低可能成本的情况下,提供应用所必须的性能。因此,这更像是在两个目标之间的平衡。
存储分层回顾
大多数IT人员都了解存储分层,但还是值得简短回顾一下分层的概念。层次是由基础介质的性能特性决定的。固态硬盘(SSD)和闪存归于tier 0层;像每分钟15000转的高速FC硬盘归于tier 1层;每分钟10000转的FC和SAS硬盘属于tier 2层;低于每分钟10000转的SATA盘属于tier 3层。这些并不是绝对的规则,而是通常的区分方式。
分层可以通过两种不同的方式部署。第一种是磁盘阵列内部的,在一个单独的磁盘阵列中安装了两种或两种以上的介质类型。第二种时磁盘阵列间的,安装了不同介质类型的磁盘阵列联系在一起,以方便数据移动。也有可能在同一配置中同时存在这两种方式的分层。
自动化分层过程
无论是存储分层还是自动存储分层,都不是新技术。事实上,惠普公司声称在1996年就实施了自动存储分层。然而,AST的应用一直比较缓慢。这是因为最早的部署需要付出巨大的努力来进行数据分类和开发控制数据在层间移动的策略。多数情况下,数据是基于时间进行迁移的,而这一般不是一个最好的评判因素。
现在AST的部署采用了精密的算法,根据厂商和设置的不同,计算使用数据的范围从4KB数据块到1GB数据块不等。计算是基于与其它区块相关的访问需求进行的,因为没有定义的“高需求”。数据可以在高需求期间被提升到更高的层级并在需求减少时降低层级。该算法的质量决定了产品的价值而块的大小决定了工作量是否合适。较小的块通常更适于随机I/O,而较大的块对于顺序I/O更有利。
老牌厂商和新兴厂商都能够提供AST的功能。一些新的厂商,例如戴尔康贝(Dell Compellent),已经把自动存储分层作为其产品架构的基石了。按照公司的Storage Center产品线和它的Fluid Data Architecture,它已成为唯一一个将AST整合到架构中的产品。Fluid Data Architecture按照2MB大小的粒度移动数据块。
同样,对于Avere Systems公司,AST在其FXT设备中也是一个必选的功能。但是,它增加了使用任意网络附加存储(NAS)或者JBOD盘阵作为tier 3层存储的功能。因此,Avere公司同时提供了盘阵间和盘阵内的分层。另外,Avere公司使用了其自己的文件系统,这给了它额外的方法在它的算法中来控制数据的移动。FXT是一个“一劳永逸”的模式,它不允许用户编辑移动的策略,尽管层可以单独进行扩展以配合工作量的变化。
对于Arnold Worldwide的首席信息官(CIO)Greg Folsom来讲,简单是关键问题。Folsom认为,戴尔康贝的系统安装和管理是“及其容易”的。Arnold Worldwide,一家位于波士顿的广告代理公司,使用了三层的分层策略和两种不同的存储方法。他开玩笑说:“这些事情太容易了,甚至有人告诉我,我们的存储管理者不在办公室都能管理它们”。
Chris Elam,Arnold Worldwide的高级系统工程师,开始使用了戴尔康贝的缺省自动分层存储策略,然后再对策略进行调整。戴尔康贝的Enterprise Manager工具帮助了Elam,使策略与使用模式相关联。“Enterprise Manager帮助我们看到系统中的数据究竟是如何被访问的。利用这些信息,我们为其中一些应用建立了tier 1-2层的分层策略,而对另外一些应用建立了tier 2-3层的分层策略。我们已经使用这个系统超过四年了,并且很长时间不需要改变这些策略,” Elam说。新卷只需要在建立时简单地指定到某个策略即可。
固态存储补充分层
Xiotech公司提供了另外一种“一劳永逸”的AST实施方式。Xiotech公司的Hybrid ISE产品将固态硬盘和磁盘封装在一个14.4TB 3U的容器中。14.4TB中,1TB是固态硬盘,剩下的是900GB 10Krpm的SAS硬盘(tier 2层)。控制器级别的软件,叫做Continuous Adaptive Data Placement,从部署的时候开始自动管理数据的摆放。尽管公司提供了一个图形化的ISE Analyzer工具用于强调I/O的活动,但实际中,用户不能调整任何参数或者配置。公司认为他们设计的Hybrid ISE是没有必要调整的。
在提供更多可配置架构的厂商之中,NetApp公司强调性能和容量独立扩展的能力。公司的Flash Cache(PAM II)产品类似于其它厂商tier 0层的固态硬盘。尽管它能够支持多层,但NetApp声称,在许多案例中,只是简单地分为两层:Flash Cache和tier 2层或者tier 3层。那是因为,他们发现数据会向着“热”或者“冷”的方向发展,而很少处于它们之间。缓存用于缓冲写动作以避免性能下降。数据块移动尺寸的最大粒度仅仅是4KB。尽管这个体系架构可能比其它系统需要更多的闪盘(总容量的10%到20%),但其消除了相对昂贵的tier 1层的硬盘,同时把冷数据扩展到更多的SATA驱动器上,在获得相同性能的同时,有一个较低的成本。再有,NetApp将AST与重复数据删除和压缩相结合,应用于机械旋转的磁盘,可以获得更加巨大的空间效能。因为数据是通过WAFL文件系统和Data Ontap进行管理的,所以在数据变热由低层上升到tier 0层的时候,不需要被“还原”。相同的自动存储分层功能适用于所有NetApp的产品线。
CERN,瑞士日内瓦的欧洲核子研究中心,在Oracle的RAC数据库上使用了NetApp公司的Flash Cache。“在使用Flash Cache之前,我们必须以IOPS来衡量一切,而不管存储的利用率,”CERN IT部的Eric Grancher说。“现在,我们可以对IOPS和容量都进行优化。我们已经从昂贵的光纤通道硬盘迁移到廉价的SATA硬盘。这已经给我们带来了巨大的节约。” Grancher发现NetApp系统非常适应工作负载从而导致管理上非常简单。他的经历已经表明,当闪存在存储中时,比其在服务器中时会有更好的综合性能。“用NetApp系统缓冲数据相对于用数据库服务器缓冲更加稳定,后者经常因为打补丁或者更新而重启。存储服务器上的数据缓存已经‘成熟’,因而消除了常常发生的低性能时期,这是我们每次重启后都要经历的痛苦的冷服务器缓存阶段,”他说。
EMC公司的全面自动化存储分层(Fully Automated Storage Tiering(FAST))是另一个可配置系统的例子。FAST拥有一个安装向导,允许你用缺省配置进行简单部署,EMC认为,大多数用户在大多数情况下这么做是“一劳永逸”的。其它用户可以利用FAST Tier Advisor,这是一个通过一段时间收集使用统计信息的工具。那些统计数据可以用于对特定应用的优化策略。用户也可以依据随机读还是顺序读,从768KB到1GB之间设置移动数据块的尺寸。
EMC公司推荐用户开始用大约3%的容量作为tier 0层,20%用于tier 1层,77%用于tier 3层。Tier Advisor将会通过一段时间跟踪使用情况,tier 1层会被减少到最低程度,甚至小于在更高和更低层之间的一个缓冲器。在任何情况下,Tier Advisor允许用户基于真实的使用方式对任意层进行优化。
磁盘阵列间分层
日立数据系统公司(HDS)的AST支持跨所有产品线的盘阵间分层。它通过虚拟化来抽象和分区工作量。事实上,HDS推荐应用和负载分类,而不仅仅是数据分类。“机构应避免初期制定过于复杂的分层策略,”HDS的软件副总裁,Sean Moser说。“不要使用太多的层和过度优化的单个应用。”尽管HDS支持三层,而实际问题是中间层变成了更高层和更低层之间的“减震器”。
HDS公司提供了一个Data Center Management套件,包含配置管理、调优管理和分层存储管理。它可以提供告警并根据卷、存储池、服务水平协议(SLA)和峰值阶段等细节提供仪表展示。使用这个工具,用户可通过一段时间来调整系统。HDS也可以合并其它厂商的磁盘阵列,形成存储池,设备可以利旧并用于数据归档。HDS对于归档层可以使用磁盘停转技术以减少对于电力和制冷的需求。
HP公司的自动存储分层更加传统。或许是因为某些磁盘阵列是来源于联合与收购,它的AST功能在不同的产品线中也不相同。高端的P9500系统,是来自HDS的OEM产品,表现与HDS的AST相同,你可以使用P9500来虚拟化其它的磁盘阵列。
HP的3PAR产品线,是AST的新成员,大约在一年前推出了这个功能。3PAR支持三层,但在很大程度上取决于用户如何配置它们。HP推荐检视应用的使用方式,然后确定不同层的尺寸。它的Adaptive Optimization工具用来检视和规划层的大小。
HP的X9000可扩展NAS也使用了其自己的AST。这种情况下,所有的策略都是用户生成的。HP声称自动存储分层随着时间推移由用户策略转换成自动策略。
IBM公司的Easy Tier产品支持Storwize V7000, DS8700, DS8800和SAN Volume Controller产品。目前,Easy Tier支持两层,一层必须是固态硬盘。每隔24小时,该产品会分析性能指标,并生成数据迁移的计划。数据迁移以1GB为单位,迁移频率不会低于每五分钟以避免性能中断。Easy Tier是磁盘阵列的一个功能,是免费的。
仍在发展的自动分层市场格局
关于自动存储分层的好消息是,市场因为拥有更多选择而变得健全。坏消息是这些选择使得他们之间的比较更加困难。Jerome Wendt,位于内布拉斯加州奥马哈的DCIG的首席分析师兼总裁,对于评估相应的解决方案有一些实际的建议。“首先,用户应匹配应用的性能需求与产品的体系架构,”他说。“这包括了解要移动的数据块地尺寸,移动的频率以及如何在层间移动。” Wendt进一步表示,对于AST来讲,文件系统是相当安全的候选人,但对于微软的Excange和数据库来说,应更加小心谨慎。
自动分层购买考虑因素
要为你的数据存储环境购买自动分层吗?记住下面这几个关键点:
了解你的应用数据使用特征
审查管理工具,以保持一段时间后对系统的调整
确定基于现有工具和厂商,整合提议自动存储分层(AST)的功能
决定你是想要一个“一劳永逸”的还是客户化的AST产品
AST是一场真正的价格与性能,通过所节省的设备货币化进行衡量的比赛。