IBM:GPFS和SSD结合 文件管理新里程碑
本文作者:admin
点击:
2011-07-29 00:00
前言:
上周,IBM宣布,使用IBM General Parallel File System (简称GPFS,译者注:GPFS是全球领先的并行文件系统,在超级计算机中心被广泛应用。很多全球500强的超级计算机都运行在GPFS上。它具有高可伸缩性,能够高效工作在1个节点到4000多个节点的集群环境中)技术和固态硬盘,在43分钟之内浏览上百亿个文件,这显示了固态硬盘的巨大潜力以及并行文件系统在处理快速增长的数据存储方面的能力。
IBM研究中心的存储系统负责人Bruce Hillsberg表示,IBM在其集群并行文件系统中采用了一种新的运算法则,并且在硬件方面结合了10个八核IBM 1036 M2服务器和4个Violin Memory 3205闪存SSD阵列。这使得该系统可以存储数百亿文件和6.5 TBs元数据。
市场研究公司Pund-IT的负责人兼首席分析师Charles King认为IBM GPFS性能测试是一个有趣的实验,但是并不认为它是一款商业化的产品。它的性能非常强劲,但安装成本也是高的惊人,许多公司根本支付不起或者根本不需要。Charles King表示,也许一款精简版的系统会更加符合如今市场的需求。
Charles King表示:“这简直是一个超级GPFS系统。仅有一小部分应用程序现今的确需要这种高端GPFS性能。但是IBM一直致力于为用户提供非常有效的商业解决方案。IBM相当擅长于将其的研究产业化。他们可以对这个系统进行简化,而性能不会受到影响,来满足市场的需要。这款技术的好处在于它可以根据客户的需求来进行简化或者升级。
Bruce Hillsberg表示,GPFS的性能如此优越在很大程度上跟使用固态硬盘有关。在2007年,IBM使用了大约20个磁盘驱动器在三个小时之内扫描了十亿文件。如果不使用SSDs的话,处理数百亿文件的元数据将会至少需要200个磁盘驱动器。
GPFS在搜索引擎数据库和高性能计算软件方面应用广泛。IBM在其商业产品中使用GPFS,例如其Scale Out Network Attached Storage (SONAS) 和 Information Archive产品。在后续产品中,IBM将会推出GPFS的增强版本。
Hillsberg表示:“凡是使用GPFS的产品和软件都会因此作出相应的GPFS更新。”
根据IBM白皮书,信息生命周期管理(information lifecycle management,简称ILM) 的GPFS功能就像是数据库查询引擎,可以快速识别文件。一旦找到相应文件,GPFS数据管理功能会使用并行接入来移动、备份或者归档用户数据。在文件系统中,GPFS紧密的集成了数据管理功能。该高性能引擎允许GPFS支持数十亿的文件管理。
Hillsberg表示:“数据的爆炸性增长是一个相当重要的原因。客户需要分辨哪些数据需要备份、灾难恢复和复制。通过扫描数据来进行数据管理。”
本次实验是在IBM高级存储实验室进行,该实验室位于美国加利福利亚洲西部圣何塞市的Almaden研究中心。