首页 首页 大数据 查看内容

将横向扩展NAS 用于大数据分析

木马童年 2018-8-10 12:00 9 0

随着数据量的增加,数据的查询、存储、分析会越来越依赖于高性能、高可扩展存储和处理等设备。传统的scale-up(纵向扩展)架构存储,不仅扩展性、 易部署管理性很难满足高性能需求;同时,容量的扩展还可能产生性能衰减 ...

随着数据量的增加,数据的查询、存储、分析会越来越依赖于高性能、高可扩展存储和处理等设备。传统的scale-up(纵向扩展)架构存储,不仅扩展性、 易部署管理性很难满足高性能需求;同时,容量的扩展还可能产生性能衰减,无法满足存储容量和性能线性升级的扩展需求。解决海量数据的处理、消除I/O 瓶颈,实现数据存储安全和保护、降低升级运维复杂度,都成为了高性能计算用户保证高性能持续高性价比的最重要决定因素。

ESG 调研结果曾表明,Scale- out存储已逐渐进入了商业IT ,并且站稳脚跟。在商业和政府部门,scale-out网络存储从2010年的4,189 PB 将增加到2015年的62,834 PB,达到了72% 的复合年增长率(CAGR),远远超过了整体的外部网络存储54% 的增长率。这个高速增长是基于供应商对于前景的预测,及早地从scale-up架构过渡到scale-out架构,并且他们的产品线中甚至是高端产品都提 供scale-out架构。

横向扩展存储系统克服了物理机架和模块的限制,可作为单一系统,通过增加控制器或容量节点来实现性能和容量的独立 升级,提高IT 投入的回报率。同时,线性扩展能力为业务的长期高性价比提供了保障。解决了传统单一系统、模块化系统需要物理磁盘级别的管理、数据布局和性能调优的弊端。 横向扩展平台不仅能够提升性能而且还可以降低操作成本,使单一系统在单一全局域名下,轻松扩展到若干PB容量范围,成为管理猛增数据的理想存储平台。

Hadoop

大规模数据的采集与处理已经让高性能计算用户备感压力,迫使企业需要通过一种新的方式去管理。一些新的分布式平台技术也不断出现,其中比较突出的是 Hadoop。Hadoop是一个比较新的技术,它是一个建立在普通服务器上的高度可扩展、高可靠的分布式系统,专为大规模计算和海量数据存储而设计。 Hadoop的数据来源可以是任何形式,在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能,具有更灵活的处理能力。基于Hadoop,用户 可编写处理海量数据的分布式并行程序,并将其运行于由成百上千个节点组成的大规模计算机集群上。

总之,在高性能计算系统中,计算节点的扩展、硬件升级能够进一步增强计算节点集群系统的处理能力,运算时间得到进一步缩短;但是存储设备的I/O 能力也必须有所提高,提高I/O 节点与存储设备之间的数据交换能力,从而提高整个高性能计算系统的计算效率。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

存储容量 海量数据 数据存储 供应商 存储系统 分布式系统
0

聚焦多智时代,引领智能变革

© 多智时代(www.duozhishidai.com)版权所有 / 工信部备案 豫ICP备15012664号-1