首页 首页 云计算 查看内容

IBM将在Hadoop上建立新的存储架构

木马童年 2019-5-16 22:20 6 0

IBM科学家宣称,该设计在将万亿字节的数据变成可用的信息方面,速度比当前技术可以提高两倍。因此,该设计非常适用于云计算和数据密集型的工作负载应用场合,比如数字媒体、数据挖掘、金融分析等。 这种新的架构名 ...

IBM科学家宣称,该设计在将万亿字节的数据变成可用的信息方面,速度比当前技术可以提高两倍。因此,该设计非常适用于云计算和数据密集型的工作负载应用场合,比如数字媒体、数据挖掘、金融分析等。

这种新的架构名为通用并行文件系统无共享群集 (GPFS-SNC,General Parallel File System-Shared Nothing Cluster),旨在通过高级集群技术、动态文件系统管理和高级数据复制(Data Replication)技术来提高可用性和速度。

存储分析发明者和IBM的研究主管Prasenjit Sarkar表示,一个拥有40个节点的文件系统将有12GB/sec吞吐量,并与400个节点的系统可以达到120GB/sec吞吐量。他说:“这是非 常符合成本效益的带宽。你得到1MB/sec美元。如果你想复制,存储区域网络,它会非常昂贵。”

“在我们的集群示例中,您可以在Hadoop架构上建立作为群集运行DB2或Oracle数据库”Sarkar说。 “这让我们能够有一个通用的文件系统,广泛的用户可使用。”

据了解,新的架构是让应用程序,支持高性能分析,数据仓库应用程序和云计算的目的。他描述为每个节点或标准的x86服务器有机会获得自己的元数据, 缓存,数据存储和管理工具的GPFS的“不共享”的集群技术,同时也有通过千兆位接入在同一时间集群中所有其他节点以太网端口。

他说:“我们所做的,是我们每一个分布式文件系统方面相对于谷歌文件系统,它有一个域节点,元数据,分配,锁管理,令牌管理,即使来自集群服务器的机架,我们仍然可以继续工作。”

所谓无共享,可用性,性能和扩展新的水平,可实现与集群文件系统。中的每个GPFS-SNC的架构节点也自给自足。任务被划分这些独立的计算机之间。

GPFS也支持POSIX,使一个应用广泛的传统上运行的文件系统之上,允许读取和写入执行。Prasenjit Sarkar说:“你可以打开一个文件,你可以读取一个文件,那么你就可以追加到该文件并覆盖任何部分。与谷歌的Hadoop分布式文件系统,你可以不追 加到一个文件,你不能覆盖的任何章节,所以你重非常有限你能做什么。”

GPFS的-民委还支持企业数据存储功能,例如快照,备份整个范围内,归档,信息生命周期管理,数据缓存,广域网数据复制和管理政策。该体系结构有一个单一的全球域名称空间,使虚拟机管理程序的节点之间移动。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

云计算 数字媒体 数据挖掘 数据库 应用程序 数据仓库
0
为您推荐
人算不如天算,数据驱动的云计算远超天算啦!

人算不如天算,数据驱动的云计算远超天算啦

在今天的世界, 一切业务数据化,一切数据业务化,只有这样才能迎接这个时代。所以我希…...

业务不到两年增速85%,是哪家公司这么厉害?

业务不到两年增速85%,是哪家公司这么厉害?

核心提示:自从2015年9月的OracleOpenWorld大会上推出全线的SaaS和PaaS产品以来,甲骨…...

打开企业云计算之门的利剑,不容错过?

打开企业云计算之门的利剑,不容错过?

在现实中,很多企事业单位的IT基础设施就处于此层次级别,即:只是采用了虚拟化技术去…...

云计算炙手可热,究竟是谁在背后?

云计算炙手可热,究竟是谁在背后?

核心提示:前不久,万达网络科技集团与美国IBM公司达成合作,借助IBM的云计算技术,进…...

云计算对数据进行智能分析,云计算核心技术有哪些?

云计算对数据进行智能分析,云计算核心技术

随着信息技术不断进步,闪存、磁盘、数据中心、DNA等各种新的存储技术不断出现。即便…...

“云”上存储日渐成熟, 那么最关键的是什么?

“云”上存储日渐成熟, 那么最关键的是什

展望未来,世界并不只是由公有或私有化技术组成,还有许多两者的混合体。因此势必会有…...

云计算开源呈现爆发式增长,如何使用云计算开源技术成为产业链关注的热点?

云计算开源呈现爆发式增长,如何使用云计算

近几年来,在云计算领域,开源技术呈现爆发式的增长,借用云计算领域的主流看法,这个…...

云计算提供了基础平台,云计算产业进入2.0

云计算提供了基础平台,云计算产业进入2.0

云计算引发了软件开发部署模式的创新,成为承载各类应用的关键基础设施,并为大数据、…...

私有云的建设是一个需要长期迭代的过程,我们都还在路上!

私有云的建设是一个需要长期迭代的过程,我

伴随着IT新技术的发展,像虚拟化、云计算和大数据对大家来说已经不再陌生了。在企业里…...

大家都要向云计算转型,为什么?

大家都要向云计算转型,为什么?

我们曾经开玩笑说硬件也要向云计算转型,软件也要向云计算转型,系统集成商也要向云计…...