首页 首页 云计算 云技术 查看内容

Hypertable(C++)吞吐率测试完胜HBase(Java)

木马童年 2019-1-14 03:55 64 0

近日,Hypertable和HBase进行了类似随机读取统一的测试, 结果表明Hypertable在吞吐量测试中以2倍的性能优势压倒HBase。HBase在410亿和1670亿的数据插入测试中不堪重负(垃圾数据收集)。在此次测试中Hypertable选用 ...

近日,Hypertable和HBase进行了类似随机读取统一的测试, 结果表明Hypertable在吞吐量测试中以2倍的性能优势压倒HBase。HBase在410亿和1670亿的数据插入测试中不堪重负(垃圾数据收集)。在此次测试中Hypertable选用了0.9.5.5版,而HBase版本为0.90.4(CDH3u2运行于Zookeeper)。

Hypertable(C++)吞吐率测试完胜HBase(Java)

Hypertable高可用改进架构示意图

Hypertable系统主要包括Hyperspace、Master和Range Server三大组件。Hyperspace是一个锁服务,地位相当于Google的Chubby,主要用于同步、检测节点是否发生故障和存放顶层位置信息;Master主要用于完成任务分配,未来会有负载均衡以及灾后重建(Range Server失效后自动恢复服务)等其他作用;Range Server是Hypertable的实际工作者,主要负责对一个Range中的数据提供服务,此外它还肩负起灾后重建的责任,即重放本地日志恢复自身故障前状态;另外,还有访问Hypertable的客户端Client等组件。

Hypertable和HBase都是开源的可扩展的数据库产品,它们的设计蓝本同时基于Google BigTable。两者的主要区别是Hypertable依靠C++语言实现,而HBase则基于Java编写。 本次测试的环境为16台服务器,这16台服务器通过千兆网络连接在一起。

操作系统:CentOS 6.1

CPU:2X AMD C32 Six Core Model 4170 HE 2.1Ghz

内存:24GB 1333MHz DDR3

硬盘:4X 2TB SATA Western Digital RE4-GP WD2002FYPS

Hypertable和HBase在HDFS的NameNode运行在1号测试机之上。而DataNodes则运行在4号测试机到15测试机之上。与此同时RangeServer和RegionServers运行在同一组计算机之中,并且配置使之可用所有的内存资源。三个Zookeeper和Hyperspace副本运行在1号测试机在3号测试机。在测试中,表被配置使用Snappy压缩,同时使用Bloom filters加载Row Key。

在随机写入测试中,Hypertable和HBase分别测试写入4个不同的5TB数据。 使用的值大小分别为10000、1000、100和10。同时固定为20字节并将范围内的随机整数(随机值的数据段取自英文Wiki百科XML页面的200MB样本)格式化为零填充(0..number_of_keys_submitted*10)。

Hypertable(C++)吞吐率测试完胜HBase(Java)

Hypertable(C++)吞吐率测试完胜HBase(Java)

从图中我们可以看出HBase在410亿以及1670亿的键测试中由于HBase的RegionServers并发模式失败而抛出异常。无论如何配置当RegionServer产生无用数据的速度超过Java垃圾收集器就会发生如上的故障。为了解决这一问题,建造新的垃圾回收计划以克服问题,但这也会为运行时的性能带来沉重的代价。

在2005年的OOPSLA会议上Matthew Hertz和Emery D. Berger公布了《Garbage Collection vs. Explicit Memory Management》的研究文档,这为相关研究提供坚实的信念。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

数据收集 负载均衡 数据库 操作系统 计算机
0
为您推荐
IBM Power服务器内存和I/O升级 更具性价比

IBM Power服务器内存和I/O升级 更具性价比

近日,IBM对Power System产品线的部分机型进行了升级,包括对入门机型升级内存和I/O、…...

云计算是怎么定义的,核心技术有哪些?

云计算是怎么定义的,核心技术有哪些?

1.云计算的定义在《“智慧的地球”――IBM 云计算 2.0》中,IBM 公司对于云计算概念的…...

完美云计算之旅你需要考虑的几个步骤

完美云计算之旅你需要考虑的几个步骤

云计算如今不再是测试阶段,已经开始步入了真正的部署阶段。目前,很多公司都已经开始…...

云计算安全的三个层面:技术风险、管理风险和法律风险

云计算安全的三个层面:技术风险、管理风险

  云计算在IT技术领域大放异彩,成为引领技术潮流的新技术。云计算的高速发展为试图…...

OpenStack Neutron网络分析

OpenStack Neutron网络分析

一.前言本文主要介绍了如何分析Neutron下的VM网络数据流,并结合这些方法如何去进行…...

云计算之旅中的技术兼容非常重要

云计算之旅中的技术兼容非常重要

  在去年IT行业媒体JAXenter的技术趋势的调查中,向行业人士询问他们对各种IT技术的…...