数智资源网
首页 首页 大数据 大数据入门 查看内容

一只特立独行的伪Hadoop批发商

木马童年 2020-10-18 09:46 13 0

有人说钱是好东西,来来往往皆为利。但是开源的东西本身并不来钱。只是不管怎么样,大家都是要吃饭的。雷锋叔叔这么伟大,在中国也只能三月来了四月走。真正能存在的,以前叫暴发户,现在改革开放那么多年了,人工智 ...

有人说钱是好东西,来来往往皆为利。但是开源的东西本身并不来钱。只是不管怎么样,大家都是要吃饭的。雷锋叔叔这么伟大,在中国也只能三月来了四月走。真正能存在的,以前叫暴发户,现在改革开放那么多年了,人工智能都有了长足发展了,暴发户也进化成土豪了。

一只特立独行的伪Hadoop批发商

当年Linux开始起来的时候,也是打着免费开源的名头开始的。但是今天靠Linux为生的企业很多,比如RedHat。所以Hadoop在雷锋Yahoo推向开源,然后又被Facebook, LinkedIn 以及Twitter等一众公司仁波切开光加持以后,自然而然的也就有一小撮人盯上了它。于是各种一道二道贩子们,做打包生意的就应运而生了。

在Hadoop圈子里面炒得最火热的当然莫过于Cloudera和Hortonworks之间的风风雨雨恩恩怨怨。但是今天我们暂且略去不表,聊聊另外一个批发商。它有一个很俗的名字:MapR。对,它的名字用一个字去形容就是俗,两个字是很俗,三个字是非常俗。这无非是一个想着要靠MapReduce来赚钱,却不知道如何取个响亮的名字的公司,于是决策者一拍脑袋,多快好省的出来了MapR。

在心理学上,有个说法就是人们总是会在潜意识里面流露出对自己不擅长的东西的关注。MapR这个公司既然拿了MapReduce来做商标,那么它擅长的显然就不是MapReduce。事实上它擅长的也的确不是MapReduce。MapR和其他Hadoop的不同在于,它是一个挂着Hadoop皮的,我也不知道是什么鬼的东西。

但是这个东西最基本的特点是,在它那个曾经工作于Google File System的印度CTO的带领下,一群印度码农自己实现了一个文件系统。这个文件系统据说有着比HDFS更加优越的实现,可以做到很多HDFS做不到,或者做得多但是做得不好的东西。

这个文件系统于是就取代了开源的HDFS,自然而然的进入到了MapR打包卖的产品里。它们在这条道路上越来越发扬光大。第二步是在这个文件系统上实现了HBase的接口。第三步是在上面实现了Kafka。对的没错,就是这样的。他们凭借一己之力,用自己一个startup的码农们,挑战了全世界,重新实现了这么多的功能,然后再包装进自己的distribution里面去卖给客户。当然宣传上,这些重新实现的功能是多么的优秀。相比较而言,开源的那些东西,渣渣啦,不值一文,比各位打赏给我的5块10块软妹币还少。

这种做法的优点,按照他们的说法就是实现了同样的东西,但是更好更效率高。更快更高更强是每个人追求的目标,如果后面再加个更便宜,那就是完美了。只是此事古难全。以赚钱为首要目的的MapR的distribution当然不可能是更便宜的。

于是MapR里面但凡需要接触到storage的,他们自己再做一遍。但凡不需要涉及到storage的,他们拿开源的来用。这其实很考验做市场的人的宣传功力。 当然MapR的宣传队伍不是吃素的,他们把自己的系统定义为binary identical。所以啊,如果你人傻钱多去买他们的产品,并不需要担心lock in了他们的系统从此下不了贼船了。

问题吧,第一我想也许在2009年的时候MapR自己实现的一些东西可能比开源的强。但是2016年这个道理多大程度上依然成立,恐怕值得商榷。尤其是没有经过实际检验的时候,就更不靠谱了。我始终相信,和开源社区作对的,都是勇士。比如Google,比如微软。当然勇士的另外一个名词也是烈士。其实我们也可以叫做劣势,都在一浪又一浪的开源推动中灰飞烟灭了。

第二,一个闭源的实现,要做到binary兼容,而且让大家相信不会上了MapR的贼船就下不来了,除了人傻钱多的主,恐怕也是不容易的。但是人傻钱多的,更应该赶时髦,为什么不去找那些名气更大更根红苗正的其他批发商呢?

更为重要的,其实Hadoop这个系统在execution的问题也很多。但是大概因为公司的名字叫MapR,公司领导人要么是没有这个能力去做好execution,要么就是信奉了MapReduce教,中毒太深,在execution上的行动力始终都无法和重写文件系统这样有魄力。当然我们需要指出来,面对这其他两大批发商的咄咄逼人的进攻,MapR还是做了一些工作,主导了开源项目Apache Drill的开发。

Drill这个东西是开源的。所以我们大致可以做出结论,对于MapR这个企业,凡是好东西,都不开源。凡是开源了的,我们要仔细想想到底是不是好东西。Drill发展到今天是个什么样的情况,我其实也不是知根知底,所以就不妄自菲薄妄加评论了。

很多年前,在某个场合我很有幸的和MapR的CTO一起吃了个饭,这顿饭当然不是只有我和他,饭桌上当然还有其他人。这个CTO是个印度人。和其他印度人给我感觉很不一样。一个字来形容就是圡。虽然多了一点,还是读土的音。MapR的CTO很像是一个码农发现了什么它自己以为的珍宝,然后能够为全人类的进步作出巨大贡献那样,巴不得瞬间展示给我们看。

举手投足之间洋溢着一个资深圡码农的圡味。所以这顿饭虽然是我生活在世界上无数年和无数人吃过的无数顿饭之一,却一直让我非常的记忆犹新。我每次想起这顿饭上的那个CTO,总能想到王小波的小说里那只特立独行的猪。

MapR成立于2009年,算算时间应该和Cloudera差不了太多,Hortonworks则要晚上两年。它家的融资非常非常的有意思。最近一轮融资是Google Venture领投的。它的合作伙伴就不像Hortonworks那样,早年很廉价的把自己卖给了微软,也不像Cloudera那样非常的有姿色,傍了好几个Sugar Daddy。

我对DoNotEvil的某些技术创新的敬仰一直都犹如滔滔江水绵绵不绝。但是对于它家的商业眼光则觉得非常的弱智。所以Google投钱大致上是Google也相信开源的同类产品烂,而MapR另起炉灶直接写的要好。是好东西为什么不会投钱呢?只是我想DotNotEvil公司真的没有理解很多很多客户用,但是每个客户只需少量机器的产品,和几个大客户每个人都需要大规模的机器支持的,总是有所不同的。

二道贩子一般来说都做一些整合工作,但是这位其实不但做整合还夹杂私货。所以这是一个非常特立独行的二道贩子。至于二道贩子的出路么,我个人其实并不看好MapR的将来。一个人对抗全世界终究是太难了,开源基本上就是准入证了。

Hadoop
0
为您推荐
深入浅出实战讲解-Spark框架实战 集中轰炸Spark-从入门到高级应用及优化课程下载

深入浅出实战讲解-Spark框架实战 集中轰炸Spark-从入

课程名称深入浅出实战讲解-Spark框架实战 集中轰炸Spark-从入门到高级应用及优化课程…...

云计算视频实战经典Hadoop学习,资源教程下载

云计算视频实战经典Hadoop学习,资源教程下载

课程名称云计算视频实战经典Hadoop学习,资源教程下载课程目录1.Hadoop的源起与体系介…...

Spark原理精讲与推荐系统实践案例,资源教程下载

Spark原理精讲与推荐系统实践案例,资源教程下载

课程名称Spark原理精讲与推荐系统实践案例,资源教程下载课程目录Spark 概述Spark Cor…...

北风网数据结构学习视频,资源教程下载

北风网数据结构学习视频,资源教程下载

课程名称北风网数据结构学习视频,资源教程下载课程目录01第一讲数组02第二讲简单排序…...

大数据时代互联网社交媒体数据的分析与应用课程,资源教程下载

大数据时代互联网社交媒体数据的分析与应用课程,资源

课程名称大数据时代互联网社交媒体数据的分析与应用课程,资源教程下载课程介绍大数据…...

炼数成金完整17周Hadoop完全入门学习视频教程 Hadoop数据分析平台第三版视频教程下载

炼数成金完整17周Hadoop完全入门学习视频教程 Hadoop

课程名称炼数成金完整17周Hadoop完全入门学习视频教程 Hadoop数据分析平台第三版视频…...