首页 首页 大数据 查看内容

LinkedIn使用Kafka日均处理消息超4.5万亿条

木马童年 2019-8-13 15:25 56 0

LinkedIn 总部位于美国加利福尼亚州山景城,是一家全球最大的职业社交网站,成立于 2002 年 12 月,于 2011 年 5 月 20 日在美上市。截至目前,LinkedIn 一共有超过 6.45 亿会员,超过 2000 万个工作岗位。LinkedIn ...

LinkedIn使用Kafka日均处理消息超4.5万亿条

LinkedIn 总部位于美国加利福尼亚州山景城,是一家全球最大的职业社交网站,成立于 2002 年 12 月,于 2011 年 5 月 20 日在美上市。截至目前,LinkedIn 一共有超过 6.45 亿会员,超过 2000 万个工作岗位。LinkedIn 目前使用 Kafka 日均处理消息超 4.5 万亿条,并已决定将所有工作负载迁移到 Azure 公有云上。

2009 年,LinkedIn 注册用户超过 5000 万人。2014 年,其注册用户规模已经超过 3 亿。而今天,LinkedIn 已经拥有超过 6.45 亿注册用户,超过 2000 万个工作岗位,每八秒钟就有一个人通过 LinkedIn 被雇佣。

伴随业务规模的不断扩大,LinkedIn 的技术团队需要成长得更加健壮,才能满足业务需求。LinkedIn 的技术团队创造了一个世界级的基础设施和一套工具和产品,使用 Project Inversion 重建了整个软件开发基础设施,并且选择将技术团队造的轮子开源,回馈社区与其他公司。在 LinkedIn 的数据基础设施中, Kafka 是核心支柱之一。

LinkedIn 在 2011 年 7 月开始大规模使用 Kafka,当时 Kafka 每天大约处理 10 亿条消息,这一数据在 2012 年达到了每天 200 亿条,而到了 2013 年 7 月,每天处理的消息达到了 2000 亿条。2015 年,他们的最新记录是每天利用 Kafka 处理的消息超过 1 万亿条,在峰值时每秒钟会发布超过 450 万条消息,每周处理的信息是 1.34 PB。每条消息平均会被 4 个应用处理。在使用 Kafka 的最初四年中,实现了 1200 倍的增长。2019 年,这个数字已经变成了 4.5 万亿条。

LinkedIn 在将 Kafka 捐献给 Apache 基金会后,也在持续打磨、优化着 Kafka 的使用与生态。随着规模的不断扩大,LinkedIn 更加关注于 Kafka 的可靠性、成本、安全性、可用性以及其他的基础指标。

LinkedIn 在 Kafka 上的主要关注领域包括:

配额(Quotas)

开发新的 Consumer

可靠性和可用性的提升

安全性

……

除了关注打磨 Kafka 技术本身以外,LinkedIn 还针对 Kafka 构建了一套完整的生态系统,以解决日益增长的业务规模所带来的新挑战。

LinkedIn使用Kafka日均处理消息超4.5万亿条

上图并不能完全反映 LinkedIn 的各种数据管道和拓扑结构,但足以说明 LinkedIn 的 Kafka 部署的关键部分,以及它们是怎样相互作用。

另据了解,LinkedIn 目前正在更换其数据中心,计划在未来几年向 Azure 迁移,并将关键业务数据委托给云平台。LinkedIn 高级副总裁 Mohak Shroff 表示,这将是该公司史上最大的技术转型之一,预计至少需要三年时间才能完成 6.45 亿用户数据迁移,以避免损害网站的可访问性、可靠性和性能。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

公有云 基础设施 软件开发 安全性 数据中心 云平台
0
为您推荐
大数据技术改变城市的运作方式,智慧城市呼之欲出

大数据技术改变城市的运作方式,智慧城市呼

纽奥良虽像大多数城市一样有火灾侦测器安装计划,但直到最近还是要由市民主动申装。纽…...

大数据分析面临生死边缘,未来之路怎么走?

大数据分析面临生死边缘,未来之路怎么走?

大数据分析开始朝着营销落地,尤其像数果智能这类服务于企业的大数据分析供应商,不仅…...

什么是工业大数据,要通过3B和3C来理解?

什么是工业大数据,要通过3B和3C来理解?

核心提示:工业视角的转变如果说前三次工业革命分别从机械化、规模化、标准化、和自动…...

大数据普及为什么说肥了芯片厂商?

大数据普及为什么说肥了芯片厂商?

科技界默默无闻的存在,芯片行业年规模增长到了3520亿美元。半导体给无人驾驶汽车带来…...

大数据技术有哪些,为什么说云计算能力是大数据的根本!

大数据技术有哪些,为什么说云计算能力是大

历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的…...

个人征信牌照推迟落地,大数据 重新定义个人信用!!

个人征信牌照推迟落地,大数据 重新定义个

为金融学的基础正日益坚实。通过互联网大数据精准记录海量个人行为,进而形成分析结论…...