数智资源网
首页 首页 大数据 查看内容

3个离不开Apache Kafka的行业

木马童年 2020-10-16 12:00 14 0

Apache Kafka是一个分布式的发布:订阅消息传递系统,旨在实现快速、可伸缩和持久的功能,它提供了一个统一的高吞吐量,低延迟的平台来处理实时数据馈送,并具有一个存储层,该存储层本质上是一个大规模可扩展的发布 ...

Apache  Kafka是一个分布式的发布:订阅消息传递系统,旨在实现快速、可伸缩和持久的功能,它提供了一个统一的高吞吐量,低延迟的平台来处理实时数据馈送,并具有一个存储层,该存储层本质上是一个大规模可扩展的发布/订阅消息队列,被构造为分布式事务日志。这种架构使Kafka最初由LinkedIn开发,并于2011年初开源,对于企业基础架构处理流数据而言非常有价值。

最初,Kafka旨在用于网站活动跟踪捕获网站上的所有点击、操作和输入,并使多个“消费者”可以订阅该信息的实时更新。但是现在,互联网服务、金融服务、娱乐和其他行业的公司已经改编了Kafka的大规模可扩展架构,并将其应用于有价值的业务数据。

Kafka允许来自这些垂直领域的企业掌握公司中发生的一切,并将其转换为多个业务部门可以订阅和分析的实时数据流。对于这些公司而言,Kafka可以替代传统的数据存储,而这些传统的数据存储被隔离到单个业务部门,并且可以作为一种简便的方法统一来自所有不同系统的数据。

Kafka已经完全超越了IT运营数据,现还用于处理与消费者交易、金融市场和客户有关的数据,以下是3个不同行业对Kafka的使用方式:

互联网服务

领先的互联网服务提供商(ISP)使用Kafka进行服务激活。当新客户通过电话或在线注册互联网服务时,必须验证他们收到的硬件,然后才能使用。验证过程会生成一系列消息,然后日志收集器会收集该日志数据并将其传递给Kafka,后者会将数据发送到多个要处理的应用程序中。

以这种方式使用Kafka的好处是,IT平台可以为消费者执行一项操作(激活服务),并将数据传递到分析应用程序,以便ISP可以按地理区域,激活率等来分析激活。

在使用Kafka之前,将数据捕获并路由到多个部门需要工程,商业智能以及用于复制数据的单独管道。现在,Kafka成为唯一的事实来源,不仅可以捕获有关应用程序正在发生的事情的数据,而且还可以捕获客户正在发生的事情的数据。

金融服务

全球金融服务公司需要分析数十亿的日常交易,以寻找市场趋势,并紧跟金融市场快速频繁变化的趋势。过去,一家公司通过在收市后从多个业务部门收集数据,将其发送到广阔的数据湖,然后对捕获的数据进行分析来做到这一点。

为了从被动方法转变为对传入的市场数据进行实时分析,Kafka充当消息传递代理,以存储运营数据和其他与市场相关的金融数据。现在,公司的分析师不必分析事后的运作数据,而是可以实时掌握市场的运行状况并做出相应的决策。

高盛(Goldman  Sachs)是一家使用卡夫卡(Kafka)的金融公司的例子,该公司领导了Symphony的开发,这是一项行业计划,旨在为即时通讯和内容共享构建基于云的平台,从而安全地连接市场参与者。它基于经济高效,可扩展且可定制以适合最终用户需求的开源业务模型。

娱乐

具有行业领先游戏平台的娱乐公司必须每天实时处理数百万笔交易,并确保消息的丢弃率非常低。过去,它使用功能强大的开源处理引擎Apache  Spark和Hadoop,但最近改用了Kafka。

有趣的是,该公司将Kafka用作此数据的保险单,因为只要公司需要,Kafka就会以可读格式安全地存储数据。这使公司既可以通过简化的架构路由消息,又可以通过Kafka存储数据。如果发生灾难或严重错误,它可以恢复数据并进行故障排除。

Netflix  使用Kafka作为所有应用程序数据收集的网关,每天需要处理数千亿条消息。例如,它使用Kafka进行统一的事件发布,收集,用于批处理和流处理的路由以及临时消息传递。

在云和本地环境中,Kafka已经超越了其最初的网站活动跟踪功能,已成为一种行业标准,为各种行业的公司提供了可靠,简化的消息传递解决方案。

基础架构 互联网 金融服务 数据流 数据存储 金融市场
0
为您推荐
HIVE数据仓库完美实战课程,资源教程下载

HIVE数据仓库完美实战课程,资源教程下载

课程名称【快速掌握HIVE视频教程】HIVE数据仓库完美实战课程课程目录├第一周:hive基…...

尚硅谷大数据Flink技术与实战,资源教程下载

尚硅谷大数据Flink技术与实战,资源教程下载

课程名称尚硅谷大数据Flink技术与实战课程目录理论_Flink基础 001__Flink理论_Flink…...

廖雪峰-2019大数据分析精品资料价值1980元,资源教程下载

廖雪峰-2019大数据分析精品资料价值1980元,资源教程

课程介绍:廖雪峰大神历时3个月打磨出来的《数据分析必备技能》的视频学习资料,由浅…...

尚硅谷-大数据项目之电商数仓教程下载

尚硅谷-大数据项目之电商数仓教程下载

课程介绍:本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以…...