首页 首页 大数据 查看内容

官宣!开源Delta Lake正式加入Linux基金会,共同打造数据湖开放标准

木马童年 2019-10-17 11:00 74 0

今天,在荷兰阿姆斯特丹举行的 Spark+AI 欧洲峰会上,DataBricks 和 Linux 基金会联合宣布,开源项目 Delta Lake 正式成为 Linux 基金会的托管项目。 作者:蔡芳芳 来源:InfoQ Delta Lake 由 Databricks 在今年年 ...

今天,在荷兰阿姆斯特丹举行的 Spark+AI 欧洲峰会上,DataBricks 和 Linux 基金会联合宣布,开源项目 Delta Lake 正式成为 Linux 基金会的托管项目。

官宣!开源Delta Lake正式加入Linux基金会,共同打造数据湖开放标准

作者:蔡芳芳 来源:InfoQ

Delta Lake 由 Databricks 在今年年初开源,该项目旨在与社区共同打造一个开放标准,以管理数据湖中的大量数据,并不断提高数据湖的可靠性、质量和性能。成为 Linux 基金会项目后,Delta Lake 原来采用的 Apache 2.0 开源许可将保持不变。目前 Delta Lake 已经被成千上万的组织采用,包括 Intel、阿里巴巴、Booz Allen Hamilton 都是其开源生态一员。为了进一步推动 Delta Lake 开原生态的发展,让更多开发者和企业采用 Delta Lake 并参与贡献项目代码,Databricks 决定让 Delta Lake 成为 Linux 基金会的托管项目并使用开放式的治理模式。

如今,每个公司都希望通过数据科学、机器学习和分析等手段从数据中获得更多价值,但由于数据湖中数据可靠性较差,从数据中获取价值的难度极大。Delta Lake 通过为 Apache Spark 和其他大数据引擎提供可伸缩的 ACID 事务,让用户可以基于 HDFS 和云存储构建可靠的数据湖。自 2017 年 10 月推出以来,Delta Lake 已被四千多家组织采用,每月处理超过 2 exabytes 的数据。

“将 Delta Lake 引入 Linux 基金会这样的中立组织,将有助于开源社区更好地基于该项目开发解决大数据(本地和云端)存储和处理问题的技术,”Linux 基金会战略计划副总裁 Michael Dolan 说,“ Linux 基金会致力于帮助开源社区采用开放治理模式来实现广泛的行业贡献和共识建立,这将有助于改善当前数据存储和可靠性相关技术。”

Databricks 的联合创始人也是开源项目 Apache Spark 的创始成员,如今 Spark 早已成为大规模数据处理的事实标准。Databricks 的首席执行官兼联合创始人 Ali Ghodsi 对 Delta Lake 项目再次经历这一旅程感到兴奋。“我们的团队一直致力于创建开源项目并为之做出贡献,因为我们知道这是最快、最好的创新方式。为了解决不同组织在数据方面的挑战,我们希望保证 Delta Lake 项目真正彻底地开源。借助 Linux 基金会社区的力量和贡献,我们相信 Delta Lake 很快就会成为数据湖中数据存储的标准。”

尽管 Delta Lake 最初是为了与 Apache Spark 配合使用而设计的,但如今 Delta Lake 已经构建了一个更加开放且蓬勃发展的社区,且增加了对其他开源数据系统的支持。

阿里巴巴大数据 / 人工智能副总裁贾扬清表示:

“作为主要的云计算提供商,阿里巴巴一直是各种开源项目(尤其在大数据和 AI 领域)的领导者、贡献者、使用者和支持者。我们一直在与 Databricks 合作开发 Delta Lake 的原生 Hive 连接器,我们非常高兴看到该项目加入 Linux 基金会。我们将继续推动 Delta Lake 开源社区的发展并为之做出贡献。”

英特尔架构、图形和软件副总裁兼机器学习性能总经理李伟(Wei Li)表示:

“英特尔与 Databricks 已经合作了非常长时间,我们共同致力于通过创新的数据分析和 AI 解决方案推动 Apache Spark 技术的发展,并帮助企业做好准备。Databricks 贡献给 Linux 基金会的 Delta Lake 项目是一项相当重要的开源存储技术,可以帮助采用者提高数据湖的可靠性。我们期待加入 Delta Lake 项目,并继续与 Databricks 和 Apache 社区进行合作。”

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

阿里巴巴 数据科学 机器学习 大数据 云存储 数据存储
0
为您推荐
大数据技术改变城市的运作方式,智慧城市呼之欲出

大数据技术改变城市的运作方式,智慧城市呼

纽奥良虽像大多数城市一样有火灾侦测器安装计划,但直到最近还是要由市民主动申装。纽…...

大数据分析面临生死边缘,未来之路怎么走?

大数据分析面临生死边缘,未来之路怎么走?

大数据分析开始朝着营销落地,尤其像数果智能这类服务于企业的大数据分析供应商,不仅…...

什么是工业大数据,要通过3B和3C来理解?

什么是工业大数据,要通过3B和3C来理解?

核心提示:工业视角的转变如果说前三次工业革命分别从机械化、规模化、标准化、和自动…...

大数据普及为什么说肥了芯片厂商?

大数据普及为什么说肥了芯片厂商?

科技界默默无闻的存在,芯片行业年规模增长到了3520亿美元。半导体给无人驾驶汽车带来…...

大数据技术有哪些,为什么说云计算能力是大数据的根本!

大数据技术有哪些,为什么说云计算能力是大

历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的…...

个人征信牌照推迟落地,大数据 重新定义个人信用!!

个人征信牌照推迟落地,大数据 重新定义个

为金融学的基础正日益坚实。通过互联网大数据精准记录海量个人行为,进而形成分析结论…...