首页 首页 大数据 大数据入门 查看内容

Apache Flink 1.6.0 正式发布,涵盖多项重要更新

木马童年 2018-10-10 21:15 54 0

来源:Hadoop技术博文 为期两个月开发的 Apache Flink 1.6.0 于昨天(2018-08-09)正式发布了。Flink 社区艰难地解决了 360 个 issues,到这里查看完整版的 changelog 。Flink 1.6.0 是 1.x.y 版本系列上的第七个版本 ...

来源:Hadoop技术博文

为期两个月开发的 Apache Flink 1.6.0 于昨天(2018-08-09)正式发布了。Flink 社区艰难地解决了 360 个 issues,到这里查看完整版的 changelog 。Flink 1.6.0 是 1.x.y 版本系列上的第七个版本,1.x.y 中所有使用 @Public 标注的 API 都是兼容的。此版本继续使 Flink 用户能够无缝地运行快速数据处理并轻松构建数据驱动和数据密集型应用程序。

Apache Flink 1.6.0 重要更新主要包含以下几点:

Flink 的状态支持是使 Flink 在实现各种用例方面如此通用和强大的关键特性之一。为了使其更加容易使用,社区为其添加了 TTL 的原生支持(FLINK-9510, FLINK-9938),此功能允许在状态过期之后能够清理状态。在 Flink 1.6.0 中,定时器状态现在可以脱离出系统,而直接将其存放在 RocksDB 中(FLINK-9485)。最后,定时器的删除也得到显著提升(FLINK-9423)。

在 Flink 1.5.0 中,我们重新设计了 Flink 分布式架构,以增加对资源弹性和不同部署方案的支持,同时容器的集成得到进一步的提升。而在 Flink 1.6.0 中,对这里面一些没完成的进行了完善:所有的外部通信(包括作业提交)现在都是基于 HTTP/REST 的(FLINK-9280),这大大简化了容器(container)的设置(FLINK-9280)。Flink 1.6.0 还引入了容器入口点(container entrypoint),可以轻松引导容器化作业集群(FLINK-9488)。

流式 SQL 是最具有潜力的功能之一,因为它使 Flink 更易于访问。在 Apache Flink 1.6.0 中,社区进一步改进了 SQL CLI(FLINK-8863),使得针对大量数据源执行流式处理和批处理查询变得轻而易举(FLINK-8861)。此外,完整的 Avro 支持可以无缝地读取任何 Avro 数据(FLINK-9444)。最后,社区强化了 Flink 的 CEP 库(FLINK-9418)。

在最新的 Flink 版本中,我们添加了一个新的 StreamingFileSink(FLINK-9750),它将 BucketingSink 作为标准文件接收器。同时增加了对 ElasticSearch 6.x 的支持(FLINK-7386),并对 AvroDeserializationSchemas 做了修改,使得我们更加容易地摄取 Avro 数据(FLINK-9338)。

其他新功能以及提升

支持状态 TTL (FLINK-9510, FLINK-9938)

基于 RocksDB 的可扩展计时器(FLINK-9485)

更快删除定时器(FLINK-9423),显著提升定时器的删除。

添加了作业集群容器入口点(FLINK-9488):Flink 1.6.0 还引入了容器入口点(container entrypoint),可以轻松引导容器化作业集群(FLINK-9488)。

Fully RESTified Job Submission(FLINK-9280)

SQL 客户端 CLI 支持用户定义函数(FLINK-8863)

SQL 客户端 CLI 支持批处理查询(FLINK-8861)

SQL 客户端 CLI 支持 INSERT INTO 语句(FLINK-8858)

统一表接收器(Table Sinks)和格式(FLINK-8866,FLINK-8558)

新的 Kafka Table Sink(FLINK-9846)

Full SQL Avro Support (FLINK-9444)

提高了 SQL 和 Table API 的表达能力(FLINK-5878, FLINK-8688, FLINK-6810)

更详细的说明请参见 Apache Flink 1.6.0 Release Announcement。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

数据处理 数据驱动 应用程序 数据源
0
为您推荐
对于大数据开发的学习,最经典的学习路线是什么?

对于大数据开发的学习,最经典的学习路线是什么?

对于现代社会,大数据开发的重要性不言而喻,通过大量的数据处理、分析获取有价值的信…...

大数据时代,主要需要什么类型的人才?

大数据时代,主要需要什么类型的人才?

什么是大数据,大数据是主要指的是,无法在可承受的时间范围内用常规软件工具进行捕捉…...

什么样的人才是大数据人才呢?我们应该怎么定义和分类?

什么样的人才是大数据人才呢?我们应该怎么定义和分类

在未来世界,国家之间、区域之间甚至是公司之间的大数据人才的争夺战,将是愈演愈烈的…...

数据科学,数据分析和机器学习之间,有什么本质区别?

数据科学,数据分析和机器学习之间,有什么本质区别?

我们都知道机器学习,数据科学和数据分析是未来的发展方向。有些公司不仅利用大数据帮…...

大数据现在处于什么阶段,入行大数据,需要学习哪些基础知识?

大数据现在处于什么阶段,入行大数据,需要学习哪些基

大数据的发展历程总体上可以划分为三个重要阶段,萌芽期、成熟期和大规模应用期…...

大数据技术怎么学习,在学习大数据之前,需要具备什么基础?

大数据技术怎么学习,在学习大数据之前,需要具备什么

  大数据又称黑暗数据,是指人脑无法处理的海量数据聚合成的信息资产,在民生、IT、…...