首页 首页 大数据 大数据入门 查看内容

Apache Hadoop 3.1.0 正式发布,原生支持GPU和FPGA

木马童年 2018-9-15 17:15 22 0

4月6日,Apache Hadoop 3.1.0 正式发布了,ApacheHadoop3.1.0 是2018年Hadoop-3.x 系列的第一个小版本,并且带来了许多增强功能。不过需要注意的是,这个版本并不推荐在生产环境下使用,如果需要在正式环境下使用, ...

4月6日,Apache Hadoop 3.1.0 正式发布了,ApacheHadoop3.1.0 是2018年Hadoop-3.x 系列的第一个小版本,并且带来了许多增强功能。不过需要注意的是,这个版本并不推荐在生产环境下使用,如果需要在正式环境下使用,请等待 3.1.1 或 3.1.2 版本。

这个版本的 Hadoop 带来了许多重大的变化,如下:

YARN 原生支持 GPU(详见 YARN-6223)

YARN 原生支持 FPGA(详见 YARN-5983)

支持原生的 YARN 服务(详见 YARN-5079 / YARN-4793 / YARN-4757 / YARN-6419)

YARN 新的调度放置策略

支持 docker container

容量调度(Capacity Scheduler):支持在执行队列映射时自动创建叶队列(详见 YARN-7117)

允许将存储在 HDFS 之外的数据映射到 HDFS 并从 HDFS 进行寻址。

更多的详情请参见官方 Release Notes: http://hadoop.apache.org/docs/r3.1.0/hadoop-project-dist/hadoop-common/release/3.1.0/RELEASENOTES.3.1.0.html

Changelog:http://hadoop.apache.org/docs/r3.1.0/hadoop-project-dist/hadoop-common/release/3.1.0/CHANGES.3.1.0.html

关于 Apache Hadoop 3.x 的重要特性,请参见 Apache Hadoop 3.0.0 GA版正式发布,可以部署到线上

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

未分类
0
为您推荐
【BDTC先睹为快】Spark首席架构师辛湜:谈项目现状与Roadmap

【BDTC先睹为快】Spark首席架构师辛湜:谈

12月10-12日, 2015中国大数据技术大会 将在北京召开。会议前夕,我们特采访了本次会…...

Java Web项目开发需要掌握哪些技术?

Java Web项目开发需要掌握哪些技术?

目前, 国内外信息化建设已经进入基于Web应用为核心的阶段, Java作为应用于网络的最…...

python开发环境搭建

python开发环境搭建

虽然网上有很多python开发环境搭建的文章,不过重复造轮子还是要的,记录一下过程,方…...

自从Hadoop的出现,大数据的主要技术是什么?

自从Hadoop的出现,大数据的主要技术是什么

自从Hadoop的出现,引领大数据的浪潮越来越热。大数据存储的主要技术路线有几种:1.Ha…...

从京东618数据井喷看大数据平台峰值处理制胜关键

从京东618数据井喷看大数据平台峰值处理制

作者介绍 京东集团618作战指挥中心,成员来自于京东各个技术体系,包括核心系统架构…...

大数据-Hadoop小文件问题解决方案

大数据-Hadoop小文件问题解决方案

HDFS中小文件是指文件size小于HDFS上block大小的文件。大量的小文件会给Hadoop的扩展…...