首页 首页 大数据 查看内容

DeepMind 推出分布式训练框架 IMPALA,开启智能体训练新时代

木马童年 2019-5-1 06:00 38 0

日前,DeepMind 推出一种全新的分布式智能体训练框架 IMPALA,该框架具有高度可扩展性,将学习和执行过程分开,使用了一种名为 V-trace 的离策略(off-policy)修正算法,具有显著的加速性能,极高的效率。具体如何呢 ...

日前,DeepMind 推出一种全新的分布式智能体训练框架 IMPALA,该框架具有高度可扩展性,将学习和执行过程分开,使用了一种名为 V-trace 的离策略(off-policy)修正算法,具有显著的加速性能,极高的效率。具体如何呢,雷锋网 AI 研习社将其原文编译整理如下:

深度强化学习 (DeepRL) 在一系列任务中取得很显著的成果,比如机器人的连续控制问题、玩围棋和 Atari 等游戏。目前为止,我们看到的这些成果仅限于单一任务,每个任务都要单独对智能体进行调参和训练。

在我们最近的工作中,研究了在多个任务中训练单个智能体。

今天我们发布 DMLab-30,这是一组横跨很多挑战的新任务,在视觉统一的环境中,有着普通的行动空间(action space)。想训练好一个在许多任务上都有良好表现的智能体,需要大量的吞吐量,有效利用每个数据点。

为此,我们开发了一种全新的、高度可扩展的分布式智能体训练框架 IMPALA(重点加权行动-学习器框架,Importances Weighted Actor-Learner Architectures),这种框架使用了一种名为 V-trace 的离策略(off-policy)修正算法。

DMLab-30

DMLab-30 是通过开源强化学习环境 DeepMind Lab 设计的一系列新任务。有了 DMLab-30,任何深度强化学习研究人员都能够在大范围的、有趣的任务中测试系统,支持单独测试、多任务环境测试。

DeepMind 推出分布式训练框架 IMPALA,开启智能体训练新时代

这些任务被设计得尽可能多样化。它们有着不同的目标,有的是学习,有的是记忆,有的则是导航。它们的视觉效果也各不相同,比如有的是色彩鲜艳、现代风格的纹理,有的是黎明、正午或夜晚的沙漠中微妙的棕色和绿色。环境设置也不同,从开阔的山区,到直角迷宫,再到开放的圆房间,这里都存在。

此外,一些环境中还有「机器人」,这些机器人会执行以目标为导向的行为。同样重要的是,任务不同,目标和奖励也会有所不同,比如遵循语言指令、使用钥匙开门、采摘蘑菇、绘制和跟踪一条复杂的不能回头的路径这些任务,最终目的和奖励都会有所不同。

但是,就行动空间和观察空间来说,任务的环境是一样的。可以在每个环境中对智能体进行训练。在 DMLab 的 GitHub 页面上可以找到更多关于训练环境的细节。

IMPALA::重点加权行动-学习器框架

为了在 DMLab-30 中训练那些具有挑战性的任务,我们开发了一个名为 IMPALA 的分布式智能体框架,它利用 TensorFlow 中高效的分布式框架来最大化数据吞吐量。

IMPALA 的灵感来自流行的 A3C 框架,后者使用多个分布式 actor 来学习智能体的参数。

在这样的模型中,每个 actor 都使用策略参数的克隆在环境中行动。actor 会周期性地暂停探索来共享梯度,这些梯度是用一个中央参数服务器来计算的,会实时更新(见下图)。

DeepMind 推出分布式训练框架 IMPALA,开启智能体训练新时代

另一方面,在 IMPALA 中,不会用 actor 来计算梯度。它们只是用来收集经验,这些经验会传递给计算梯度的中央学习器,从而得到一个拥有独立 actor 和 learner 的模型。

现代计算系统有诸多优势,IMPALA 可以利用其优势,用单个 learner 或多个 learner 进行同步更新。以这种方式将学习和行动分离,有助于提高整个系统的吞吐量,因为 actor 不再需要执行诸如Batched A2C 框架中的等待学习步骤。

这使我们在环境中训练 IMPALA 时不会受到框架渲染时间的变动或任务重新启动时间的影响。

DeepMind 推出分布式训练框架 IMPALA,开启智能体训练新时代

IMPALA 中的学习是连续的,不同于其他框架,每一步学习都要暂停

然而,将行动与学习分离会导致 actor 中的策略落后于 learner。为了弥补这一差异,我们引入 V-trace——条理化的离策略 actor critic 算法,它可以对 actor 落后的轨迹进行补偿。可以在我们的论文 IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures 中看到该算法的具体细节。

DeepMind 推出分布式训练框架 IMPALA,开启智能体训练新时代

IMPALA 中的优化模型相对于类似智能体,能多处理 1 到 2 个数量级的经验,这使得在极具挑战的环境中进行学习成为可能。

我们将 IMPALA 与几个流行的 actor-critic 的方法进行了比较,发现它具有显著的加速效果。此外,使用 IMPALA 的情况下,随着 actor 和 learner 的增长,吞吐量几乎是按线性增长的。这表明,分布式智能体模型和 V-trace 算法都能支持极大规模的实验,支持的规模甚至可以达到上千台机器。

当在 DMLab-30 上进行测试时,与 A3C 相比,IMPALA 的数据效率提高了 10 倍,最终得分达到后者的两倍。此外,与单任务训练相比,IMPALA 在多任务环境下的训练呈正迁移趋势。

IMPALA 论文地址:https://arxiv.org/abs/1802.01561

DMLab-30 GitHub地址:https://github.com/deepmind/lab/tree/master/game_scripts/levels/contributed/dmlab30

via:DeepMind Blog

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

智能体 可扩展性 强化学习 机器人
0
为您推荐
大数据技术改变城市的运作方式,智慧城市呼之欲出

大数据技术改变城市的运作方式,智慧城市呼

纽奥良虽像大多数城市一样有火灾侦测器安装计划,但直到最近还是要由市民主动申装。纽…...

大数据分析面临生死边缘,未来之路怎么走?

大数据分析面临生死边缘,未来之路怎么走?

大数据分析开始朝着营销落地,尤其像数果智能这类服务于企业的大数据分析供应商,不仅…...

什么是工业大数据,要通过3B和3C来理解?

什么是工业大数据,要通过3B和3C来理解?

核心提示:工业视角的转变如果说前三次工业革命分别从机械化、规模化、标准化、和自动…...

大数据普及为什么说肥了芯片厂商?

大数据普及为什么说肥了芯片厂商?

科技界默默无闻的存在,芯片行业年规模增长到了3520亿美元。半导体给无人驾驶汽车带来…...

大数据技术有哪些,为什么说云计算能力是大数据的根本!

大数据技术有哪些,为什么说云计算能力是大

历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的…...

个人征信牌照推迟落地,大数据 重新定义个人信用!!

个人征信牌照推迟落地,大数据 重新定义个

为金融学的基础正日益坚实。通过互联网大数据精准记录海量个人行为,进而形成分析结论…...