数智资源网
首页 首页 人工智能 查看内容

自动机器学习简述(AutoML)

木马童年 2019-4-9 20:25 167 0

转载本文需注明出处:微信公众号EAWorld,违者必究。 目录: 一、为什么需要自动机器学习 二、超参数优化 Hyper-parameter Optimization 三、元学习 Meta Learning 四、神经网络架构搜索 Neural Architecture Searc ...

自动机器学习简述(AutoML)

转载本文需注明出处:微信公众号EAWorld,违者必究。

目录:

一、为什么需要自动机器学习

二、超参数优化 Hyper-parameter Optimization

三、元学习 Meta Learning

四、神经网络架构搜索 Neural Architecture Search

五、自动化特征工程

六、其它自动机器学习工具

一、为什么需要自动机器学习

对于机器学习的新用户而言,使用机器学习算法的一个主要的障碍就是算法的性能受许多的设计决策影响。随着深度学习的流行,工程师需要选择相应的神经网络架构,训练过程,正则化方法,超参数等等,所有的这些都对算法的性能有很大的影响。于是深度学习工程师也被戏称为调参工程师。

自动机器学习(AutoML)的目标就是使用自动化的数据驱动方式来做出上述的决策。用户只要提供数据,自动机器学习系统自动的决定最佳的方案。领域专家不再需要苦恼于学习各种机器学习的算法。

自动机器学习不光包括大家熟知的算法选择,超参数优化,和神经网络架构搜索,还覆盖机器学习工作流的每一步:

自动机器学习简述(AutoML)

  • 自动准备数据

  • 自动特征选择

  • 自动选择算法

  • 超参数优化

  • 自动流水线/工作流构建

  • 神经网络架构搜索

  • 自动模型选择和集成学习

二、超参数优化

Hyper-parameter Optimization

学习器模型中一般有两类参数,一类是可以从数据中学习估计得到,还有一类参数时无法从数据中估计,只能靠人的经验进行设计指定,后者成为超参数。比如,支持向量机里面的C Kernal Gamma;朴素贝叶斯里面的alpha等。

超参数优化有很多方法:

最常见的类型是黑盒优化 (black-box function optimization)。所谓黑盒优化,就是将决策网络当作是一个黑盒来进行优化,仅关心输入和输出,而忽略其内部机制。决策网络通常是可以参数化的,这时候我们进行优化首先要考虑的是收敛性。

以下的几类方法都是属于黑盒优化:

  • 网格搜索 (grid search)

    Grid search大家都应该比较熟悉,是一种通过遍历给定的参数组合来优化模型表现的方法。网格搜索的问题是很容易发生维度灾难,优点是很容易并行。

  • 随机搜索 (random search)

    随机搜索是利用随机数求极小点而求得函数近似的最优解的方法。

六、其它自动机器学习工具集

以下列出一些开源的自动机器学习工具空大家参考、选择

  • Auto-Sklearn (http://t.cn/EfEPf5H)

  • AutoKeras(http://t.cn/RDVQhH4)

  • TPOT(http://t.cn/EfEPsHl)

  • H2O AutoML (http://t.cn/EfE2fKw)

  • Python auto_ml(http://t.cn/Ri1Ch74)

自动机器学习简述(AutoML)

关于作者:陶刚,Splunk资深软件工程师,架构师,毕业于北京邮电大学,现在在温哥华负责Splunk机器学习云平台的开发,曾经就职于SAP,EMC,Lucent等企业,拥有丰富的企业应用软件开发经验,熟悉软件开发的各种技术,平台和开发过程,在商务智能,机器学习,·数据可视化,数据采集,网络管理等领域都有涉及。

关于EAWorld:微服务,DevOps,数据治理,移动架构原创技术分享。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31562043/viewspace-2637851/,如需转载,请注明出处,否则将追究法律责任。

机器学习 网络架构 深度学习 工程师 数据驱动 架构师
0

最新评论(0)