数智资源网
首页 首页 人工智能 查看内容

Science | 人工智能领域很多引人注目的进展并不真实

木马童年 2020-6-9 14:11 83 0

人工智能似乎变得越来越聪明。每一部 iPhone 都比上一部更好地了解你的面孔、声音和习惯,各种性能的提升真的是来自算法的创新吗?Matthew Hutson多数算法改进缺乏创新性麻省理工学院(MIT)计算机科学专业的研究生戴 ...

人工智能似乎变得越来越聪明。每一部 iPhone 都比上一部更好地了解你的面孔、声音和习惯,各种性能的提升真的是来自算法的创新吗?


Science | 人工智能领域很多引人注目的进展并不真实

Matthew Hutson

多数算法改进缺乏创新性

麻省理工学院(MIT)计算机科学专业的研究生戴维斯布拉洛克(Davis Blalock)表示,有些算法改进来自微调,而不是发明者声称的核心创新,而且有些改进可能根本不存在。

Blalock 和他的同事比较了几十种改进神经网络的方法。「我们梳理了50篇论文,但是我们仍然不知道较先进的技术到底是什么。」

研究人员评估了81种剪枝算法,这些剪枝算法主要是裁剪一些不必要的连接以提高神经网络效率。所有人都都变着法说自己的算法是较好的, 但他们很少进行公允的有说服力的比较ーー当研究人员把这些算法放在同一标准下评估时,10年的时间,并没有什么显著的改善。

Science | 人工智能领域很多引人注目的进展并不真实  

以剪枝算法为例,质疑这些论文主要原因有以下几点:

缺乏一个完备的比较。2010年之前的算法没有加入评估,最近的更新也没有,对比较多的是VGG、ResNet这些经典架构,而的EfficientNet则很少。


Science | 人工智能领域很多引人注目的进展并不真实

你用了ImageNet,好我用CIFAR;什么你也用CIFAR,RseNet架构?那我用CIFAR和VGG。。

数据集和神经网络架构都不统一,得出的结论实在很难让人信服。


Science | 人工智能领域很多引人注目的进展并不真实

评价指标不一致,结果描述不完整。仅从效率和准确率无法评估出模型的对比效果。只有一篇论文使用了标准差来评估整体的趋势。


Science | 人工智能领域很多引人注目的进展并不真实

还有一点就是大家用的数据预处理方法、超参数的调整策略,使用的框架,剪枝和微调介入的时期等都没有统一,这些都会导致结果的不同。比如同样的算法,有些PyTorch的实现就比TensorFlow的好,当然反过来也有可能。


Science | 人工智能领域很多引人注目的进展并不真实

水论文到底在玩什么把戏?

今年三月份在MLSys上公布的结果让 Blalock 的博士导师,麻省理工学院的计算机科学家 John Guttag 感到惊讶,「这种不平衡的比较本身就可以解释为什么停滞不前了」。这是老一套了,对吧?

从当前主流的机器学习架构来看,机器学习算法的收益主要来自其结构、损失函数或优化策略的根本性变化。

卡内基梅隆大学的计算机科学家 Zico Kolter 研究图像识别模型,该模型被训练后可以对黑客的「对抗性攻击」免疫。 

一种早期的对抗性训练方法投影梯度下降法(PGD) ,现在一些更复杂的方法看似超越了PGD,但是在二月份的 arXiv 论文中,Kolter 和他的同事们发现,只需要一个简单的技巧来增强PGD,所有这些方法的效果都差不多。


Science | 人工智能领域很多引人注目的进展并不真实

论文灌水成风,但剪枝算法建议别发了

网友对如今AI论文灌水之风也是颇有微词,比如NIPS2018入选千篇。


Science | 人工智能领域很多引人注目的进展并不真实

知乎网友@Xiang Wang提出,论文要么跟实际贴合提升业务,要么就是理论创新,但是很多论文两者都没有做到,纯用捏造,实在是尴尬。


Science | 人工智能领域很多引人注目的进展并不真实

即使新方法并不比旧方法好到哪里去,每隔一段时间也会有一个新的算法实现应用上的突破, 「这几乎就像一个风险投资组合,其中一些东西并没有真正发挥作用,但一些业务却表现出色」。

一些工业界看起来很好的效果可能是因为该领域的爆炸性增长,论文数量超过了有经验的审稿人。评审人员时间紧任务重,只与基准进行比较,很容易得出偏见性的结论。


Science | 人工智能领域很多引人注目的进展并不真实

今年早些时候,Blalock 的合著者,麻省理工学院的研究员 Jose Gonzalez Ortiz,发布了一款名为 ShrinkBench 的软件,该软件是基于PyTorch并且是开源的,它使得比较剪枝算法变得更加容易,以后再发这类的论文可要注意了!

参考链接:

https://www.zhihu.com/question/59002888)

https://www.sciencemag.org/news/2020/05/eye-catching-advances-some-ai-fields-are-not-real)

https://proceedings.mlsys.org/static/paper_files/mlsys/2020/73-Paper.pdf

声明:文章收集于网络,版权归原作者所有,为传播信息而发,如有侵权,请联系小编删除,谢谢!

人工智能 计算机科学 神经网络 数据集 网络架构 数据预处理
0
为您推荐
高等数学,学习算法人工智能大数据的第一步教程下载

高等数学,学习算法人工智能大数据的第一步

课程介绍:从最基础的函数与极限相关的知识,步步深入到微分学的领域,包括导数与微分…...

Python400集(第四季)【北京尚学堂·百战程序员】,资源教程下载

Python400集(第四季)【北京尚学堂·百战

课程名称Python400集(第四季)【北京尚学堂·百战程序员】课程目录1.算法2.数据结构3…...

最新Python黑马基础班+就业班,全套视频教程下载

最新Python黑马基础班+就业班,全套视频教

课程介绍本期黑马Python基础班+就业班课程为2018年录制,课程质量有保证,请大家放心…...

花书+西瓜书+统计学习(完整版),资源教程下载

花书+西瓜书+统计学习(完整版),资源教程

课程名称花书+西瓜书+统计学习(完整版),资源教程下载课程介绍如果你从来没有使用过…...

数字货币python量化投资课程,视频教程下载

数字货币python量化投资课程,视频教程下载

课程介绍:学习了解数字货币,对交易的标的有清醒的认知需要掌握基本的python编程基础…...

从入门到进阶,攻破人工智能CV领域的资源教程下载

从入门到进阶,攻破人工智能CV领域的资源教

课程介绍:以主流的语言python为主,简单易学,从零开始课程从python语法讲起,逐步学…...

贪心学院-CV计算机视觉集训营,视频教程下载

贪心学院-CV计算机视觉集训营,视频教程下

课程介绍:有机器学习基础,有较强的编程能力,对数据结构与算法比较熟悉之后想从事CV…...

轻松入行人工智能-Python3入门机器学习 经典算法与应用,资源教程下载

轻松入行人工智能-Python3入门机器学习 经

课程简介:bobo老师特为机器学习初学者量身打造,使用新版python3语言和流行的scikit-…...

最新评论(0)