首页 首页 人工智能 查看内容

如何利用DeepFM算法设计推荐系统

木马童年 2018-12-7 19:25 9 0

【51CTO.com快译】经过了十几年的发展,推荐系统在互联网行业已经变得越来越流行。从早年没有一个合适的产品形态,到如今在今日头条和抖音等商业产品中发挥重要作用,推荐系统已经越来越受到互联网公司和研究界学者 ...

如何利用DeepFM算法设计推荐系统

    【51CTO.com快译】经过了十几年的发展,推荐系统在互联网行业已经变得越来越流行。从早年没有一个合适的产品形态,到如今在今日头条和抖音等商业产品中发挥重要作用,推荐系统已经越来越受到互联网公司和研究界学者的重视。

    早年的推荐算法主要是各种单模型,例如逻辑回归、协同过滤、矩阵分解等等。后来推荐算法演化成了混合模型,例如 GBDT + LR , GBDT + FM 等。而随着深度学习的崛起,深度神经网络越来越深刻地影响了推荐系统领域的发展。

    Huifeng Guo 等中国国内学者在 IJCAI 2017 发表了一篇题为《DeepFM: A Factorization-Machine based Neural Network for CTR Prediction 》的论文,讲解了如何将 FM 和深度学习模型进行融合之后进行推荐的算法。

    DeepFM 主要有以下三个优点:

  1.   DeepFM 可以对低阶特征交互和高阶特征交互进行建模,不需要进行特征工程。

  2.   DeepFM 可以高效的进行训练,因为模型宽的部分和深的部分,不仅共享输入,也共享嵌入式向量。

  3.   实验数据表明 DeepFM 可以在点击率预估问题上取得优秀的效果。

    DeepFM 的输入数据为点击率预估常见的 (X, y) 元组,其中 X 是表示用户和物品的特征向量,可能包括非数值数据,y 是点击数据标签,y = 1 表示用户点击了物品,y = 0 表示用户没有点击物品。

    DeepFM 的预测函数如下:

如何利用DeepFM算法设计推荐系统

 , 其实是利用 sigmoid 函数对基于 FM 的预测和基于 DNN 的预测进行了融合。算法模型中的 FM 部分算法架构如下图所示:

如何利用DeepFM算法设计推荐系统

    DNN 部分的算法架构如下图所示:

如何利用DeepFM算法设计推荐系统

    在混合模型中,FM 和 DNN 共享同一个特征嵌入层。嵌入层的结构如下图所示:

如何利用DeepFM算法设计推荐系统

    嵌入层得到的向量记为:

如何利用DeepFM算法设计推荐系统

 ,  该向量参与到后续的DNN计算中:

如何利用DeepFM算法设计推荐系统

 ,以及   。

    作者随后在测试数据集合上对近年来的几种不同的点击率预估算法进行了测评,选择的测评标准包括 AUC 和 Log-loss ,测评结果如下图所示:

如何利用DeepFM算法设计推荐系统

    与 DeepFM 相比,其他几种点击率预估算法有以下缺点:

  1.   FNN : FNN 是一个由 FM 初始化的前向神经网络。FM 预训练策略有如下两个问题:1). 嵌入层参数受 FM 影响较大 2). FM 预训练对算法效率有影响。另外,FM 只包含了高阶特征组合。

  2. PNN : PNN 及其变种 IPNN 和 OPNN 忽略了低阶特征的组合。

  3.   宽深网络:宽身网络的 FM 部分需要人工处理特征工程。

    DeepFM 设计思路简单,源于 2016 年 Google 的宽深网络方法但是效果出众。自推荐系统诞生以来,人们便设计了各种不同的模型融合方法。从修改主题模型的 Collaborative Topic Regression ,到基于 blending 的 GBDT + LR 再到后面的宽深网络方法, 给我们设计算法提供了不同的思路。算法本身是一个既要考虑模型,又要考虑数据和参数的学科,DeepFM 在如何设计模型层面给我们展示了很好的范例。

    原文标题:DeepFM: A Factorization-Machine based Neural Network for CTR Prediction,作者:Huifeng Guo, Ruiming Tang, Yunming Ye, Zhenguo Li, Xiuqiang He 

如何利用DeepFM算法设计推荐系统

    汪昊,恒昌利通资深架构师,美国犹他大学硕士,在百度,新浪,网易,豆瓣等公司有多年的研发和技术管理经验,擅长机器学习大数据,推荐系统,社交网络分析,计算机图形学,可视化等技术。在 TVCG 和 ASONAM 等国际会议和期刊发表论文 8 篇。本科毕业论文获国际会议 IEEE SMI 2008 最佳论文奖。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

互联网 协同过滤 深度学习 神经网络 数据标签 数据集
0
为您推荐
推进人工智能快速发展的动力是什么?

推进人工智能快速发展的动力是什么?

在“AI专家系统”取得重大突破的情况下,世界各国对于人工智能的开发热情也急速高涨。…...

京东云:将改变中国公有云第一阵营未来格局?

京东云:将改变中国公有云第一阵营未来格局

这个世界之所以精彩,因为总充满了变化,很多看起来结局已定的比赛,却总会出人意料地…...

AI+医疗,落地之日就是医生失业之时?

AI+医疗,落地之日就是医生失业之时?

在医学领域中有一个“笑话”,某医学院学生在大三时,看到AI在医学领域中的应用后,立…...

当AI也有了审美和创造力,人类设计师会尴尬吗?

当AI也有了审美和创造力,人类设计师会尴尬

每天,我们都能看到这样的报道,智能系统和算法将冲击低端和重复性工作,比如优步司机…...

巨头抢滩人工智能:AI能否让理想照进现实?

巨头抢滩人工智能:AI能否让理想照进现实?

全球产业界对人工智能的高强度持续投入,目前在基础研究、产业应用方面已经取得了不少…...

安防监控中的AI人工智能应用

安防监控中的AI人工智能应用

AI(Artificial Intelligence)人工智能技术的概念已经被提出来很多年, 若加以描述就…...