首页 首页 大数据 查看内容

知乎推荐系统的实践及重构之路

木马童年 2019-11-5 21:56 35 0

1、背景知乎,是一个大规模的综合性知识内容平台,注册用户数累计2.2 亿,有超过 3000 万的问题,超过 1.3 亿个回答,存在着大量的推荐场景。先讲讲推荐系统的总体流程和架构:显示推荐系统的流程知乎早期部分推荐系 ...

1、背景

知乎,是一个大规模的综合性知识内容平台,注册用户数累计2.2 亿,有超过 3000 万的问题,超过 1.3 亿个回答,存在着大量的推荐场景。

知乎推荐系统的实践及重构之路

先讲讲推荐系统的总体流程和架构:

知乎推荐系统的实践及重构之路

显示推荐系统的流程

知乎推荐系统的实践及重构之路

知乎早期部分推荐系统总体架构

知乎推荐系统的实践及重构之路

存在哪些问题呢?

首先,对多路召回支持不友好;

其次,召回索引全部基于Redis;

第三点,通用特征和通用监控建设都较困难。

第四点,缺乏统一的校验和落地方案。

第五点,不支持多队列融合。

2、推荐系统重构之路

重构前的思考

1)语言的选择。

2)如何支持多队列混排和支持多路召回的问题。

3)召回索引除了Redis 之外,引入其他索引数据库。

首先,我们先看语言上的选择方案。

知乎推荐系统的实践及重构之路

我们选择Golang,具体理由

1)Golang 天然的优势,支持高并发并且占用资源相对较少。

2)知乎内部基础组件的 Golang 版生态比较完善。

重构之路——架构设计

知乎推荐系统的实践及重构之路

知乎推荐系统的实践及重构之路

知乎推荐系统的实践及重构之路

知乎推荐系统的实践及重构之路

3、遇到的问题及应对方案

1)离线任务和模型的管理问题。

2)特征日志问题。

3)服务监控问题。

遇到的问题

知乎推荐系统的实践及重构之路

知乎推荐系统的实践及重构之路

特征日至问题:理想与现实

知乎推荐系统的实践及重构之路

知乎推荐系统的实践及重构之路

服务监控问题

知乎推荐系统的实践及重构之路

知乎推荐系统的实践及重构之路

知乎推荐系统的实践及重构之路

3、未来挑战

  • 数据、规模快速扩张;

  • 策略用用和业务隔离的协调;

  • 资源调度和性能开销;

  • 多IDC机房数据的同步。

4、总结

  • 重构语言的选择,关键跟公司技术背景和业务场景结合起来;

  • 架构尽量灵活,并不断自我迭代;

  • 监控要早点开展,并尽可能底层化、通用化。


在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

数据库 资源调度 业务场景 人工智能 机器学习
0
为您推荐
大数据技术改变城市的运作方式,智慧城市呼之欲出

大数据技术改变城市的运作方式,智慧城市呼

纽奥良虽像大多数城市一样有火灾侦测器安装计划,但直到最近还是要由市民主动申装。纽…...

大数据分析面临生死边缘,未来之路怎么走?

大数据分析面临生死边缘,未来之路怎么走?

大数据分析开始朝着营销落地,尤其像数果智能这类服务于企业的大数据分析供应商,不仅…...

什么是工业大数据,要通过3B和3C来理解?

什么是工业大数据,要通过3B和3C来理解?

核心提示:工业视角的转变如果说前三次工业革命分别从机械化、规模化、标准化、和自动…...

大数据普及为什么说肥了芯片厂商?

大数据普及为什么说肥了芯片厂商?

科技界默默无闻的存在,芯片行业年规模增长到了3520亿美元。半导体给无人驾驶汽车带来…...

大数据技术有哪些,为什么说云计算能力是大数据的根本!

大数据技术有哪些,为什么说云计算能力是大

历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的…...

个人征信牌照推迟落地,大数据 重新定义个人信用!!

个人征信牌照推迟落地,大数据 重新定义个

为金融学的基础正日益坚实。通过互联网大数据精准记录海量个人行为,进而形成分析结论…...