首页 首页 大数据 查看内容

机器学习:从源数据清洗到特征工程建立谈金融反欺诈模型训练

木马童年 2019-5-1 12:55 22 0

本文旨在通过一个完整的实战例子,演示从源数据清洗到特征工程建立,再到模型训练,以及模型验证和评估的一个机器学习的完整流程。由于初识机器学习,会比较多的困惑,希望通过借助这个实战的例子,可以帮助大家对机 ...

本文旨在通过一个完整的实战例子,演示从源数据清洗到特征工程建立,再到模型训练,以及模型验证和评估的一个机器学习的完整流程。由于初识机器学习,会比较多的困惑,希望通过借助这个实战的例子,可以帮助大家对机器学习了一个初步的认识。

数据来源

本文的数据来源于Lending Club网站的公开数据,数据集为自LendingClub平台发放的2016年Q3的总计99122条贷款记录。

Lending Club是美国最大的P2P网贷交易平台,利用网络技术直接连接了个人投资者和个人借贷者,缩短资金流通的细节,绕过传统的大银行等金融机构,使得投资者和借贷者都能得到更多实惠。对于投资者来说,可以获得更好的回报;对于借贷者来说,则可以获得相对较低的贷款利率。

在借贷行业中,投资者向借贷者提供贷款以获取利息。如果借贷者顺利偿还贷款,投资者则获得利息收益。如果借贷者无法偿还贷款,投资者则损失贷款本金。因此,对于投资者来说,需要预测借贷者无法偿还贷款的风险,最大程度地避免投资损失,最大程度地实现投资回报。

【实施步骤】

一、 总体流程说明

数据分析的开始是从了解你要分析的数据以及了解你本次机器学习的目标开始的。需要分清是分类问题,还是回归问题,同时需要了解数据的构造,哪些是自变量(特征),哪个是因变量(目标变量)。就本次目标来看,因为目标变量是loan_statas(还款状态),它是一个标称值,因此本次是一个分类问题。

进入数据清洗阶段,主要是去除一些缺失严重的样式或者特征,同时去除一些跟业务无关的特征,以及方差比较小的特征。建立特征工程时,主要是对里面字符特征进行处理,将其转成数值型,以及对一些数据值特征进行归一化等处理;模型训练时,主要是选择合适的算法以及选择合适的超参数;模型评估就是将在训练集上运行好的模型,在测试集上进行验证评估。

二、了解数据集

使用pandas读取数据集,然后查看数据信息

机器学习:从源数据清洗到特征工程建立谈金融反欺诈模型训练
机器学习:从源数据清洗到特征工程建立谈金融反欺诈模型训练

可以看出一共包含了99122条记录,一共有121个特征和一个目标变量,这些列的类型分布:float64有97个,字符型有25个。

三、 数据清洗

▲取出特征X以及目标变量y

机器学习:从源数据清洗到特征工程建立谈金融反欺诈模型训练

其中load_data是自己封装的一个函数,用于根据targetCol来分割原来的df。

▲根据业务去掉不需要的列

目前主要包含:无关的标识字段以及贷后字段

机器学习:从源数据清洗到特征工程建立谈金融反欺诈模型训练

▲调用自定义函数进行清理

机器学习:从源数据清洗到特征工程建立谈金融反欺诈模型训练

主要包含的以下操作:

去除所有行以及所有的列均为nan的数据

去除缺失率高的特征,这里超过0.9则不考虑

去除特征中包含实例类别太多的特征,默认包含1000个实例则不考虑

对于数值型,如果标准差太小的,则不考虑该特征

可以从打印出的日志上看出,经过上一步的清洗步骤,已经从原来的121个特征变量,降成75个特征变量。

再看一下清洗完后,目前的特征中样本缺失度情况:

机器学习:从源数据清洗到特征工程建立谈金融反欺诈模型训练

由图可以目前缺失最高的mths_since_last_record在80%左右,在预设范围内,整体情况还相对理想。

▲查看特征的相关程度

如果特征之间相关度比较高的话,那就会影响分析结果,这里对这些特征的相关度进行排序:

机器学习:从源数据清洗到特征工程建立谈金融反欺诈模型训练

从上述的相关系数的关联情况可以看出:funded_amnt,loan_amnt,funded_amnt_inv这几个特征的关联比较强,仅保留funded_amnt,去除其它两个特征,经过清洗后只剩下了73个特征。

四、特征工程

▲对目标变量的处理

查看目标变量y的值的分布情况

机器学习:从源数据清洗到特征工程建立谈金融反欺诈模型训练

根据业务来理解,Current和Fully Paid用户是属于信用良好的样本,用1表示,Late (31-120 days)和Late (16-30 days)逾期的用户就归于信用不好的样本,用0表示,其它的几类就暂时用np.nan来代替,本次暂时不分析,先删除这些空的3912个样本。

处理完后,目标变量的分布如下:

机器学习:从源数据清洗到特征工程建立谈金融反欺诈模型训练

▲对字符型特征的处理

查看当前特征中字符型的特征主要包含:

机器学习:从源数据清洗到特征工程建立谈金融反欺诈模型训练

通过数据的分布可以看出特征pymnt_plan,application_type分布很不均衡,暂时不考虑这两个特征。

同时将init_rate转成float类型,将emp_length处理成int类型,对剩下的三个home_ownership,verification_status,initial_list_status类型变量做独热编码,使用pd.get_dummies函数,同时去除原始的那三个字段。

经过如上的处理,将其全部字符型的特征转成了数值型。

▲对整体数值型特征的处理

这里主要对缺失值处理,使用每个特征的中位数进行缺失值填充。

机器学习:从源数据清洗到特征工程建立谈金融反欺诈模型训练

到此已全部完成了特征工程的建立,最终特征工程包含95210个样本以及 77特征,建好的特征工程进入下一阶段的模型训练。

五、 模型训练

因为考虑到样本的不均衡性,交叉验证的方法使用StratifiedShuffleSplit方式来划分样本,同时学习器使用GBRT算法,同时RandomizedSearchCV进行最优参数选择。目前只是设置了基本的参数:

机器学习:从源数据清洗到特征工程建立谈金融反欺诈模型训练

通过训练集的充分训练后,得到目前GBRT最优的参数如下:

机器学习:从源数据清洗到特征工程建立谈金融反欺诈模型训练

然后使用这个最优的模型来对测试集进行预测:

机器学习:从源数据清洗到特征工程建立谈金融反欺诈模型训练

这样我们就得到了测试集在这个模型中跑出来的结果y_predicted数组,然后将它与y_test进行比对就可以对该模型进行评估,具体的可以查看2.6小结的结果。

六、模型评估

▲查看分类报告

机器学习:从源数据清洗到特征工程建立谈金融反欺诈模型训练

可以看出整体平均的精确度和召回率和F1值还是可以的,不过对于样本0的召回率和F1值为0,可能需要进一步优化。

▲查看学习曲线

机器学习:从源数据清洗到特征工程建立谈金融反欺诈模型训练

学习曲线是一条关于样本个数和经验损失函数之间的曲线,通过学习曲线可以看到关于偏差、方差用于改善机器学习算法的决策提供依据;从目前的曲线可以看出,训练得分和测试得分基本稳定在0.972这个点,相对来说比较理想。

【结论与展望】

本文只是简单的演示了一个完整的机器学习的流程,重点在于突出机器学习的各个实施步骤,对于整体的模型可能还有以下几点可以优化与完善:

如何更好的处理样本的不平衡性

是否考虑其它的算法进行比对效果,比如xgboost

算法的超参数调优可以增加几个变量调优

特征工程的建立还是稍微粗糙了些,还是可以再细化(比如特征的组合,特征的重要性排序,数值型特征的归一化处理等)

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

机器学习 数据来源 网络技术 投资回报 数据分析 模型评估
0
为您推荐
大数据技术改变城市的运作方式,智慧城市呼之欲出

大数据技术改变城市的运作方式,智慧城市呼

纽奥良虽像大多数城市一样有火灾侦测器安装计划,但直到最近还是要由市民主动申装。纽…...

大数据分析面临生死边缘,未来之路怎么走?

大数据分析面临生死边缘,未来之路怎么走?

大数据分析开始朝着营销落地,尤其像数果智能这类服务于企业的大数据分析供应商,不仅…...

什么是工业大数据,要通过3B和3C来理解?

什么是工业大数据,要通过3B和3C来理解?

核心提示:工业视角的转变如果说前三次工业革命分别从机械化、规模化、标准化、和自动…...

大数据普及为什么说肥了芯片厂商?

大数据普及为什么说肥了芯片厂商?

科技界默默无闻的存在,芯片行业年规模增长到了3520亿美元。半导体给无人驾驶汽车带来…...

大数据技术有哪些,为什么说云计算能力是大数据的根本!

大数据技术有哪些,为什么说云计算能力是大

历史规律告诉我们,任何一次大型技术革命,早期人们总是高估它的影响,会有一轮一轮的…...

个人征信牌照推迟落地,大数据 重新定义个人信用!!

个人征信牌照推迟落地,大数据 重新定义个

为金融学的基础正日益坚实。通过互联网大数据精准记录海量个人行为,进而形成分析结论…...