课程背景
本课专注于金融业界的风控模型,面向资料拆解部等等专门负责资料拆解和建模的人士。
本课
的主要目的是,练就参训者的海量资料意识和海量资料思路,掌握常用的资料拆解办法和资料拆解模型,并能够用于对买方行为作拆解和预测,拉升参训者的资料拆解综合本领。
课程收益
掌握资料拆解和资料建模的基本进程和步骤
掌握买方行为拆解中常用的拆解办法
掌握业务的影响因素拆解常用的办法
掌握常用买方行为预测模型,包括推演回归、决策树、神经网络、判别拆解等等等等,以及分类模型的精进
掌握金融业界信用评分卡模型,构筑信用评分模型
课程大纲
资料
核心理念—资料思路篇
问题:何为资料思路?海量资料决策的底层推演以及决策依据为何?
数智化五大技艺方略:
ABCDI
方略
A
:机器智能,目的是用机器还原人类行为
B
:区块链,构筑不可篡改的分布记账系统
C
:云计算,搭建按照需分配的计算资源平台
D
:海量资料,达成智能化的判断和决策制度
I
:物联网,达成万物互联通信的基础架构
海量资料
的本质
资料,
是
事物演进和变化进程中留下的痕迹
海量资料不在于量大,而在于全(多维性)
业务导向还是技艺导向
海量资料决策的底层推演(即四大核心价值)
探索业务规律,按照规律来管控决策
实例
:
客流规律和排班以及最佳营销时机
实例:致命交通事故发生的时间规律
发现营运变化,定短板来营运决策
实例
:
考核周期导致的员工月初懈怠
实例:工序信号异常监测装置故障
理清要素关系,找影响因素来决策
实例
:
情绪对于股市涨跌的影响
实例:为何升职反而会增加离职隐患?
预测未来趋势,借助预判开展决策
实例
:
惠普预测员工离职隐患以及挽留
实例:保险公司的车险预测和个性化保费定价
海量资料决策的三个要害环节
业务资料化:将业务问题转化为资料问题
资料资讯化:提取资料中的业务规律资讯
资讯打法化:基于规律形成业务化解打法
实例
:
用资料来识别喜欢赚
“差价”的营业员
资料拆解基础—流程步骤篇
资料
拆解
的六
步
曲
步骤
1
:明晰目的,确定拆解思路
确定拆解目的:要破解什么样的业务问题
确定拆解思路:分解业务问题,构筑拆解轮廓
步骤
2
:收集资料,寻找拆解素材
明晰资料范围
确定收集来源
确定收集办法
步骤
3
:整理资料,确保资料质量
资料质量评核
资料清洗、资料处理和变量处理
探索性拆解
步骤
4
:拆解资料,寻找业务答案
选项合适的拆解办法
构筑合适的拆解模型
选项合适的拆解抓手
步骤
5
:呈现数,解读业务规律
选项恰当的图表
选项合适的可视化抓手
提炼业务含义
步骤
6
:撰写报告,形成业务打法
选项报告种类
完整的报告结构
上手
:
货品精准营销实例拆解
怎样搭建精准营销拆解轮廓
精准营销拆解的进程和步骤
用户行为拆解—统计办法
篇
问题:资料拆解办法的种类?拆解办法的不同运用情境?
业务拆解的三个阶段
现况拆解:借助公司营运指标来发现规律以及短板
原因拆解:查找资料相关性,探寻标的影响因素
预测拆解:合理配置资源,预判业务未来的趋势
常用的资料拆解办法种类
描述性拆解法(对比
/
分组
/
结构
/
趋势
/
交叉
…)
相关性拆解法(相关
/
方差
/
卡方
…)
预测性拆解法(回归
/
时序
/
决策树
/
神经网络
…)
专题性拆解法(聚类
/
关联
/RFM
模型
/
…)
统计拆解基础
统计拆解两大要害要素(类别、指标)
统计拆解的操作模式(类别à指标)
统计拆解三个操作步骤(统计、画图,解读)
透视表的三个组成部分
常用的描述性指标
集中程度:均值,中位数、众数
离散程度:极差、方差
/
准则差、
IQR
分布形态:偏度、峰度
基本
拆解办法
以及其适用情境
对比拆解(查看资料差距,发现事物变化)
上手:寻找用户的地域分布特征
上手:拆解货品受欢迎情况以及贡献大小
上手:用资料来探索增量不增收困境的解题打法
分布拆解(查看资料分布,探索业务层次)
上手:银行用户的消费水平和消费层次拆解
上手
:
买方年龄分布
/
收入分布拆解
实例:通信营运商的流量套餐划分合理性的评核
上手:呼叫中心接听电话效率拆解(呼叫中心)
结构拆解(查看指标构成,评核结构合理性)
实例:增值业务收入结构拆解(通信)
实例:物流费用成本结构拆解(物流)
实例:中移动用户群动态结构拆解
上手:财务领域的结构瀑布图、财务收支的变化瀑布图
趋势拆解(发现事物随时间的变化规律)
实例:破解零售店销售规律
实例:手机
销量
的淡旺季拆解
实例:微信用户的活跃时间规律
上手:发现客流量的时间规律
交叉拆解(从多个维度的资料指标拆解)
上手:用户性别
+
地域分布拆解
上手:
不同买方的
货品偏好拆解
上手:不同
学历用户
的套餐偏好拆解
上手:银行用户的违约影响因素拆解
用户行为拆解—拆解轮廓
篇
问题:怎样才能周全
/
系统地拆解而不遗漏?怎样分解和细化业务问题?
业务拆解思路和拆解轮廓来源于业务模型
常用的业务模型
外部环境拆解:
PEST
业务专题拆解:
5W
2
H
竞品
/
竞争拆解:
SWOT
、波特五力
营销市场专题拆解:
4P/
4
C
等等
用户行为拆解
(
5
W2H
拆解思路
和轮廓
)
WHY
:原因
(用户诉求、货品亮点、竞品优劣势)
WHAT
:货品
(货品喜好、货品贡献、货品功能、货品结构)
WHO
:买方
(基本特征、消费本领、货品偏好)
WHEN
:时间
(淡旺季、活跃时间,重购周期)
WHERE
:区域
/
渠道(区域喜好,渠道偏好)
HOW
:支付
/
促销(支付方式、促销方式有效性评核等等)
HOW MUCH
:价格
(费用、成本,利润、收入结构、价格偏好等等)
实例碰头
:
结合公司情况,搭建用户消费习惯的
拆解
轮廓(
5
W2H
)
资料建模基础—流程步骤篇
预测建模六步法
选项
模型:基于业务选项恰当的资料模型
特征工程:选项对标的变量有显著影响的属性来建模
训练模型
:采用合适的算法对模型开展训练,寻找到最优参数
评核模型
:开展评核模型的质量,判断模型是否可用
精进模型
:倘若评核结果不理想,则需要对模型开展精进
运用模型
:倘若评核结果满足要求,则可运用模型于业务情境
资料挖掘常用的模型
定量预测模型:回归预测、时序预测等等
定性预测模型:推演回归、决策树、神经网络、支持向量机等等
市场细分:聚类、
RFM
、
PCA
等等
货品推荐:关联拆解、协同过滤等等
货品精进:回归、随机效用等等
货品定价:定价打法
/
最优定价等等
特征工程
/
特征选项
/
变量降维
基于变量本身特征
基于相关性判断
因子合并(
PCA
等等)
IV
值筛选(评分卡采用)
基于资讯增益判断(决策树采用)
模型评核
模型质量评核指标:
R
^2
,正确率
/
查全率
/
查准率
/
特异性等等
预测值评核指标:
MAD
、
MSE/RMSE
、
MAPE、概率等等
模型评核办法:留出法、
K
拆交叉验证、自助法等等
其它评核:过拟合评核、残差检验
模型精进
精进模型:选项新模型
/
修改模型
精进资料:新增显著自变量
精进公式:采用新的计算公式
集成思想:Bagging/Boosting/Stacking
常用预测模型引见
时序预测模型
回归预测模型
分类预测模型
影响因素拆解—根因拆解篇
问题:怎样选项合适的属性
/
特征来建模呢?选项的依据为何?比如价格是否可用于货品销量预测?
资料预处理
v
s特征工程
特征工程处理内容
变量变换
变量派生
变量精简(特征选项、因子合并)
类型转换
特征选项常用办法
相关拆解、方差拆解、卡方检验
相关拆解(衡量两资料型变量的线性相关性)
相关拆解简介
相关拆解的运用情境
相关拆解的种类
简单相关拆解
偏相关拆解
距离相关拆解
相关系数的三
种计算公式
P
earson相关系数
S
pearman相关系数
K
endall相关系数
相关拆解的假设检验
相关拆解的
四个基本步骤
上手:营销费用会影响销售额吗?影响程度怎样量化?
上手:
哪些因素和汽车销量有相关性
上手
:
影响用户消费水平的因素会有哪些
偏相关拆解
偏相关
原理:排除不可控因素后的两变量的相关性
偏相关
系数的计算公式
偏相关拆解的适用情境
距离相关拆解
方差拆解(衡量类别变量和数值变量间的相关性)
方差拆解的运用情境
方差拆解的三个种类
单因素方差拆解
多因素方差拆解
协方差拆解
单因素方差拆解的原理
方差拆解的
四个
步骤
解读方差拆解结果的两个要点
上手
:
摆放位置和销量有关吗
上手:买方学历对消费
水平
的影响拆解
上手
:
广告和价格是影响终端销量的要害因素吗
上手
:
营业员的性别、本领级别对货品销量有影响吗
上手:寻找影响货品销量的要害因素
多因素方差拆解原理
多因素方差拆解的作用
多因素方差结果的解读
上手:广告
形式、地区对
销量的
影响因素
拆解
协方差拆解原理
协方差拆解的适用情境
上手:排除货品价格,收入对销量有影响吗?
列联拆解
/
卡方检验(两类别变量的相关性拆解)
交叉表和列联表:计数值和期望值
卡方检验的原理
卡方检验的几个计算公式
列联表拆解的适用情境
实例:套餐类型对买方离职的影响拆解
实例:学历对业务套餐偏好的影响拆解
实例:业界
/
规模对风控的影响拆解
买方行为预测—分类模型篇
问题:
怎样评核买方购买货品的可能性?怎样预测买方的购买行为?怎样提取某类买方的典型特征?怎样向买方精准推荐货品或者业务?
分类模型概述以及其运用情境
常见分类预测模型
推演回归(
LR
)
推演回归的适用情境
推演回归的模型原理
推演回归分类的几何意义
推演回归的种类
二项推演回归
多项推演回归
怎样解读推演回归方程
带分类自变量的推演回归拆解
多项推演回归
/
多分类推演回归
实例
:
怎样评核用户是否会购买某货品
(二
项
推演
回归
)
实例
:
多品牌选项模型
拆解
(多项推演回归)
分类决策树(
DT
)
问题:怎样预测买方行为?怎样识别潜在买方?
风控:
怎样识别欠贷者的特征,以及预测欠贷概率?
买方保有:怎样识别离职买方特征,以及预测买方离职概率?
决策树分类简介
实例:美国零售商(
T
arget)怎样预测少女怀孕
上手:识别银行欠货隐患,提取欠贷者的特征
决策树分类的几何意义
构筑决策树的三个要害问题
怎样选项最佳属性来构筑节点
怎样分裂变量
修剪决策树
选项最优属性生长
熵、基尼索引、分类错误
属性划分增益
怎样分裂变量
多元划分和二元划分
连续变量离散化(最优分割点)
修剪决策树
剪枝要则
预剪枝和后剪枝
构筑决策树的四个算法
C5.0
、
CHAID
,
CART
、
QUEST
各种算法的比较
怎样选项最优分类模型?
实例
:
商场用户的典型特征提取
实例:买方离职预警和买方挽留
实例:识别拖欠银行货款者的特征,防止不良货款
实例:识别电信诈骗者嘴脸,让通信更安全
多分类决策树
实例:不同套餐用户的典型特征
决策树模型的保存和运用
人工神经网络(
ANN
)
神经网络概述
神经网络基本原理
神经网络的结构
神经网络分类的几何意义
神经网络的构筑步骤
神经网络的
要害问题
BP
反向传播网络(
MLP
)
径向基网络(
RBF
)
实例
:
评核银行用户拖欠货款的概率
判别拆解(
DA
)
判别拆解原理
判别拆解种类
F
isher线性判别拆解
实例:
MBA
学生录取判别拆解
实例:上市公司类别评核
最近邻分类(
KNN
)
KNN
模型的基本原理
KNN
分类的几何意义
K
近邻的
要害问题
支持向量机(
SVM
)
SVM
基本原理
线性可分问题:最大边界超平面
线性不可分问题:特征空间的转换
维
灾难
和核函数
贝叶斯分类(
NBN
)
贝叶斯分类原理
计算类别属性的条件概率
估计连续属性的条件概率
预测分类概率(计算概率)
拉普拉斯修正
实例
:
评核银行用户拖欠货款的概率
买方行为预测—模型评核篇
模型的评核指标
两大矩阵:混淆矩阵,实操中,代价矩阵
六大指标:
A
cc,P,R,Spec,F1,lift
三条曲线:
R
OC
曲线和
AUC
P
R
曲线和
BEP
KS
曲线和
KS
值
模型的评核办法
原始评核法
留出法(
H
old-Out
)
交叉验证法(
k
-fold
cross validation
)
自助采样法(
Bootstrapping
)
买方行为预测—集成精进篇
模型的精进思路
集成算法基本原理
单独构筑多个弱分类器
多个弱分类器
组合
投票
,落地时,
决定
预测结果
集成办法的种类
B
agging
B
oosting
S
tacking
B
agging集成
资料
/
属性重抽样
决策依据:少数服从多数
典型模型:随机森林
R
F
B
oosting集成
基于误分资料建模
样本选项权重更新公式
决策依据:加权投票
典型模型:
Ad
aBoost模型
银行买方信用卡模型
信用评分卡模型简介
评分卡的要害问题
信用评分卡构筑进程
筛选要害属性
资料集转化
构筑分类模型
计算属性分值
确定审批阈值
筛选要害属性
属性分段
基本概念:
WOE
、
IV
属性意义评核
资料集转化
连续属性最优分段
计算属性取值的
WOE
构筑分类模型
训练推演回归模型
评核模型
得到字段系数
计算属性分值
计算补偿和刻度值
计算各字段得分
生成评分卡
确定审批阈值
画
K
-
S
曲线
计算
K
-
S
值
获取最优阈值
实例
:
构筑银行小额贷款的用户信用模型
资料建模实战篇
电信业买方离职
预警和买方挽留
模型
实战
银行欠贷隐患预测模型实战
银行信用卡评分模型实战
结束:课程
收束
和
问题答疑
。
老师简介
Introduction to lecturers
弄懂更多
博闻智咨询|傅一航老师
适合谁听
隐患将控部、业务支撑、网络中心、IT系统部、资料拆解部等等对资料建模有较高要求的相关领域人员。。建议同一家企业 3 人以上同来,课堂上直接改造本企业的实际问题——单人参加也能学到方法,但带不走可用的成果。
交付流程
课前:顾问访谈 2 位管理者,收集现状与问题清单,讲师据此调整案例。课中:讲授与演练各占一半,产出可直接用的工具与方案。课后:7 天内提交改进建议,30 天内一次线上答疑。
