大数据建模与模型优化实战培训

资料建模流程

预测建模六步法

选项

模型：基于业务选项恰当的资料模型

特征工程：选项对标的变量有显著影响的属性来建模

训练模型

：采用合适的算法对模型开展训练，寻找到最优参数

评核模型

：开展评核模型的质量，判断模型是否可用

精进模型

：倘若评核结果不理想，则需要对模型开展精进

运用模型

：倘若评核结果满足要求，则可运用模型于业务情境

资料挖掘常用的模型

定量预测模型：回归预测、时序预测等等

定性预测模型：推演回归、决策树、神经网络、支持向量机等等

市场细分：聚类、

RFM

、

PCA

等等

货品推荐：关联拆解、协同过滤等等

货品精进：回归、随机效用等等

货品定价：定价打法

/

最优定价等等

特征工程

/

特征选项

/

变量降维

基于变量本身特征

基于相关性判断

因子合并（

PCA

等等）

IV

值筛选（评分卡采用）

基于资讯增益判断（决策树采用）

模型评核

模型质量评核指标：

R

^2

，正确率

/

查全率

/

查准率

/

特异性等等

预测值评核指标：

MAD

、

MSE/RMSE

、

MAPE、概率等等

模型评核办法：留出法、

K

拆交叉验证、自助法等等

其它评核：过拟合评核、残差检验

模型精进

精进模型：选项新模型

/

修改模型

精进资料：新增显著自变量

精进公式：采用新的计算公式

集成思想：Bagging/Boosting/Stacking

常用预测模型引见

时序预测模型

回归预测模型

分类预测模型

建模特征工程

问题：怎样选项合适的属性

/

特征来建模呢？选项的依据为何？比如价格是否可用于货品销量预测？

资料预处理

v

s特征工程

特征工程处理内容

变量变换

变量派生

变量精简（特征选项、因子合并）

类型转换

特征选项常用办法

相关拆解、方差拆解、卡方检验

相关拆解（衡量两资料型变量的线性相关性）

相关拆解简介

相关拆解的运用情境

相关拆解的种类

简单相关拆解

偏相关拆解

距离相关拆解

相关系数的三

种计算公式

P

earson相关系数

S

pearman相关系数

K

endall相关系数

相关拆解的假设检验

相关拆解的

四个基本步骤

上手：营销费用会影响销售额吗？影响程度怎样量化？

上手：

哪些因素和汽车销量有相关性

上手

：

影响用户消费水平的因素会有哪些

偏相关拆解

偏相关

原理：排除不可控因素后的两变量的相关性

偏相关

系数的计算公式

偏相关拆解的适用情境

距离相关拆解

方差拆解（衡量类别变量和数值变量间的相关性）

方差拆解的运用情境

方差拆解的三个种类

单因素方差拆解

多因素方差拆解

协方差拆解

单因素方差拆解的原理

方差拆解的

四个

步骤

解读方差拆解结果的两个要点

上手

：

摆放位置和销量有关吗

上手：买方学历对消费

水平

的影响拆解

上手

：

广告和价格是影响终端销量的要害因素吗

上手

：

营业员的性别、本领级别对货品销量有影响吗

上手：寻找影响货品销量的要害因素

多因素方差拆解原理

多因素方差拆解的作用

多因素方差结果的解读

上手：广告

形式、地区对

销量的

影响因素

拆解

协方差拆解原理

协方差拆解的适用情境

上手：排除货品价格，收入对销量有影响吗？

列联拆解

/

卡方检验（两类别变量的相关性拆解）

交叉表和列联表：计数值和期望值

卡方检验的原理

卡方检验的几个计算公式

列联表拆解的适用情境

实例：套餐类型对买方离职的影响拆解

实例：学历对业务套餐偏好的影响拆解

实例：业界

/

规模对风控的影响拆解

线性回归模型

营销问题：

怎样预测未来的货品销量

/

销售额？倘若货品跟随季节性变动，该怎样预测？

回归拆解简介和原理

回归拆解的种类

一元回归

/

多元回归

线性回归

/

非线性回归

常用回归拆解办法

散点图

+

趋势线（一元）

线性回归抓手（多元线性）

规划求解抓手（非线性回归）

上手：散点图找营销费用和销售额的关系

线性回归拆解的五个步骤

上手

：营销

费用、办公费用和销售额的关系（线性回归）

线性回归方程的解读招数

定性描述：正相关

/

负相关

定量描述：自变量变化导致因变量的变化程度

回归预测模型评核

质量评核指标：判定系数

R

^2

怎样选项最佳回归模型

上手：怎样选项最佳的回归预测模型（一元曲线回归）

带分类自变量的回归预测

上手

：汽车季度销量预测

上手

：

工龄、性别和终端销量的关系

上手：怎样评核销售标的和资源最佳配置

自动筛选不显著

因素（自变量）

回归模型精进

回归拆解的基本原理

三个基本概念：总变差、回归变差，剩余变差

方程的显著性检验：方程可用性

因素的显著性检验：因素可用性

方程拟合优度检验：质量好坏程度

领会准则误差含义：预测准确性？

回归模型精进措施：寻找最佳回归拟合线

怎样处理预测离群值（剔除离群值）

怎样剔除

不

显著因素（

剔除不显著因素

）

怎样开展非线性关系检验（增加非线性自变量）

怎样开展相互作用检验（增加相互作用自变量）

怎样开展多重共线性检验

（剔除共线性自变量）

上手：模型精进演示

好模型都是精进出来的

自定义回归模型

回归建模的本质

规划求解抓手简介

自定义回归模型

实例：怎样对客流量开展建模预测以及模型精进

回归季节预测模型模型

回归季节模型的原理以及运用情境

加法季节模型

乘法季节模型

模型解读

实例

：

美国航空旅客里程的季节性趋势拆解

新货品累计销量的

S

曲线

S

曲线模型的运用情境（最大累计销量以及销量增长的拐点）

珀尔曲线

龚铂兹曲线

实例

：

怎样预测货品的销售增长拐点，以及销量上限

上手：预测

I

Pad

货品的销量

定量模型评核

定量预测模型的评核

方程显著性评核

因素显著性评核

拟合优度的评核

估计准则误差评核

预测值准确度评核

模型拟合度评核

判定系数：

调整判定系数：

预测值准确度评核

平均绝对误差：

MAE

根都方差：

R

MSE

平均误差率：

MAPE

其它评核：残差检验、过拟合检验

时序预测模型

营销问题：像利率

/CPI

/GDP等等按照时序变化的指标怎样预测？当销量随季节周期变动时该怎样预测？

回归预测

v

s时序预测

因素分解思想

时序预测常用模型

趋势拟合

季节拟合

平均序列拟合

评核预测值的准确度指标：

MAD

、

RMSE

，

MAPE

移动平均（

MA

）

运用情境以及原理

移动平均种类

一次移动平均

二次移动平均

加权移动平均

移动平均比率法

移动平均要害问题

怎样选取最优参数N

怎样确定

最优权重系数

上手：平板电脑销量预测以及评核

上手：快销货品季节销量预测以及评核

指数平滑（

ES

）

运用情境以及原理

最优平滑系数的选取

要则

指数平滑种类

一次指数平滑

二次指数平滑（

Brown

线性，

Holt

线性、

Holt

指数、阻尼线性，阻尼指数）

三次指数平滑

上手：煤炭产量预测

上手：航空旅客量预测以及评核

温特斯季节预测模型

适用情境以及原理

H

olt-Winters加法

模型

H

olt-Winters

乘法模型

上手：

汽车销量预测以及评核

平稳序列模型（ARIMA）

序列的平稳性检验

平稳序列的拟合模型

AR

(p)自回归模型

MA(

q)移动模型

A

RMA(p,q)自回归移动模型

模型的识别和定阶

ACF

图

/

PACF图

最小资讯准则

序列平稳化处理

变量变换

k次差分

d

阶差分

A

RIMA(p,d,q)模型

上手：

上海

证券交易所

综合

指数收益率

序列拆解

上手：服装销售资料季节性趋势预测拆解

平稳序列的建模流程

分类预测模型

问题：

怎样评核买方购买货品的可能性？怎样预测买方的购买行为？怎样提取某类买方的典型特征？怎样向买方精准推荐货品或者业务？

分类模型概述以及其运用情境

常见分类预测模型

推演回归（

LR

）

推演回归的适用情境

推演回归的模型原理

推演回归分类的几何意义

推演回归的种类

二项推演回归

多项推演回归

怎样解读推演回归方程

带分类自变量的推演回归拆解

多项推演回归

/

多分类推演回归

实例

：

怎样评核用户是否会购买某货品

（二

项

推演

回归

）

实例

：

多品牌选项模型

拆解

（多项推演回归）

分类决策树（

DT

）

问题：怎样预测买方行为？怎样识别潜在买方？

风控：

怎样识别欠贷者的特征，以及预测欠贷概率？

买方保有：怎样识别离职买方特征，以及预测买方离职概率？

决策树分类简介

实例：美国零售商（

T

arget）怎样预测少女怀孕

上手：识别银行欠货隐患，提取欠贷者的特征

决策树分类的几何意义

构筑决策树的三个要害问题

怎样选项最佳属性来构筑节点

怎样分裂变量

修剪决策树

选项最优属性生长

熵、基尼索引、分类错误

属性划分增益

怎样分裂变量

多元划分和二元划分

连续变量离散化（最优分割点）

修剪决策树

剪枝要则

预剪枝和后剪枝

构筑决策树的四个算法

C5.0

、

CHAID

，

CART

、

QUEST

各种算法的比较

怎样选项最优分类模型？

实例

：

商场用户的典型特征提取

实例：买方离职预警和买方挽留

实例：识别拖欠银行货款者的特征，防止不良货款

实例：识别电信诈骗者嘴脸，让通信更安全

多分类决策树

实例：不同套餐用户的典型特征

决策树模型的保存和运用

人工神经网络（

ANN

）

神经网络概述

神经网络基本原理

神经网络的结构

神经网络分类的几何意义

神经网络的构筑步骤

神经网络的

要害问题

BP

反向传播网络（

MLP

）

径向基网络（

RBF

）

实例

：

评核银行用户拖欠货款的概率

判别拆解（

DA

）

判别拆解原理

判别拆解种类

F

isher线性判别拆解

实例：

MBA

学生录取判别拆解

实例：上市公司类别评核

最近邻分类（

KNN

）

KNN

模型的基本原理

KNN

分类的几何意义

K

近邻的

要害问题

支持向量机（

SVM

）

SVM

基本原理

线性可分问题：最大边界超平面

线性不可分问题：特征空间的转换

维

灾难

和核函数

贝叶斯分类（

NBN

）

贝叶斯分类原理

计算类别属性的条件概率

估计连续属性的条件概率

预测分类概率（计算概率）

拉普拉斯修正

实例

：

评核银行用户拖欠货款的概率

定性模型评核

模型的评核指标

两大矩阵：混淆矩阵，实操中，代价矩阵

六大指标：

A

cc,P,R,Spec,F1,lift

三条曲线：

R

OC

曲线和

AUC

P

R

曲线和

BEP

KS

曲线和

KS

值

模型的评核办法

原始评核法

留出法（

H

old-Out

）

交叉验证法（

k

-fold

cross validation

）

自助采样法（

Bootstrapping

）

模型集成精进

模型的精进思路

集成算法基本原理

单独构筑多个弱分类器

多个弱分类器

组合

投票

，往细里说，

决定

预测结果

集成办法的种类

B

agging

B

oosting

S

tacking

B

agging集成

资料

/

属性重抽样

决策依据：少数服从多数

典型模型：随机森林

R

F

B

oosting集成

基于误分资料建模

样本选项权重更新公式

决策依据：加权投票

典型模型：

Ad

aBoost模型

其它高级集成算法：

G

BDT

，运行层面，

XGB

oost等等

结束：课程

收束

和

问题答疑

。

老师简介

Introduction to lecturers

弄懂更多

博闻智咨询|傅一航老师