课程背景
本课为资料拆解和挖掘的抓手篇,本课面向资料拆解部等等专门负责资料拆解和挖掘的人士,专注海量资料挖掘抓手
SPSS
Statistics
的培训。
IBM
SPSS
抓手是面向非专精人士的高级的拆解抓手(挖掘抓手),它提供大量的拆解办法和拆解模型,能够破解更复杂的业务问题,比如影响因素拆解、买方行为预测
/
精准营销、买方群划分、货品交叉销售、货品销量预测等等等等。抓手它封装了复杂难懂的算法达成,即使你没有深厚的本领本领,也能够胜任复杂的资料拆解和挖掘。
课程收益
弄懂
海量资料
挖掘的准则进程和挖掘步骤
掌握常用的统计拆解办法,以及可视化
掌握常用的影响因素拆解办法,学会根因拆解
领会资料挖掘的常见模型,原理以及适用情境。
熟练掌握
SPSS
基本操作,能利用
SPSS
破解实际的商业问题。
课程大纲
资料挖掘准则流程
资料挖掘概述
资料
挖掘
的
准则流程
(CRISP-DM
)
商业领会
资料
准备
资料
领会
模型
构筑
模型
评核
模型
运用
实例:买方离职预测以及买方挽留
资料集概述
SPSS
抓手引见
资料挖掘常用模型
资料预处理
怎样整理资料,弄懂资料,对资料开展预处理?
资料预处理的四大差事
资料集成:多个资料集合并
资料清
洗
:异常值的处理
样本
处理:
样本
筛选,
样本抽样、样本平衡
变量处理:变量变换,变量派生、变量精简
资料集成
(资料集合并)
样本追加(添加资料行):横向合并
变量合并(添加变量列):纵向合并
资料
清洗
(
异常资料处理
)
取值范围限定
重复值处理
无效值
/
错误值处理
缺失值处理
离群值
/
极端值处理
资料质量评核
样本处理:行处理
样本筛选:指定条件筛选指定样本集(减少样本数量)
样本抽样:随机抽取部分样本集(减少样本数量)
样本平衡:正反样本比例均衡
变量处理:列处理
变量变换:原变量取值更新,比如准则化
变量派生:根据旧变量生成新的变量
变量精简:变量删除
/
降维,具体来看,减少变量个数
类型转换:资料类型的相互转换
变量精简
/
变量降维常用办法
常用降维办法
怎样确定降维后变量个数
特征选项:选项要害变量,剔除不要害变量
基于变量本身特征来选项属性
基于资料间的相关性来选项属性
利用
IV
值筛选
基于资讯增益来选项属性
因子合并:将多个变量开展合并
PCA
主成分拆解
判别拆解
类型转换
因子合并
/
主成分拆解
因子拆解的原因
因子个数选项要则
怎样解读因子含义
实例:提取影响电信买方离职的主成分拆解
资料探索性拆解
常用统计指标拆解
单变量:数值变量
/
分类变量
双变量:交叉拆解
/
相关性拆解
多变量:特征选项、因子拆解
上手:描述性拆解(频数、描述、探索、分类汇总)
资料可视化
资料可视化的要则
常用可视化抓手
常用可视化图形
柱状图,条形图、饼图、折线图、箱图、散点图等等
图形的表述以及适用情境
上手:各种图形
绘制
影响因素拆解
篇
营销问题:哪些因素是影响业务标的的要害要素?比如,货品在货架上的位置是否对销量有影响?价格和广告开销是怎样影响销量的?影响风控的要害因素有哪些?怎样判断?
影响因素拆解
的常见办法
相关拆解(衡量两资料型变量的线性相关性)
相关拆解简介
相关拆解的运用情境
相关拆解的种类
简单相关拆解
偏相关拆解
距离相关拆解
相关系数的三
种计算公式
P
earson相关系数
S
pearman相关系数
K
endall相关系数
相关拆解的假设检验
相关拆解的
四个基本步骤
上手:营销费用会影响销售额吗?影响程度怎样量化?
上手:
哪些因素和汽车销量有相关性
上手
:
影响用户消费水平的因素会有哪些
偏相关拆解
偏相关
原理:排除不可控因素后的两变量的相关性
偏相关
系数的计算公式
偏相关拆解的适用情境
距离相关拆解
方差拆解(衡量类别变量和数值变量间的相关性)
方差拆解的运用情境
方差拆解的三个种类
单因素方差拆解
多因素方差拆解
协方差拆解
单因素方差拆解的原理
方差拆解的
四个
步骤
解读方差拆解结果的两个要点
上手
:
摆放位置和销量有关吗
上手:买方学历对消费
水平
的影响拆解
上手
:
广告和价格是影响终端销量的要害因素吗
上手
:
营业员的性别、本领级别对货品销量有影响吗
上手:寻找影响货品销量的要害因素
多因素方差拆解原理
多因素方差拆解的作用
多因素方差结果的解读
上手:广告
形式、地区对
销量的
影响因素
拆解
协方差拆解原理
协方差拆解的适用情境
上手:排除货品价格,收入对销量有影响吗?
列联拆解
/
卡方检验(两类别变量的相关性拆解)
交叉表和列联表:计数值和期望值
卡方检验的原理
卡方检验的几个计算公式
列联表拆解的适用情境
实例:套餐类型对买方离职的影响拆解
实例:学历对业务套餐偏好的影响拆解
实例:业界
/
规模对风控的影响拆解
相关性拆解办法
收束
回归
预测模型
营销问题:
怎样预测未来的货品销量
/
销售额?倘若货品跟随季节性变动,该怎样预测?
回归拆解简介和原理
回归拆解的种类
一元回归
/
多元回归
线性回归
/
非线性回归
常用回归拆解办法
散点图
+
趋势线(一元)
线性回归抓手(多元线性)
规划求解抓手(非线性回归)
上手:散点图找营销费用和销售额的关系
线性回归拆解的五个步骤
上手
:营销
费用、办公费用和销售额的关系(线性回归)
线性回归方程的解读招数
定性描述:正相关
/
负相关
定量描述:自变量变化导致因变量的变化程度
回归预测模型评核
质量评核指标:判定系数
R
^2
怎样选项最佳回归模型
上手:怎样选项最佳的回归预测模型(一元曲线回归)
带分类自变量的回归预测
上手
:汽车季度销量预测
上手
:
工龄、性别和终端销量的关系
上手:怎样评核销售标的和资源最佳配置
回归模型精进
回归拆解的基本原理
三个基本概念:总变差、回归变差,剩余变差
方程的显著性检验:方程可用性
因素的显著性检验:因素可用性
方程拟合优度检验:质量好坏程度
领会准则误差含义:预测准确性?
回归模型精进措施:寻找最佳回归拟合线
怎样处理预测离群值(剔除离群值)
怎样剔除
不
显著因素(
剔除不显著因素
)
怎样开展非线性关系检验(增加非线性自变量)
怎样开展相互作用检验(增加相互作用自变量)
怎样开展多重共线性检验
(剔除共线性自变量)
上手:模型精进演示
好模型都是精进出来的
自定义回归模型
回归建模的本质
规划求解抓手简介
自定义回归模型
实例:怎样对客流量开展建模预测以及模型精进
回归季节预测模型模型
回归季节模型的原理以及运用情境
加法季节模型
乘法季节模型
模型解读
实例
:
美国航空旅客里程的季节性趋势拆解
新货品累计销量的
S
曲线
S
曲线模型的运用情境(最大累计销量以及销量增长的拐点)
珀尔曲线
龚铂兹曲线
实例
:
怎样预测货品的销售增长拐点,以及销量上限
上手:预测
I
Pad
货品的销量
回归模型质量评核
定量预测模型的评核
方程显著性评核
因素显著性评核
拟合优度的评核
估计准则误差评核
预测值准确度评核
模型拟合度评核
判定系数:
调整判定系数:
预测值准确度评核
平均绝对误差:
MAE
根都方差:
R
MSE
平均误差率:
MAPE
其它评核:残差检验,过拟合检验
时序预测模型
营销问题:像利率
/CPI
/GDP等等按照时序变化的指标怎样预测?当销量随季节周期变动时该怎样预测?
回归预测
v
s时序预测
因素分解思想
时序预测常用模型
趋势拟合
季节拟合
平均序列拟合
评核预测值的准确度指标:
MAD
、
RMSE
,
MAPE
移动平均(
MA
)
运用情境以及原理
移动平均种类
一次移动平均
二次移动平均
加权移动平均
移动平均比率法
移动平均要害问题
怎样选取最优参数N
怎样确定
最优权重系数
上手:平板电脑销量预测以及评核
上手:快销货品季节销量预测以及评核
指数平滑(
ES
)
运用情境以及原理
最优平滑系数的选取
要则
指数平滑种类
一次指数平滑
二次指数平滑(
Brown
线性,
Holt
线性、
Holt
指数、阻尼线性,阻尼指数)
三次指数平滑
上手:煤炭产量预测
上手:航空旅客量预测以及评核
温特斯季节预测模型
适用情境以及原理
H
olt-Winters加法
模型
H
olt-Winters
乘法模型
上手:
汽车销量预测以及评核
平稳序列模型(ARIMA)
序列的平稳性检验
平稳序列的拟合模型
AR
(p)自回归模型
MA(
q)移动模型
A
RMA(p,q)自回归移动模型
模型的识别和定阶
ACF
图
/
PACF图
最小资讯准则
序列平稳化处理
变量变换
k次差分
d
阶差分
A
RIMA(p,d,q)模型
上手:
上海
证券交易所
综合
指数收益率
序列拆解
上手:服装销售资料季节性趋势预测拆解
平稳序列的建模流程
分类预测模型篇
问题:
怎样评核买方购买货品的可能性?怎样预测买方的购买行为?怎样提取某类买方的典型特征?怎样向买方精准推荐货品或者业务?
分类模型概述以及其运用情境
常见分类预测模型
推演回归(
LR
)
推演回归的适用情境
推演回归的模型原理
推演回归分类的几何意义
推演回归的种类
二项推演回归
多项推演回归
怎样解读推演回归方程
带分类自变量的推演回归拆解
多项推演回归
/
多分类推演回归
实例
:
怎样评核用户是否会购买某货品
(二
项
推演
回归
)
实例
:
多品牌选项模型
拆解
(多项推演回归)
分类决策树(
DT
)
问题:怎样预测买方行为?怎样识别潜在买方?
风控:
怎样识别欠贷者的特征,以及预测欠贷概率?
买方保有:怎样识别离职买方特征,以及预测买方离职概率?
决策树分类简介
实例:美国零售商(
T
arget)怎样预测少女怀孕
上手:识别银行欠货隐患,提取欠贷者的特征
决策树分类的几何意义
构筑决策树的三个要害问题
怎样选项最佳属性来构筑节点
怎样分裂变量
修剪决策树
选项最优属性生长
熵、基尼索引、分类错误
属性划分增益
怎样分裂变量
多元划分和二元划分
连续变量离散化(最优分割点)
修剪决策树
剪枝要则
预剪枝和后剪枝
构筑决策树的四个算法
C5.0
、
CHAID
,
CART
、
QUEST
各种算法的比较
怎样选项最优分类模型?
实例
:
商场用户的典型特征提取
实例:买方离职预警和买方挽留
实例:识别拖欠银行货款者的特征,防止不良货款
实例:识别电信诈骗者嘴脸,让通信更安全
多分类决策树
实例:不同套餐用户的典型特征
决策树模型的保存和运用
人工神经网络(
ANN
)
神经网络概述
神经网络基本原理
神经网络的结构
神经网络分类的几何意义
神经网络的构筑步骤
神经网络的
要害问题
BP
反向传播网络(
MLP
)
径向基网络(
RBF
)
实例
:
评核银行用户拖欠货款的概率
判别拆解(
DA
)
判别拆解原理
判别拆解种类
F
isher线性判别拆解
实例:
MBA
学生录取判别拆解
实例:上市公司类别评核
最近邻分类(
KNN
)
KNN
模型的基本原理
KNN
分类的几何意义
K
近邻的
要害问题
市场细分模型
问题:我们的买方有几类?各类特征为何?怎样达成买方细分,开发符合细分市场的新货品?怎样提取买方特征,从而对货品开展市场定位?
市场细分的常用办法
有指导细分
无指导细分
聚类拆解
怎样更好的弄懂买方群体和市场细分?
怎样识别买方群体特征?
怎样确定买方要分成多少适当的类别?
聚类办法原理引见
聚类办法作用以及其适用情境
聚类拆解的种类
K
均值聚类
层次聚类
两步聚类
K
均值聚类(迅速聚类)
实例
:
移动三大品牌细分市情境适吗?
上手:宝洁公司怎样选项新货品试销区域?
上手
:
怎样自动评选出色员工?
上手
:中国各省份发达程度拆解
,让资料自动聚类
层次聚类(系统聚类):发现多个类别
R
型聚类和
Q
型聚类的区别
实例:中移动怎样达成买方细分以及营销打法
上手
:
中国省市经济演进情况拆解(
Q
型聚类)
上手:裁判评分的准则衡量,防止
“黑哨”(
R
型聚类)
两步聚类
买方细分和
PCA
拆解法
PCA
主成分拆解的原理
PCA
拆解法的适用情境
上手:利用
PCA
对汽车买方群开展细分
上手
:
怎样针对汽车买方群规划汽车
买方价值评核
营销问题:怎样评核买方的价值?不同的价值买方有何区别对待?
怎样评价买方生命周期的价值
贴现率和留存率
评核买方的真实价值
采用双向表衡量属性敏感度
变化的边际利润
实例
:
评核营销行为的合理性
RFM
模型(买方价值评核)
RFM
模型,更纵深弄懂你的买方价值
RFM
模型和市场打法
RFM
模型和活跃度拆解
上手:
“双
11
”淘宝商家怎样选项价值买方开展促销
上手:结合响应模型,宜家
IKE
达成最大化营销利润
实例:重购用户特征拆解
假设检验
参数
检验拆解
(样本
均值检验)
问题:怎样验证营销成效的有效性?
假设检验概述
单样本
T
检验
两独立样本
T
检验
两配对样本
T
检验
假设检验适用情境
电信业界
实例:电信营运商
ARPU
值评核拆解(单样本)
实例:营销活动前后拆解(两配对样本)
金融业界
实例
:
信用
卡消费
金额评核分
析
(单样本)
医疗业界
实例:吸烟和胆固醇升高的拆解(两独立样本)
实例
:
减肥
成效评核
(两配对样本)
非
参数检验拆解
(样本
分布检验)
问题:这些属性资料的分布情况怎样?怎样从资料分布中看出问题?
非
参数检验
概述
单样本检验
两独立样本检验
两相关样本检验
两配对样本检验
非参数
检验
适用
情境
实例
:
货品
合格率检验
(单样本
-
二项分布)
实例
:
训练
新办法
有效
性检验
(两配对样本
-
符号
/
秩检验
)
实例
:
促销
方式
成效
检验
(
多相关样本
-
Friedman
检验
)
实例
:
买方满意
度
差异
检验
(
多相关样本
-
Cochran Q
检验
)
结束:课程
收束
和
问题答疑
。
老师简介
Introduction to lecturers
弄懂更多
博闻智咨询|傅一航老师
适合谁听
市场部、业务支撑部、资料拆解部、营运拆解部等等对业务资料拆解有较高要求的相关人员。建议同一家企业 3 人以上同来,课堂上直接改造本企业的实际问题——单人参加也能学到方法,但带不走可用的成果。
交付流程
课前:顾问访谈 2 位管理者,收集现状与问题清单,讲师据此调整案例。课中:讲授与演练各占一半,产出可直接用的工具与方案。课后:7 天内提交改进建议,30 天内一次线上答疑。
