大数据挖掘工具之SPSS Statistics入门与提高

第一部分：海量资料的核心理念

问题：海量资料的核心价值为何？海量资料是怎样用于业务决策？

1、海量资料时代：你缺的不是一堆办法，而是海量资料思路

2、海量资料是探索事物演进和变化规律的抓手

3、一切不以破解业务问题为导向的海量资料都是耍流氓

4、海量资料的核心本领

发现业务运行规律以及问题

探索业务未来演进趋势

5、从实例看海量资料的核心本质

用趋势图来探索货品销量规律

从谷歌的GFT货品探索用户诉求变化

从美国总统竞选看海量资料对选民行为开展拆解

从海量资料炒股看海量资料怎样探索因素的相关性

6、认识海量资料拆解

何为资料拆解

资料拆解的三大作用

常用拆解的三大类别

实例：喜欢赚“差价”的营业员（用资料管控来识别）

7、资料拆解需要什么样的本领

懂业务、懂管控、懂拆解、懂抓手、懂呈现

8、海量资料运用系统的四层结构

资料基础层、资料模型层、业务模型层、业务运用层

9、海量资料拆解的两大核心理念

10、海量资料拆解面临的常见问题

不知道拆解什么（拆解目的不明晰）

不知道怎样拆解（缺少拆解办法）

不知道收集什么样的资料（业务领会不足）

不知道下一步怎么做（不弄懂拆解进程）

看不懂资料表述的意思（资料解读本领差）

担心拆解不够周全（拆解思路不系统）

第二部分：资料挖掘准则流程

1、资料挖掘概述

2、资料挖掘的准则流程（CRISP-DM）

商业领会

资料准备

资料领会

模型构筑

模型评核

模型运用

实例：买方匹配度建模—找到你的准买方

实例：买方离职预测以及买方挽留

3、资料集概述

4、资料集的类型

5、资料集属性的类型

标称

序数

度量

6、资料质量三要素

准确性

完整性

一致性

第三部分：资料预处理进程

1、SPSS抓手简介

2、资料预处理的主要差事

资料集成：多个资料集的合并

资料清理：异常值的处理

资料处理：资料筛选、资料精简、资料平衡

变量处理：变量变换、变量派生、变量精简

资料归约：达成降维，防止维灾难

3、资料集成

外部资料读入：Txt/Excel/SPSS/Database

资料追加（添加资料）

变量合并（添加变量）

4、资料领会（异常资料处理）

取值范围限定

重复值处理

无效值/错误值处理

缺失值处理

离群值/极端值处理

资料质量评核

5、资料准备：资料处理

资料筛选：资料抽样/选项（减少样本数量）

资料精简：资料分段/离散化（减少变量的取值个数）

资料平衡：正反样本比例均衡

6、资料准备：变量处理

变量变换：原变量取值更新，比如准则化

变量派生：根据旧变量生成新的变量

变量精简：降维，落地时，减少变量个数

7、资料降维

常用降维的办法

怎样确定变量个数

特征选项：选项要害变量，剔除不要害的变量

从变量本身考虑

从输入变量和标的变量的相关性考虑

对输入变量开展合并

因子拆解（主成分拆解）

因子拆解的原理

因子个数怎样选项

怎样解读因子含义

实例：提取影响电信买方离职的主成分拆解

8、资料探索性拆解

常用统计指标拆解

单变量：数值变量/分类变量

双变量：交叉拆解/相关性拆解

多变量：特征选项、因子拆解

上手：描述性拆解（频数、描述、探索、分类汇总）

第四部分：资料可视化篇

1、资料可视化的要则

2、常用可视化抓手

3、常用可视化图形

柱状图，条形图、饼图、折线图、箱图、散点图等等

4、图形的表述以及适用情境

上手：各种图形绘制

第五部分：影响因素拆解篇

问题：怎样判断一个因素对另一个因素有影响？比如营销费用是否会影响销售额？货品价格是否会影响销量？货品的陈列位置是否会影响销量？

隐患将控的要害因素有哪些？怎样判断？

1、影响因素拆解的常见办法

2、相关拆解（衡量变量间的的相关性）

问题：这两个属性是否会相互影响？影响程度大吗？营销费用会影响销售额吗？

何为相关关系

相关系数：衡量相关程度的指标

相关系数的三个计算公式

相关拆解的假设检验

相关拆解的基本步骤

相关拆解运用情境

上手：体重和腰围的关系

上手：营销费用会影响销售额吗

上手：哪些因素和汽车销量有相关性

上手：通信费用和开通月数的相关拆解

实例：酒楼生意好坏和报纸销量的相关拆解

偏相关拆解

距离相关拆解

3、方差拆解

问题：哪些才是影响销量的要害因素？

方差拆解破解什么问题

方差拆解种类：单因素/双因素可重复/双因素无重复

方差拆解的运用情境

方差拆解的原理和步骤

怎样破解方差拆解结果

上手：终端摆放位置和终端销量有关吗？

上手：开通月数驿买方离职的影响拆解

上手：买方学历对消费水平的影响拆解

上手：广告和价格是影响终端销量的要害因素吗

上手：营业员的性别、本领级别货品销量有影响吗？

实例：2015年大学生工资和父母职业的关系

实例：医生洗手和婴儿存活率的关系

上手：寻找影响货品销量的要害因素

多因素方差拆解原理

多因素方差结果的解读

上手：广告形式、地区对销量的影响因素拆解（多因素）

协方差拆解原理

上手：饲料对生猪体重的影响拆解（协方差拆解）

4、列联拆解（两类别变量的相关性拆解）

交叉表和列联表

卡方检验的原理

卡方检验的几个计算公式

列联表拆解的适用情境

实例：套餐类型对买方离职的影响拆解

实例：学历对业务套餐偏好的影响拆解

实例：业界/规模对风控的影响拆解

第六部分：数值预测模型篇

问题：怎样预测货品的销量/销售金额？倘若货品跟随季节性变动，该怎样预测？新货品上市，倘若评核销量上限以及销售增速？

1、销量预测和市场预测——让你看得更远

2、回归预测/回归拆解

问题：怎样预测未来的销售量（定量拆解）？

回归拆解的基本原理和运用情境

回归拆解的种类（一元/多元、线性/曲线）

得到回归方程的几种常用办法

回归拆解的五个步骤和结果解读

回归预测结果评核（怎样评核预测质量，怎样选项最佳回归模型）

上手：散点图找推广费用和销售额的关系（一元线性回归）

上手：推广费用、办公费用和销售额的关系（多元线性回归）

上手：让你的营销费用预算更准确

上手：怎样选项最佳的回归预测模型（曲线回归）

带分类变量的回归预测

上手：汽车季度销量预测

上手：工龄、性别和终端销量的关系

上手：怎样评核销售标的和资源配置（营业厅）

3，时序预测

问题：随着时间变化，未来的销量变化趋势怎样？

时序拆解的运用情境（基于时间的变化规律）

移动平均MA的预测原理

指数平滑ES的预测原理

自回归移动平均ARIMA模型

怎样评核预测值的准确性？

实例：销售额的时序预测以及评核

上手：汽车销量预测以及评核

上手：电视机销量预测拆解

上手：上海证券交易所综合指数收益率序列拆解

上手：服装销售资料季节性趋势预测拆解

4、季节性预测模型

季节性回归模型的参数

常用季节性预测模型（相加、相乘）

实例：美国航空旅客里程的季节性趋势拆解

实例：货品销售季节性趋势预测拆解

5、新货品预测模型和S曲线

怎样评核销量增长的拐点

珀尔曲线和龚铂兹曲线

实例：怎样预测货品的销售增长拐点，以及销量上限

演戏：预测IPad货品的销量

6、自定义模型（怎样利用规划求解开展自定义模型）

实例：怎样对餐厅客流量开展建模以及模型精进

第七部分：回归模型精进篇

1、回归模型的基本原理

三个基本概念：总变差，回归变差、剩余变差

方程的显著性检验：是否能够做回归拆解？

拟合优度检验：回归模型的质量评核？

因素的显著性检验：自变量是否可用？

领会准则误差的含义：预测的准确性？

2、模型精进思路：寻找最佳回归拟合线

怎样处理异常资料（残差和异常值排除）

怎样剔除非显著因素（因素显著性检验）

怎样开展非线性关系检验

怎样开展相互作用检验

怎样开展多重共线性检验

怎样检验误差项

怎样判断模型过拟合

实例：模型精进实例

第八部分：分类预测模型篇

问题：怎样评核买方购买货品的可能性？怎样预测买方的购买行为？怎样提取某类买方的典型特征？怎样向买方精准推荐货品或者业务？

1、分类模型概述

2、常见分类预测模型

3、推演回归模型

推演回归模型原理以及适用情境

推演回归种类：二元/多元推演回归

怎样解读推演回归方程

实例：怎样评核用户是否会购买某货品（二元推演）

消费者品牌选项模型拆解

实例：品牌选项模型拆解，你的品牌适合哪些人群？（多元推演）

4、分类决策树

问题：怎样预测买方行为？怎样识别潜在买方？

风控：怎样识别欠贷者的特征，以及预测欠贷概率？

买方保有：怎样识别离职买方特征，以及预测买方离职概率？

决策树分类简介

怎样评核分类性能？

实例：美国零售商（Target）怎样预测少女怀孕

上手：识别银行欠货隐患，提取欠贷者的特征

构筑决策树的三个要害问题

怎样选项最佳属性来构筑节点

怎样分裂变量

修剪决策树

选项最优属性

熵、基尼索引、分类错误

属性划分增益

怎样分裂变量

多元划分和二元划分

连续变量离散化（最优划分点）

修剪决策树

剪枝要则

预剪枝和后剪枝

构筑决策树的四个算法

C5.0、CHAID，CART、QUEST

各种算法的比较

怎样选项最优分类模型？

实例：商场酸奶购买用户特征提取

实例：电信营运商买方离职预警和买方挽留

实例：识别拖欠银行货款者的特征，防止不良货款

实例：识别电信诈骗者嘴脸，让通信更安全

5，人工神经网络（ANN）

神经网络概述

神经网络基本原理

神经网络的结构

神经网络的构筑步骤

神经网络的要害问题

BP反向传播网络（MLP）

径向基网络（RBF）

实例：评核银行用户拖欠货款的概率

6、判别拆解

判别拆解原理

距离判别法

典型判别法

贝叶斯判别法

实例：MBA学生录取判别拆解

实例：上市公司类别评核

第九部分：市场细分模型篇

问题：我们的买方有几类？各类特征为何？怎样达成买方细分，开发符合细分市场的新货品？怎样提取买方特征，从而对货品开展市场定位？

1、市场细分的常用办法

有指导细分

无指导细分

2、聚类拆解

怎样更好的弄懂买方群体和市场细分？

怎样识别买方群体特征？

怎样确定买方要分成多少适当的类别？

聚类办法原理引见

聚类办法作用以及其适用情境

聚类拆解的种类

K均值聚类（迅速聚类）

实例：移动三大品牌细分市情境适吗？

上手：宝洁公司怎样选项新货品试销区域？

上手：怎样评选出色员工？

上手：中国各省份发达程度拆解，让资料自动聚类

层次聚类（系统聚类）：发现多个类别

R型聚类和Q型聚类的区别

实例：中移动怎样达成买方细分以及营销打法

上手：中国省市经济演进情况拆解（Q型聚类）

上手：裁判评分的准则衡量，防止“黑哨”（R型聚类）

两步聚类

3、主成分拆解PCA拆解

主成分拆解原理

主成分拆解基本步骤

主成分拆解结果解读

上手：PCA探索汽车购买者的细分市场

4、RFM模型买方细分轮廓

第十部分：买方价值评核

1、买方价值评核和RFM模型

问题：怎样评核买方的价值？怎样针对不同买方采取不同的营销打法？

RFM模型，更纵深弄懂你的买方价值

RFM的买方细分轮廓领会

RFM模型和市场打法

RFM模型和活跃度

上手：“双11”淘宝商家怎样选项买方开展促销

上手：结合响应模型，宜家IKE达成最大化营销利润

上手：重购用户特征拆解

第十一部分：假设检验篇

1、参数检验拆解（样本均值检验）

问题：怎样验证营销成效的有效性？

假设检验概述

单样本T检验

两独立样本T检验

两配对样本T检验

假设检验适用情境

电信业界

实例：电信营运商ARPU值评核拆解（单样本）

实例：营销活动前后拆解（两配对样本）

金融业界

实例：信用卡消费金额评核拆解（单样本）

医疗业界

实例：吸烟和胆固醇升高的拆解（两独立样本）

实例：减肥成效评核（两配对样本）

2、非参数检验拆解（样本分布检验）

问题：这些属性资料的分布情况怎样？怎样从资料分布中看出问题？

非参数检验概述

单样本检验

两独立样本检验

两相关样本检验

两配对样本检验

非参数检验适用情境

实例：货品合格率检验（单样本-二项分布）

实例：训练新办法有效性检验（两配对样本-符号/秩检验）

实例：促销方式成效检验(多相关样本-Friedman检验)

实例：买方满意度差异检验(多相关样本-Cochran Q检验)

第十二部分：实战-资料挖掘项目

实战1：买方离职预警和买方挽留之真实资料拆解实践

实战2：银行信用隐患拆解

结束：课程收束和问题答疑。

老师简介

Introduction to lecturers

弄懂更多

博闻智咨询|傅一航老师