大数据模型与数据挖掘应用实战

第一部分：资料挖掘准则流程

1、资料挖掘概述

2、资料挖掘的准则流程（CRISP-DM）

商业领会

资料准备

资料领会

模型构筑

模型评核

模型运用

实例：通信买方离职拆解以及预警模型

3、资料建模示例

实例：宜家IKE怎样借助资料挖掘来降低营销成本拉升利润？

第二部分：资料预处理进程

1、资料挖掘处理的一般进程

资料源资料领会资料准备探索拆解资料建模模型评核

2、资料读入

读入文本文件

读入Excel电子表格

读入SPSS格式文件

读入资料库资料

3、资料集成

变量合并（增加变量）

资料追加（添加记录）

4、资料领会

取值范围限定

重复资料处理

缺失值处理

无效值处理

离群点和极端值的修正

资料质量评核

5、资料准备：资料处理

资料筛选：资料抽样/选项（减少样本数量）

资料精简：资料分段/离散化（减少变量的取值）

资料平衡：正反样本比例均衡

其它：排序、分类汇总

6、资料准备：变量处理

变量变换：原变量值更新

变量派生：生成新的变量

变量精简：降维，就一线经验说，减少变量个数

7、基本拆解

单变量：资料基本描述拆解

双变量：相关性拆解

变量精简：特征选项、因子拆解

8、特征选项

特征选项办法：选项要害变量，剔除不要害的变量

从变量本身考虑

从输入变量和标的变量的相关性考虑

9、因子拆解（主成分拆解）

因子拆解的原理

因子个数怎样选项

怎样解读因子含义

实例：提取影响电信买方离职的主成分拆解

第三部分：因素影响拆解（特征意义拆解）

问题：怎样判断一个因素对另一个因素有影响？

比如营销费用是否会影响销售额？货品价格是否会影响销量？货品的陈列位置是否会影响销量？

1、常用特征意义拆解的办法

特征选项（减少变量个数）：相关拆解、方差拆解、卡方检验

因子拆解（减少变量个数）：主成分拆解

确定变量个数参考表

2、相关拆解（数值+数值，在实际应用里，相关程度计算）

问题：这两个属性是否会相互影响？影响程度大吗？

相关拆解概述

相关系数计算公式

相关性假设检验

实例：通信基本费用和开通月数的相关拆解

3、方差拆解（分类+数值，影响因素拆解）

问题：哪些才是影响销量的要害因素？

方差拆解原理

方差拆解的步骤

方差拆解适用情境

实例：开通月数对买方离职的影响拆解

4、列联拆解（分类+分类，影响因素拆解）

列联表的原理

卡方检验的步骤

列联表拆解的适用情境

实例：套餐类型对对买方离职的影响拆解

第四部分：数值预测模型篇

问题：怎样预测货品的销量/销售金额？倘若货品跟随季节性变动，该怎样预测？新货品上市，倘若评核销量上限以及销售增速？

1、销量预测和市场预测——让你看得更远

2、回归预测/回归拆解

问题：怎样预测未来的销售量（定量拆解）？

回归拆解的基本原理和运用情境

回归拆解的种类（一元/多元、线性/曲线）

得到回归方程的几种常用办法

回归拆解的五个步骤和结果解读

回归预测结果评核（怎样评核预测质量，怎样选项最佳回归模型）

上手：散点图找推广费用和销售额的关系（一元线性回归）

上手：推广费用、办公费用和销售额的关系（多元线性回归）

上手：让你的营销费用预算更准确

上手：怎样选项最佳的回归预测模型（曲线回归）

带分类变量的回归预测

上手：汽车季度销量预测

上手：工龄、性别和终端销量的关系

上手：怎样评核销售标的和资源配置（营业厅）

3，时序预测

问题：随着时间变化，未来的销量变化趋势怎样？

时序拆解的运用情境（基于时间的变化规律）

移动平均MA的预测原理

指数平滑ES的预测原理

自回归移动平均ARIMA模型

怎样评核预测值的准确性？

实例：销售额的时序预测以及评核

上手：汽车销量预测以及评核

上手：电视机销量预测拆解

上手：上海证券交易所综合指数收益率序列拆解

上手：服装销售资料季节性趋势预测拆解

4，季节性预测模型

季节性回归模型的参数

常用季节性预测模型（相加、相乘）

实例：美国航空旅客里程的季节性趋势拆解

实例：货品销售季节性趋势预测拆解

5、新货品预测模型和S曲线

怎样评核销量增长的拐点

珀尔曲线和龚铂兹曲线

实例：怎样预测货品的销售增长拐点，以及销量上限

演戏：预测IPad货品的销量

6、自定义模型（怎样利用规划求解开展自定义模型）

实例：怎样对餐厅客流量开展建模以及模型精进

第五部分：回归模型精进篇

1，回归模型的基本原理

三个基本概念：总变差、回归变差，剩余变差

方程的显著性检验：是否能够做回归拆解？

拟合优度检验：回归模型的质量评核？

因素的显著性检验：自变量是否可用？

领会准则误差的含义：预测的准确性？

2、模型精进思路：寻找最佳回归拟合线

怎样处理异常资料（残差和异常值排除）

怎样剔除非显著因素（因素显著性检验）

怎样开展非线性关系检验

怎样开展相互作用检验

怎样开展多重共线性检验

怎样检验误差项

怎样判断模型过拟合

实例：模型精进实例

第六部分：分类预测模型

1、分类概述

分类的基本进程

常见分类预测模型

2、推演回归拆解模型

问题：倘若评核用户是否购买货品的概率？

推演回归拆解

推演回归的原理

实例：买方购买预测拆解（二元推演回归）

3、决策树分类

问题：怎样提取买方离职者、拖欠货款者的特征？怎样预测其离职的概率？

决策树分类的原理

决策树的三个要害问题

决策树算法

怎样评核分类模型的性能（查准率、查全率）

实例：识别银行欠货隐患，提取欠货者的特征

实例：买方离职预警和买方挽留模型

4、神经网络

神经网络概述

神经元事务原理

神经网络的构筑步骤

B-P反向传播网络（MLP）

径向基函数网络（RBF）

5，支持向量机

SVM基本原理

维灾难和核函数

6，朴素贝叶斯分类

条件概率

朴素贝叶斯

TAN贝叶斯网络

马尔科夫毯网络

第七部分：买方细分和聚类

1、买方细分常用办法

2、聚类拆解（Clustering）

问题：怎样对市场开展细分？怎样提取买方特征，从而对货品开展市场定位？

聚类办法原理引见

聚类办法适用情境

怎样细分买方群，并提取出买方群的特征？

K均值聚类（迅速聚类）

两步聚类

实例：移动三大品牌细分市情境适吗？

上手：宝洁公司怎样选项新货品试销区域？

3、RFM模型拆解

RFM模型，更纵深弄懂你的买方价值

RFM模型和市场打法

RFM模型和活跃度

实例：淘宝买方价值评核和促销名单

第八部分：货品推荐和关联拆解

问题：购买面包的人是否也会购买牛奶？他们同时购买哪些货品？

关联规则原理引见

关联规则适用情境：交叉销售、捆绑营销、货品布局

实例：超市商品交叉销售和布局精进（关联拆解）

结束：课程收束和问题答疑。

老师简介

Introduction to lecturers

弄懂更多

博闻智咨询|傅一航老师