课程收益
熟稔常见的机器研习的算法。
掌握机器研习的算法原理，以及资料推导。
学会采用
Python
来达成机器研习算法，以及精进算法。
掌握
scikit-learn
扩展库来达成机器研习算法
。
课程大纲
机器研习基础
机器研习简介
机器研习的种类
督导研习
/
无督导研习
/
半督导研习
/
强化研习
批量研习和在线研习
基于实例和基于模型
机器研习的主要战挑
资料量不足
资料质量差
无关特征
过拟合
/
拟合不足
机器研习差事
督导：分类、回归
无督导：聚类、降维、关联规则
机器研习基本进程
机器研习常用库
回归算法达成
建模的本质，其实是一个最精进问题
回归模型的基础
基本概念：损失函数
线性回归常用算法
普通最小二乘法
OLS
梯度下降算法
牛顿法
/
拟牛顿法
最小二乘法
数学推导
OLS
存在的问题
过拟合破解办法：正则化
岭回归（
Ridge
）
套索回归
Lasso
ElasticNet
回归
各种算法的适用情境
超大规模资料集的回归模型：迭代算法
梯度概念
梯度下降
/
上升算法
批量梯度
B
GD
/
随机梯度
S
GD
/
小批量梯度
M
BGD
研习率的影响
早期停止法
梯度算法的要害问题
牛顿法
/
拟牛顿法
泰勒公式
(
Taylor)
牛顿法
(
Newton)
拟牛顿法
(
Quasi-Newton)的精进
DFP/BFGS/L-BFGS
算法比较
推演回归算法
推演回归基础
LR
的常用算法
最大似然估计法
梯度算法
牛顿法
最大似然估计法
似然函数
/
损失函数
数学推导
模型精进
迭代样本的随机选项
变化的研习率
推演回归
+
正则项
求解算法和惩罚项的关系
多元推演回归处理
ovo
ovr
优缺点比较
推演回归建模实战
实例
：
用
sklearn
库达成银行贷款违约预测
实例：订阅者用户的典型特征（二元推演回归）
实例：通信套餐的用户画像（多元推演回归）
决策树算法
决策树简介
上手：识别银行欠货隐患，提取欠贷者的特征
决策树的三个要害问题
最优属性选项
熵、基尼系数
资讯增益、资讯增益率
属性最佳划分
多元划分和二元划分
连续变量最优划分
决策树修剪
剪枝要则
预剪枝和后剪枝
构筑决策树的算法
ID
3
、
C
4.5
，
C5.0
CART
决策树的超参精进
决策树的解读
决策树建模进程
实例
：
商场酸奶购买用户特征提取
实例：买方离职预警和买方挽留
实例：识别拖欠银行货款者的特征，防止不良货款
实例：识别电信诈骗者嘴脸，让通信更安全
实例：电力窃漏用户自动识别
神经网络算法
神经网络简介（
ANN
）
神经元基本原理
加法器
激活函数
神经网络的结构
隐藏层数量
神经元个数
神经网络的构筑步骤
神经网络的
要害问题
BP
算法达成
MLP
多层神经网络
研习率的设置
实例
：
评核银行用户拖欠货款的概率
实例：神经网络预测货品销量
线性判别算法
判别拆解简介
判别拆解算法
中心和方差
类间散席
S
b
类内散席
S
w
特征值和特征向量
多分类
LDA
算法
算法实战
实例：
MBA
学生录取判别拆解
实例：上市公司类别评核
最近邻算法（
KNN
）
KNN
的基本原理
K
近邻的
要害问题
距离公式
投票制度
KNN
算法达成
Brute（蛮力计算）
Kd_tree
（
KD
树）
B
all_tre（球树）
算法比较
贝叶斯算法（
NBN
）
贝叶斯简介
贝叶斯分类原理
先验概率和后验概率
条件概率和类概率
常见贝叶斯网络
计算类别属性的条件概率
估计连续属性的条件概率
预测分类概率（计算概率）
拉普拉斯修正
实例
：
评核银行用户拖欠货款的概率
支持向量机算法（
SVM
）
支持向量机简介
适用情境
支持向量机原理
支持向量
最大边界超平面
线性不可分处理
松弛系数
非线性
SVM
分类
常用核函数
线性核函数
多项式核
高斯
RBF
核
核函数的选项要则
SMO
算法
模型集成精进篇
模型的精进思想
集成模型的轮廓
Bagging
Boosting
S
tacking
集成算法的要害进程
弱分类器怎样构筑
组合打法：
多个弱
研习器怎样形成强研习器
B
agging集成算法
资料
/
属性重抽样
决策依据：少数服从多数
随机森林
Ran
domForest
B
oosting集成算法
基于误分资料建模
样本选项权重更新
决策依据：加权投票
Ad
aBoost模型
G
BDT模型
XGB
oost模型
L
ightGBM模型
聚类拆解（买方细分）实战
聚类基本原理
K
均值聚类算法
K
均值算法
距离计算公式
闵可夫斯基距离
(Minkowski Distance)
曼哈顿距离
(Manhattan Distance)
欧氏距离
(Euclidean Distance)
切比雪夫距离
(Chebyshev Distance)
余弦距离
(Cosine)
Pearson
相似距离
马哈拉诺比斯距离（
Mahalanobis
）
汉明距离
(Hamming distance)
杰卡德相似系数
(Jaccard similarity coefficient)
相对熵（
K-L
距离）
K
均值算法的要害问题
初始中心的选取方式
最优
K
值的选取
聚类算法的评价办法
Elbow method
（手肘法）
Calinski-Harabasz Index
（
CH
准则法）
Silhouette Coefficient
（轮廓系数法）
Gap Statistic
（间隔统计量法）
Canopy
算法
算法实战
实例
：
采用
SKLearn
达成
K
均值聚类
关联规则算法
关联规则基本原理
常用关联规则算法
Apriori
算法
发现频繁集
生成关联规则
FP-Growth
算法
构筑
FP
树
提取规则
算法实战
实例
：
采用
apriori
库达成关联拆解
实例：中医证型关联规则挖掘
协同过滤算法
协同过滤基本原理
协同过滤的两各类型
基于用户的协同过滤
U
serCF
基于物品的协同过滤
I
temCF
相似度评核常用公式
UserCF算法达成
计算用户间的兴趣相似度
筛选前
K
个相似用户
合并相似用户购买过的物品集
剔除该用户已经购买过的货品，得到候选物品集
计算该用户对物品的喜欢程度，就一线经验说，物品集排序
优先推荐前
N
个物品
I
temCF算法达成
计算物品间的相似度
筛选前
K
个喜欢的物品
合并和前
K
个物品相似的前
L
个物品集
剔除该用户已经购买过的物品，就一线经验说，得到候选物品集
计算该用户到候选物品的喜爱程度，从实践看，物品排序
优先推荐前
N
个物品
关于冷启动问题
协同过滤算法比较
结束：课程
收束
和
问题答疑
。
老师简介
Introduction to lecturers
弄懂更多
珀菲特顾问|傅一航老师
适合谁听
IT系统部、海量资料系统开发部、海量资料建模等等IT技艺人员。。建议同一家企业 3 人以上同来，课堂上直接改造本企业的实际问题——单人参加也能学到方法，但带不走可用的成果。
交付流程
课前：顾问访谈 2 位管理者，收集现状与问题清单，讲师据此调整案例。课中：讲授与演练各占一半，产出可直接用的工具与方案。课后：7 天内提交改进建议，30 天内一次线上答疑。