温馨提示：课件下载建议您使用QQ、360、百度或IE浏览器，如果下载错误建议切换浏览器模式，下载问题也可以加管理员QQ：2313655587或微信号：13051501222 直接发送给您。

《大数据分析与数据挖掘综合能力提升实战》

 

主讲老师：傅一航（华为大数据专家）

授课对象：老板、营销总监、经理

企业类型：不限

企业大小：不限

时间安排：2023年2月10-11日

地点安排：杭州

参课费用：4200元/人  

人数限制：50

 

 

课程收益

1. 掌握数据建模的标准过程和步骤

2. 掌握数据建模的特征选择常用方法，学会寻找影响业务的关键要素

3. 掌握回归预测模型基本原理，学会解读回归方程的含义

4. 理解并掌握定量预测模型的评估指标的含义

 

 

 

 课程大纲  Outline

一、数据建模过程——建模步骤篇

1. 预测建模六步法

1) 选择模型：基于业务选择恰当的数据模型

2) 特征工程：选择对目标变量有显著影响的属性来建模

3) 训练模型：采用合适的算法对模型进行训练，寻找到最优参数

4) 评估模型：进行评估模型的质量，判断模型是否可用

5) 优化模型：如果评估结果不理想，则需要对模型进行优化

6) 应用模型：如果评估结果满足要求，则可应用模型于业务场景

2. 数据挖掘常用的模型

1) 定量预测模型：回归预测、时序预测等

2) 定性预测模型：逻辑回归、决策树、神经网络、支持向量机等

3) 市场细分：聚类、RFM、PCA等

4) 产品推荐：关联分析、协同过滤等

5) 产品优化：回归、随机效用等

6) 产品定价：定价策略/最优定价等

3. 特征工程/特征选择/变量降维

1) 基于变量本身特征

2) 基于相关性判断

3) 因子合并（PCA等）

4) IV值筛选（评分卡使用）

5) 基于信息增益判断（决策树使用）

4. 模型评估

1) 模型质量评估指标：R^2、正确率/查全率/查准率/特异性等

2) 预测值评估指标：MAD、MSE/RMSE、MAPE、概率等

3) 模型评估方法：留出法、K拆交叉验证、自助法等

4) 其它评估：过拟合评估、残差检验

5. 模型优化

1) 优化模型：选择新模型/修改模型

2) 优化数据：新增显著自变量

3) 优化公式：采用新的计算公式

4) 集成思想：Bagging/Boosting/Stacking

6. 常用预测模型介绍

1) 时序预测模型

2) 回归预测模型

3) 分类预测模型

 

二、影响因素分析——特征工程篇

1. 数据预处理VS特征工程

2. 特征选择常用方法

1) 相关分析、方差分析、卡方检验

3. 相关分析（衡量两数据型变量的线性相关性）

1) 相关分析简介

2) 相关分析的应用场景

3) 相关分析的种类

①　简单相关分析

②　偏相关分析

③　距离相关分析

4) 相关系数的三种计算公式

①　Pearson相关系数

②　Spearman相关系数

③　Kendall相关系数

5) 相关分析的假设检验

6) 相关分析的四个基本步骤

①　演练：营销费用会影响销售额吗？影响程度如何量化

②　演练：哪些因素与汽车销量有相关性

③　演练：影响用户消费水平的因素会有哪些

7) 偏相关分析

①　偏相关原理：排除不可控因素后的两变量的相关性

②　偏相关系数的计算公式

③　偏相关分析的适用场景

4. 方差分析（衡量类别变量与数值变量间的相关性）

1) 方差分析的应用场景

2) 方差分析的三个种类

①　单因素方差分析

②　多因素方差分析

③　协方差分析

3) 单因素方差分析的原理

4) 方差分析的四个步骤

5) 解读方差分析结果的两个要点

①　演练：摆放位置与销量有关吗

②　演练：客户学历对消费水平的影响分析

③　演练：广告和价格是影响终端销量的关键因素吗

④　演练：营业员的性别、技能级别对产品销量有影响吗

⑤　演练：寻找影响产品销量的关键因素

6) 多因素方差分析原理

7) 多因素方差分析的作用

8) 多因素方差结果的解读

①　演练：广告形式、地区对销量的影响因素分析

9) 协方差分析原理

10) 协方差分析的适用场景

①　演练：排除产品价格，收入对销量有影响吗

5. 列联分析/卡方检验（两类别变量的相关性分析）

1) 交叉表与列联表：计数值与期望值

2) 卡方检验的原理

3) 卡方检验的几个计算公式

4) 列联表分析的适用场景

①　案例：套餐类型对客户流失的影响分析

②　案例：学历对业务套餐偏好的影响分析

③　案例：行业/规模对风控的影响分析

 

三、定量预测模型—回归模型篇

1. 回归分析简介和原理

2. 回归分析的种类

1) 一元回归/多元回归

2) 线性回归/非线性回归

3. 常用回归分析方法

1) 散点图+趋势线（一元）

2) 线性回归工具（多元线性）

3) 规划求解工具（非线性回归）

4) 演练：散点图找营销费用与销售额的关系

4. 线性回归分析的五个步骤

1) 演练：营销费用、办公费用与销售额的关系（线性回归）

5. 线性回归方程的解读技巧

1) 定性描述：正相关/负相关

2) 定量描述：自变量变化导致因变量的变化程度

6. 回归预测模型评估

1) 质量评估指标：判定系数R^2

2) 如何选择最佳回归模型

3) 演练：如何选择最佳的回归预测模型（一元曲线回归）

7. 带分类自变量的回归预测

1) 演练：汽车季度销量预测

2) 演练：工龄、性别与终端销量的关系

3) 演练：如何评估销售目标与资源最佳配置

8. 自动筛选不显著因素（自变量）

 

四、定量预测模型—回归优化篇

1. 回归分析的基本原理

1) 三个基本概念：总变差、回归变差、剩余变差

2) 方程的显著性检验：方程可用性

3) 因素的显著性检验：因素可用性

4) 方程拟合优度检验：质量好坏程度

5) 理解标准误差含义：预测准确性

2. 回归模型优化措施：寻找最佳回归拟合线

1) 如何处理预测离群值（剔除离群值）

2) 如何剔除不显著因素（剔除不显著因素）

3) 如何进行非线性关系检验（增加非线性自变量）

4) 如何进行相互作用检验（增加相互作用自变量）

5) 如何进行多重共线性检验（剔除共线性自变量）

6) 演练：模型优化演示

3. 好模型都是优化出来的

 

五、定量预测模型—自定义回归篇

1. 回归建模的本质

2. 规划求解工具简介

3. 自定义回归模型

1) 案例：如何对客流量进行建模预测及模型优化

4. 回归季节预测模型模型

1) 回归季节模型的原理及应用场景

2) 加法季节模型

3) 乘法季节模型

4) 模型解读

5. 新产品累计销量的S曲线

1) S曲线模型的应用场景（最大累计销量及销量增长的拐点）

2) 珀尔曲线

3) 龚铂兹曲线

4) 案例：如何预测产品的销售增长拐点，以及销量上限

5) 演练：预测IPad产品的销量

 

六、定量预测模型—模型评估篇

1. 定量预测模型的评估

1) 方程显著性评估

2) 因素显著性评估

3) 拟合优度的评估

4) 估计标准误差评估

5) 预测值准确度评估

2. 模型拟合度评估

1) 判定系数：

2) 调整判定系数：

3. 预测值准确度评估

1) 平均绝对误差：MAE

2) 根均方差：RMSE

3) 平均误差率：MAPE

4. 其它评估：残差检验、过拟合检验

 

 

 

 

 

 

傅一航

华为大数据专家