课程大纲

**单元 已经到来的数字化社会——大数据价值展望

一、大数据已经在改变社会

1、生活在一个被算法垄断的社会

2、更加智能化的硬件和物联网

3、日益出格的数字化商业模式

4、社会文化、消费习惯的跃迁

5、工业化时代的终结

第二单元 大数据十大思维

一、大数据三大核心思维

1、分类：真与假；好与坏；高、中、低。不会分类，就不会思考

2、预测：输入变量，求得结果。代表了掌握规律的能力，生活是确定的

3、相关性：模糊、近似、有关，是一种简便的、粗略的全盘操控能力

提问思考： 关于“概率”的故事，给了我们怎么样的思考；数字和数据的区别在哪里

二、大数据七大创新性思维

1、主动找数据变为被动推荐

2、抽样数据变为全集数据

3、要求精确变为欢迎复杂

4、事后分析变为实时监控

5、人为分析变为机器学习

6、由流程为核心变为以数据为核心

7、由分类型产品变为个性化服务

8、由人与人连接变为人与机器连接

分组讨论：以组为单位，根据林海老师所讲的内容，结合自己日常工作、学习和生活中了解的内容，举一个案例，向大家分享大数据创新思维的应用场景

三、成为大数据领域人才的关键转型

1、拥抱变化和开放性的心态

2、培养系统性思维、建立架构意识

3、观察、收集、分析、推理的基本功

4、成年人的挖洞式学习模式

5、要感谢那个逼迫你学习的人

提问思考：你对大数据感兴趣的是什么？希望学习大数据达到什么样的目标

第三单元 大数据分析常用算法

一、大数据的内容和企业的关注点

1、大数据分析：价值创造工具，企业的重心

2、大数据存储：支撑平台

3、大数据计算：支撑工具

4、大数据产业：数据交易市场、API服务商

二、大数据分析五大初级算法

1、相关性分析：**入门、**常用、**刚需的分析方法

2、散点图分析：**被忽略的探索性分析方法

3、概览性分析：教科书上都不重视的全局总览的分析方法

4、回归分析：**容易理解的由x推导出y的方程式分析法

5、聚类分析：**粗暴的物以类聚人以群分的分析方法

实例演示：如何用大家都会用的Excel，运用这些初级算法，进行入门级别的数据分析

三、大数据分析六大中级算法

1、降维分析：数据太多，抓住主要数据的方法

2、决策树分析：**容易理解的决策分析

3、关联规则分析：貌似没有规模，却可以寻找一个规律

4、相似性分析：当前**热门的分析方法，如：人脸识别、指纹识别

5、可视化分析：河流图、风向图、热力图等各种别具一格的数据呈现方式

6、文本分析：从大量的文字中快速提取关键信息

实例演示：林海老师介绍用泰坦尼克号幸存者的数据，分析幸存者的特征，在白板上逐步推导，进行演示，找出这一事件中幸存者的生存概率

四、两大大数据高级算法

1、神经网络算法：**牛逼的模拟大脑的算法，如埃尔法狗围棋

2、支持向量机算法：实用性和准确性较强的一个机器学习算法

提问思考：机器学习和统计分析的区别，以及优势、未来发展的趋势

第四单元 大数据分析的工具与操作方法

一、大数据分析的主要工具

1、R语言。下载、安装、打开、helloworld示例

2、Python。下载、安装、打开、Hellowworld示例

二、大数据分析方法和步骤

1、数据获取（导入数据、爬取数据）

2、数据探索分析、概览分析

3、明确分析目的

4、选择x和y

5、对格式进行转换

6、选择模型（模型选择准则）

7、使用交叉验证规则，切分数据

8、用模型进行训练

9、分析模型预测结果

10、确定**优模型

11、使用和预测

12、报告和呈现

实例演示：以一份国际白银价格数据为例，林海老师详细演示分析过程，对白银的未来价格进行预测

三、数据分析中的常见问题

1、数据量

2、数据质量

3、归一化

4、过拟合

案例介绍：常见的数据分析陷阱和逻辑谬误

四、不同分析模型的比较

1、适用性，不同模型有不同的适用场景

2、经验性，根据项目经验，各个模型有差别

3、结果性，用结果来评价优劣

4、开放性，能看清内核，能修改完善**

5、可控性，运行结果文档，可以预期输出

案例分析：药品的研发过程和双盲测试法

第五单元 大数据创新的经典案例

一、互联网公司的经典案例

1、推荐算法：当当网评论的排序优化，激发了购买

2、个性化页面：淘宝的千人千面、个性化的产品介绍和价格、服务

3、自动撮合：基于位置的、基于价格、基于时间、基于供需

4、自动化流程：减少人工录入和操作

5、客户画像：更加洞察需求

6、活动预测：流量引导、资源规划

7、用户行为分析：分析现状，查找问题和改进

8、异常检测：文字、图片的异常侦测、识别

9、灰度策略：小部分用户进行试错

10、黑科技：无处不在的骚扰和隐私泄露

案例分析：大数据对竞技体育行业的影响

二、传统行业公司的大数据项目应用

1、中国电信运营商（中国移动、中国联通）的大数据实战

2、中国电力企业（国家电网、南方电网）的大数据实战

3、中国金融行业（银行、保险）的大数据实战

4、中国制造行业（美的）的大数据实战

讨论：如何看待大数据泡沫现象

第六单元 设计大数据解决方案

一、企业开展大数据工作的策略和建议

1、开始养数据，做好积累

2、业务闭环（付款闭环、绩效闭环）处理，提高数据质量

3、以客户、产品、项目、订单为中心进行数据编织

4、先统计，再挖掘

5、应用场景以业务的“事前规划、事中监控、事后总结”为主线

6、用数据说话，用数据决策，培养数据文化

7、培养业务研究型专家，对业务进行持续分析和改善

二、如何设计数据分析解决方案（模型：W-J-P-M-V-D）

1、What：问题是什么

2、Judgement：能用数据分析解决吗

3、Prerequisite：具备数据基础吗

4、ModelSelect：选择哪个模型

5、Visualization：怎么呈现结果

6、Design：设计流程，形成文档

三、林海老师带领学员，设计一个数据分析解决方案（题目：基于大数据的客户画像，需要被培训公司提供些背景材料，可以在**天培训时提供）

四、头脑风暴：以小组为单位，结合公司和所处行业的特点，基于目前的需求或存在的痛点，运用大数据分析技术，设计创新性解决方案，并对方案进行展示