课程详情

华为大数据 专 家 认证HCIE-Big Data V2.0

课程介绍

本课程从Python编程,网络爬虫,数据分析,数据挖掘介绍，数据预处理，特征选择与降维，有监督学习，无监督学习，模型评估与优化，数据挖掘综合应用，Spark MLlib数据挖掘，Spark基于内存的分布式计算，华为云机器学习服务，大数据架构和大数据治理，大数据服务解决方案，大数据场景化解决方案（离线处理场景、实时检索场景、实时流计算场景），大数据挖掘。

学员基础

▶热爱编程事业，对编程有浓厚的兴趣

▶具备Big Data方向HCIA、HCIP的知识和技能

▶具备一定的编程基础

课程目标

▶掌握数据挖掘流程

▶特征选择与降维，有监督学习，无监督学习,模型评估与优化

▶数据挖掘综合应用

▶Spark MLlib 数据挖掘

▶华为云机器学习服务

▶大数据架构和大数据治理

课程内容

章节教学重点

第1天 上午

人工智能和数据挖掘

1. AI的社会认知；2. 人工智能技术的发展史；3. 人工智能技术的应用方向与应用场景；4. 人工智能的发展战略；5. 人工智能现有的问题；6. 人工智能的未来；7. 数据挖掘概述和流程；8. 数据，属性和度量；9. 数据挖掘开发工具；10. 数据挖掘学习路径

第1天 下午

Python编程基础

1. Python编程语言介绍及发展历程；2. Python语言的应用场景；3. Python开发环境搭建；4. 变量；5. 数据结构(列表,元组,字典,字符串)；6. 分支语句，循环语句；7. 函数

第2天 Python编程应用

1. 面向对象；2. 异常；3. 文件处理；4. 常见三方库；5. 正则表达式；6. 数据库；7. 网络爬虫

第3天 数据分析库

1. Numpy科学计算库；2. ndarray的创建、访问、常用属性；3. 矩阵的创建；4. 通用函数ufunc；5. 广播机制；6. Pandas数据预处理库；7. Series常用操作；8. DataFrame常用操作；9. 读写不同数据源；10. 数据过滤与转换；11. 时间序列操作；12. 分组与聚合；13. 透视与交叉表；14. Matplotlib数据可视化

第4天 网络爬虫

1. 初识爬虫：什么是爬虫、爬虫的工作流程；2. 获取内容：urllib、urllib3、requests等库的使用；3. HTML解析：正则表达式、beautifulsoup4；4. 数据保存：保存为文件、保存进数据库；5. selenium 框架

第5天 数学知识

1. 矩阵和线性代数；2. 行列式；3. 矩阵及其变换；4. 矩阵分解；5. 奇异值分解；6. 特征值分解；7. 线性变换；8. 向量空间；9. 概率论和数理统计；10. 随机事件及其概率；11. 随机变量及其分布；12. 随机向量及其分布；13. 随机变量的函数；14. 随机变量的数字特征；15. 大数定律与中心极限定理；16. 样本与抽样分布；17. 参数估计；18. 假设检验；19. 方差分析和回归分析；20. 信息熵与基尼系数；21. Z优化；22. 无约束Z优化问题；23. 梯度下降法；24. 约束Z优化问题；25. 拉格朗日乘子法

第6天  数据预处理

1. 数据抽取；2. 转换和加载；3. 数据抽取、转换和加载概述；4. 数据抽取；5. 数据转换；6. 数据加载；7. ETL 和 ELT 介绍；8. 数据清洗；9. 不均衡数据处理；10. 缺失值处理；11. 异常值处理；12. 特征处理；13. 特征缩放；14. 数值离散化；15. 特征编码；16. 时间数值转换

第7天  特征选择

1. 特征选择；2. 特征选择概述；3. Filter；4. Wrapper；5. Embedded；6. 其他方法和特征扩增；7. 降维；8. 降维导入；9. SVD；10. PCAu；11. LDA；12. LLE；13. Quiz ；14. 实验

第8天  有监督学习

1. 有监督学习的预备知识；2. 机器学习分类；3. 模型评估；4. 线性回归；5. 误差；6. 正规方程；7. 梯度下降；8. 正则化；9. KNN算法；10. 决策树；11. SVM算法；12. 线性回归；13. 逻辑回归算法；14. 集成算法

第9天 无监督学习

1. 无监督学习概述；2. 聚类算法；3. Apriori算法；4. FP-growth算法

第10天 数据挖掘综合应用

1. 数据挖掘的流程；2. 数据挖掘流程概述；3. 分析需求；4. 数据读取；5. 数据预处理；6. 特征工程；7. 特征选择；8. 模型选择；9. 模型评估；10. 综合应用的案例分析

第11天 Scala编程基础

1. Scala基础语法；2. 数据类型；3. 变量；4. 循环；5. 函数；6. 数组；7. 类和对象；8. 模式匹配；9. 文件读写

第12天 SparkMLib数据挖掘

1. Spark MLlib 基础入门；2. Spark MLlib 矩阵向量；3. Spark MLlib 基础统计分析；4. Spark MLlib 特征提取和转换；11. Spark MLlib 分类与回归；12. Spark MLlib 聚类与降维；13. Spark MLlib 关联规则与推荐算法；14. Spark MLlib 评估矩阵

第13天  华为机器学习服务MLS

1. 华为 MLS 服务介绍；2. 申请华为 MLS 服务；3. 创建华为 MLS 工作流；4. 典型算法的应用；5. 机器学习平台 FusionInsight Miner；6. 大数据架构概述；7. 大数据架构在大数据中的重要性；8. 大数据架构师所具备的能力；9. 如何构建大数据架构平台；10. 大数据业务层通用架构；11. 大数据治理概述；12. 大数据治理建设背景和目标；13. 企业数据规划及治理模型；14. 大数据治理案例

第14天 大数据挖掘综合实验

1. 数据挖掘背景；2. 银行客户精准画像案例；3. 提升信用卡安全案例；4. 城市环境质量分析挖掘案例

关于我们

1998年创建于北大燕园，是国内Z早的IT高级技术培训企业之一，总部北京，在上海、广州、深圳、天津、武汉、成都、重庆、济南、西安、石家庄、杭州、长沙、郑州等城市设立直营分部，拥有华为、红帽、微软、PMI、VMwareOracle、Citrix等30余家国际知 名厂商授权资质，提供面授、直播和录播三种学习交付方式，拥有专职讲师及技术专 家40余人，签约讲师数千名，是国内知 名的泛IT教育培训集团!20余年来，公司不断更新并持续增加泛IT专业培训课程，为岗前学员、个人和企业客户打造终身学习课程体系，现有200多门课程，覆盖虚拟化、操作系统、网络、安全、数据库、IT管理、软件开发等细分领域，每年开设上千个面授及直播班次，培训近2万名专业人才!经过20余年的奋斗成长，已成为全国营收过亿的泛IT培训服务商。未来公司仍将致力于为个人和企业客户提供—流的终身学习服务，为产业发展培养数字化人才，以教育培训满足人们终身学习的需求!