南通科迅教育

大数据工程师简述

大数据工程师是在Linux系统下搭建Hadoop生态系统（cloudera是通 过大的输出者类似于Linux的红帽），把用户的交易或行为信息通 过HDFS（分布式文件系统）等存储用户数据文件，然后通 过Hbase（类似于NoSQL）等存储数据，再通 过Mapreduce（并行计算框架）等计算数据，然后通 过hiv或pig（数据分析平台）等分析数据，然后按照用户需要重现出数据的工程师。

【开始阶段课程（Java核心开发）】

■ 学习内容：Java核心内容。

■ 学习目标：掌握数据类型与运算符，数组、类与对象；掌握IO流与反射、多线程、JDBC。

■ 完成目标：Java多线程模拟多窗口售票，Java集合框架管理。

【第二阶段课程（Java企业级开发）】

■ 学习内容：JavaEE核心内容。

■ 学习目标：Mysql数据基础知识，Jdbc 基础概念和操作掌握HTML和CSS语法、Javascript核心语法。

■ 完成目标：京东电商网站项目、2048小游戏。

【第三阶段课程（Linux精讲）】

■ 学习内容：Linux命令、文件、配置，Shell、Awk、Sed。

■ 学习目标：搭建负载均衡、高可靠的服务器集群，可大网站并发访问量，保证服务不间断。

■ 完成目标：Linux环境搭建、shell脚本小游戏 贪吃蛇。

【第四阶段课程（Hadoop生态体系）】

■ 学习内容：HDFS、MapReduce、Hive、Sqoop、Oozie。

■ 学习目标：掌握HDFS原理、操作和应用开发，掌握分布式运算、Hive数据仓库原理及应用。

■ 完成目标：微博数据大数据分析、汽车销售大数据分析。

【第五阶段课程（Storm实时开发）】

■ 学习内容：Zookeeper、HBase、Storm实时数据。

■ 学习目标：掌握Storm程序的开发及底层原理，具备开发基于Storm的实时计算程序的能力。

■ 完成目标：实时处理新数据和更新数据库，处理密集查询并行搜索处理大集合的数据。

【第六阶段课程（Spark生态体系）】

■ 学习内容：Scala函数、Spark SQL、机器学习。

■ 学习目标：熟练使用Scala快速开发Spark大数据应用，挖掘出其中有价值的数据。

■ 完成目标：使用Spark处理离线数据、使用SparkStreaming完成实时计算。

【第七阶段课程（大数据项目实战）】

■ 学习内容：大型综合性大数据项目。

■ 学习目标：能够综合运用大数据知识进行非结构化数据开发、分析，能够开发大型项目。

■ 某大型网站日志分析，移动业务感知分析，实时检测车辆超速项目，实时非法网站检测项目。