课程介绍Course Introduction
上海Hadoop大数据全能精英训练营
培训课程:Hadoop大数据全能精英训练营
培训天数:32天
RedHatLinux7天 Hadoop管理3天
Java基础4天 Hadoop高级管理4天
Java编程7天 Hadoop开发4天
MongoDB3天
培训费用:18800元
上海大数据培训
培训对象:
·计算机相关专业本科以上学历或有一年以上软件开发经验的人员。
·有一定的英语基础,能阅读简单的英文文档。
·学习能力强,渴望从事云计算行业.
·拥有Linux基本相关知识
·拥有SQL数据库相关知识
·具备Java开发技能(**)
·熟练使用一门编程语言:如C,Java(**是Java)
·对计算机基础有一定了解:如网络、数据结构、数据库等.
课程介绍
目前Hadoop在很多企业应用越来越广泛,Hadoop人才也很稀缺和抢手,待遇也水涨船高。本系列课讲解目前主流的Hadoop版本ClouderaHadoop5(这里采用cdh5.1),该版本相比0.20.x,性能和稳定性上提高很多。CDH5环境搭建相比旧版本也复杂很多,但可以用Cloudera-Manager对集群进行管理和配置。CDH5默认集成了常用的所有组件如Hive、Sqoop、Hbase、Hue、Pig、Flume、Spark、Zookeeper等,从而形成一功能强大的分布式平台。
本课会分享一些本人所在团队研究的适用于企业级开发和应用的框架和工具,这些有效提高了开发效率,大大降低了维护成本,这些正是我们多年实战的结晶。
课程目标
·ClouderaHadoop安装配置
·Hadoop基本原理和理论知识
·ClouderaManager管理监控维护
·HiveImpala的基本使用以及自定义开发udf
·Hbase基本使用方法以及实际项目中如何应用
·Flume如何实现实时数据的收集
·Oozie任务调度系统如何使用
·SolrCloud如何在Hadoop上应用
·Hue集成平台的使用
·HadoopKeyberos权限管理维护
·LilyHbaseindexer介绍
适合对象
·具有Linux和数据库操作技能,对Hadoop大数据处理感兴趣的IT人
·计算机相关专业本科以上学历或有一年以上软件开发经验的人员。
·有一定的英语基础,能阅读简单的英文文档。
·学习能力强,渴望从事云计算行业.
·拥有Linux基本相关知识
·拥有SQL数据库相关知识
·具备Java开发技能(**)
·熟练使用一门编程语言:如C,Java(**是Java)
·对计算机基础有一定了解:如网络、数据结构、数据库等.
培训讲师:
长期企业应用Hadoop系统的资深培训讲师,具备美国Cloudera公司认证的Hadoop管理员、开发员证书。
颁发证书
上海慧谷职业技能培训中心证书。
认证考试:
参加ClouderaCertifiedAdministratorforApacheHadoop(CCAH)
考试可以获得对应的CCAH证书。认证考试费用:3000元/人
Hadoop管理培训大纲:
Hadoop安装配置
·Hadoop背景历史发展
·Hadoop基本原理和架构
·ClouderaManager介绍安装
·CDH5.1介绍
·CDH5.1安装
·CDH组件安装配置
·ClouderaManagementService介绍安装
·安装CM
·Hadoop监控组件介绍
·如何监控Hadoop
·如何配置报警以及报警阀值
Hive,Impala实战解析
·Hive,Impala原理安装
·Hive原理
·Hive安装
·Impala原理
·Impala安装
·Hive元数据管理
·Hive数据表和数据存储
·Hive的Java扩展开发
·HiveUDF开发
·HiveJDBC/ODBC连接
·Hive适用场景和实战演练
Hbase实战解析
·Hbase介绍及原理
·Hbase系统架构
·Hbase存储机制
·Hbase基本使用
·Hbase表设计思路和方案
·利用Hive,Impala实现Hbase数据查询
·API访问
·Hbase业务使用场景
Hadoop高级管理培训大纲:
Sqoop实战解析
·Sqoop原理
·Sqoop架构
·Sqoop使用详解
·使用Sqoop实现MYSQL/Oracle与HDFS/Hive进行数据传输
·开源ETL工具kettle与Sqoop比较
·Sqoop应用场景
Flume-Ng实战解析
·Flume-Ng原理
·Flume-Ng和老版本flume的架构上的区别
·Flume-Ng和其他开源实时收集系统的比较
·Flume-Ng的使用方法
·Flume-Ng收集数据到HDFS,Hbase
·Flume-Ng应用场景
·Flume-Ng监控
Oozie任务调度系统使用介绍
·Oozie简介
·Oozie基本架构介绍
·Oozie-Workflow实战解析
·Oozie-Coordinator实战解析
·Oozie-Bundles实战解析
·Oozie调用Hive,Pig,Shell,Java,Stream等方法。
·Oozie任务监控报警
Hue集成开放平台使用介绍
·Hue介绍
·Hue集成Hive,Impala介绍
·Hue集成Oozie图形化操作介绍
·Hue安装配置报警监控
Solr,LilyHbase实战解析
·SolrCloud和LilyHbase实战解析
·如何使用Lily实时给Hbase创建索引收集数据到Solr
·如何使用Lily给HDFS文件创建Solr索引
Spark实战解析
·Spark简介
·Spark架构
·Spark和其他开源流处理Storm的区别
·Spark应用场景
附送:电商用户行为分析系统案例
·如何收集网站用户行为数据
·收集的数据如何落入Hadoop
·如何处理业务逻辑来分析数据
Hadoop开发培训大纲:
HDFS架构和原理,搭建CentOS开发环境
·Hadoop背景
·HDFS设计目标,应用场景,架构分析
·使用Virtual安装CentOS虚拟机
·虚拟机环境配置
HDFS单机和集群的配置安装
·Hadoop单机版安装和配置
·Hadoop集群安装和配置
·Hadoop命令行和WebUI的使用
HDFS应用-云存储系统
·云存储系统介绍和基本架构
·搭建Eclipse和Maven开发环境
·使用Maven创建并配置Struts2应用
·使用bootstrap搭建UI框架
·安装和配置Redis
·用户管理模块开发
·gson介绍和使用实例
·实现普通的文件上传,删除,下载
·实现基于HDFS的上传,下载和删除
·HDFS小文件管理方式:SequenceFile和Har
深入HDFS-NameNode和DataNode
·HDFS的架构介绍
·HDFS如何读写文件
·FSImage和EditLog
·RackAwareness
·HDFS基本管理
深入HDFS-HDFSfederation
·HDFS节点管理
·HDFS升级和回滚
·HDFSFederation
·如何使用ViewFS
NameNodeHA
·Zookeeper配置
·NameNodeHA(双机)安装和配置
Yarn和MapReduce
·配置Yarn(单机和集群)
·MapReduce的工作原理
·**个MapRedcue程序
·Yarn命令行工具
MapReduce应用-搜索提示
·工作原理介绍(Ajax)
·使用JQuery的AutoComplete控件搭建UI
·继承MapReduce程序
·使用Redis保存中间数据
·如何对增量和全量数据进行统计
·”潜在好友推荐“算法介绍
MapReduce的采样工具和Partition
·采样和分区的工作原理
·RandomSampler,InputSampler,IntervalSampler
·TotalOrderPartitioner(全局排序)
MapJoin和ReduceJoin
·Reducesidejoin
·Mapsidejoin
·如何自定义数据类型
·如何使用DistributedCache
MapReduce应用-PageRank
·PageRank算法详细讲解
·如何用MapReduce实现PageRank算法
Hive入门
·Hive的架构
·CLI,HiveServer,HWI介绍
·配置Hive,使用Mysql存储元数据
·CLI的基本使用
hive应用-搜索提示
·Tomcat日志解析
·使用正则表达式解析Tomcat日志
·在查询中使用正则表达式
·在hive查询中调用python脚本实现Redis插入
HQL
·HQL基础:DDL,DML
·数据类型:原子与集合
·TextFile的默认编码及自定义编码
·Hive查询
·正则表达式,基本函数,集合函数,表函数
·嵌套查询,casewhen语句,like和rlike
·Groupby和Having等
Hive自定义函数
·如何编写自定义函数
·在自定义函数中连接Redis
·在自定义函数中使用CacheFile
CompressioninHadoop
·CompressioninHadoop介绍
·在MapReduce和Hive中使用Compression
·安装和配置lzo
HBase入门
·HBase架构
·HBase集群安装
·使用HBaseShell
HBase应用-话单查询
·HbaseJavaAPI
·Struts2andJSP
·JqueryDatatableandDatepicker
HBase应用-微博
·表结构设计
·关注好友
·发微博
·我的主页
Storm入门
·Storm架构及原理介绍
·安装Storm
·实现**个topology
·Storm的grouping
Queuespout和DRPC
storm应用-语音话单计费
·搭建计费topology
·实现Queuespout和Mysql入库bolt
·实现漫游和长途类型计算
·计费逻辑的实现
·整合所有功能到topology中
·各个功能模块的验证
上海Hadoop培训 上海Hadoop培训
上海Hadoop培训 上海Hadoop培训
上海Hadoop培训 上海Hadoop培训
大数据
SPSS
SAS
MATLAB
Docker
MongoDB
OpenStack
商业智能
Qlikview
Python
自动化运维
大数据安全
|
|
|
|
|
|
|
|
|
|
---|---|---|---|
优惠价 | 报名 | ||
上海交大慧谷 | ¥享优惠 | 咨询客服 | |
上海交大慧谷 | ¥享优惠 | 咨询客服 | |
上海交大慧谷 | ¥享优惠 | 咨询客服 | |
上海交大慧谷 | ¥享优惠 | 咨询客服 | |
上海交大慧谷 | ¥享优惠 | 咨询客服 | |
上海交大慧谷 | ¥享优惠 | 咨询客服 | |
上海交大慧谷 | ¥享优惠 | 咨询客服 |
学校介绍University Profile
上海慧谷职业技能培训中心,是正规教育局劳动局办学资格单位,连续多年获得徐汇区优秀办学机构荣誉。 实施科教兴市战略,加强自主创新与创业人才的培养,提升创新创业能力,增强市场竞争力和可持续发展的活力,是慧谷培训不断提高的目标和动力。
“慧谷培训”是沪上著名的培训教育品牌,多年来为各大企业客户和社会精英提供了专业服务。上海慧谷职业技能培训中心设立在慧谷高科技创业中心孵化基地内,位于徐家汇商贸中心,毗邻上海交通大学,交通便利,环境幽雅。慧谷培训拥有学术造诣深,实践经验丰富的师资队伍及良好的教学设施。慧谷培训面向社会提供人才培训服务和职业发展咨询服务。专业和职业发展规划为学员提供创业、就业、见习和职业发展机会。
慧谷培训中心将抓住机遇,严谨治学,勇攀高峰,努力办成一流的专业人才专修培训机构。
上海慧谷高科技创业中心成立于1999年5月,是由上海市科学技术委员会、徐汇区人民政府和上海交通大学联合创建的社会公益性服务机构,是上海交大科技园中的孵化器。慧谷高科技创业中心立足于为高科技企业技术创新提供全程服务,培育高科技企业和企业家,促进科技成果商品化、产业化、国际化。
选择交大慧谷专业美术设计课程,学员在学习知识的同时,积累了丰富的实战经验,获得了权 威的证书,找到了理想的工作!