软件开发

免费试听 快速找课

tel:18601716646

您当前的位置: 首页 > app必威体育 > 交大慧谷培训 > 上海软件开发培训 > 上海Hadoop培训

【上海cloudera hadoop hive 培训课程】

详询

市场价:¥详询

开课学校 交大慧谷培训

班制:周末班

上课(咨询)地址:

徐汇区乐山路

课程介绍Course Introduction

培训课程:Hadoop 大数据全能精英训练营

培训天数:32天

Red Hat Linux 7天  Hadoop 管理 3天 
Java 基础 4天  Hadoop 高级管理 4天
Java 编程 7天  Hadoop 开发 4天 
MongoDB 3天 


培训费用:18800元

上海大数据培训

培训对象:
· 计算机相关专业本科以上学历或有一年以上软件开发经验的人员。
· 有一定的英语基础,能阅读简单的英文文档。
· 学习能力强,渴望从事云计算行业.
· 拥有Linux 基本相关知识
· 拥有SQL数据库相关知识
· 具备Java开发技能(**)
· 熟练使用一门编程语言:如C ,Java(**是Java)
· 对计算机基础有一定了解:如网络、数据结构、数据库等.

课程介绍
目前Hadoop在很多企业应用越来越广泛,Hadoop人才也很稀缺和抢手,待遇也水涨船高。本系列课讲解目前主流的Hadoop版本Cloudera Hadoop 5(这里采用cdh5.1),该版本相比0.20.x,性能和稳定性上提高很多。CDH5环境搭建相比旧版本也复杂很多,但可以用Cloudera-Manager对集群进行管理和配置。CDH5默认集成了常用的所有组件如Hive、Sqoop、Hbase、Hue、Pig、Flume、Spark、Zookeeper等,从而形成一功能强大的分布式平台。

本课会分享一些本人所在团队研究的适用于企业级开发和应用的框架和工具,这些有效提高了开发效率,大大降低了维护成本,这些正是我们多年实战的结晶。

课程目标
· Cloudera Hadoop 安装配置
· Hadoop基本原理和理论知识
· Cloudera Manager 管理监控维护
· Hive Impala的基本使用以及自定义开发udf
· Hbase 基本使用方法以及实际项目中如何应用
· Flume如何实现实时数据的收集
· Oozie任务调度系统如何使用
· Solr Cloud如何在Hadoop上应用
· Hue集成平台的使用
· Hadoop Keyberos权限管理维护
· Lily Hbase indexer 介绍

适合对象
· 具有Linux 和数据库操作技能,对Hadoop大数据处理感兴趣的IT人
· 计算机相关专业本科以上学历或有一年以上软件开发经验的人员。
· 有一定的英语基础,能阅读简单的英文文档。
· 学习能力强,渴望从事云计算行业.
· 拥有Linux 基本相关知识
· 拥有SQL数据库相关知识
· 具备Java开发技能(**)
· 熟练使用一门编程语言:如C ,Java(**是Java)
· 对计算机基础有一定了解:如网络、数据结构、数据库等.

培训讲师:
长期企业应用 Hadoop 系统的资深培训讲师,具备美国 Cloudera 公司认证的Hadoop 管理员、开发员证书。

颁发证书
上海慧谷职业技能培训中心证书。

认证考试:
参加 Cloudera Certified Administrator for Apache Hadoop (CCAH)
考试可以获得对应的 CCAH 证书。认证考试费用:3000 元/人

Hadoop 管理培训大纲:

Hadoop安装配置
· Hadoop背景历史发展
· Hadoop基本原理和架构
· Cloudera Manager 介绍安装
· CDH5.1介绍
· CDH5.1安装
· CDH组件安装配置
· Cloudera Management Service介绍安装
· 安装CM
· Hadoop监控组件介绍
· 如何监控Hadoop
· 如何配置报警以及报警阀值

Hive,Impala实战解析
· Hive,Impala原理安装
· Hive原理
· Hive安装
· Impala原理
· Impala安装
· Hive元数据管理
· Hive数据表和数据存储
· Hive的Java扩展开发
· Hive UDF开发
· Hive JDBC/ODBC连接
· Hive适用场景和实战演练

Hbase 实战解析
· Hbase介绍及原理
· Hbase系统架构
· Hbase存储机制
· Hbase基本使用
· Hbase表设计思路和方案
· 利用Hive,Impala实现Hbase数据查询
· API访问
· Hbase业务使用场景

Hadoop 高级管理培训大纲:

Sqoop实战解析
· Sqoop原理
· Sqoop架构
· Sqoop使用详解
· 使用Sqoop 实现MYSQL/Oracle与HDFS/Hive进行数据传输
· 开源ETL工具kettle与Sqoop比较
· Sqoop应用场景

Flume-Ng实战解析
· Flume-Ng原理
· Flume-Ng和老版本flume的架构上的区别
· Flume-Ng和其他开源实时收集系统的比较
· Flume-Ng的使用方法
· Flume-Ng收集数据到HDFS,Hbase
· Flume-Ng应用场景
· Flume-Ng监控

Oozie任务调度系统使用介绍
· Oozie简介
· Oozie基本架构介绍
· Oozie-Workflow实战解析
· Oozie-Coordinator实战解析
· Oozie-Bundles实战解析
· Oozie调用Hive,Pig,Shell,Java,Stream等方法。
· Oozie任务监控报警

Hue集成开放平台使用介绍
· Hue介绍
· Hue集成Hive,Impala介绍
· Hue 集成Oozie 图形化操作介绍
· Hue安装配置报警监控

Solr,Lily Hbase 实战解析
· Solr Cloud和Lily Hbase实战解析
· 如何使用Lily 实时给Hbase创建索引收集数据到Solr
· 如何使用Lily 给HDFS文件创建Solr索引

Spark实战解析
· Spark简介
· Spark架构
· Spark和其他开源流处理Storm的区别
· Spark应用场景

附送:电商用户行为分析系统案例
· 如何收集网站用户行为数据
· 收集的数据如何落入Hadoop
· 如何处理业务逻辑来分析数据

Hadoop 开发培训大纲:

HDFS架构和原理,搭建CentOS开发环境
· Hadoop 背景
· HDFS设计目标,应用场景,架构分析
· 使用Virtual安装CentOS虚拟机
· 虚拟机环境配置

HDFS 单机和集群的配置安装
· Hadoop单机版安装和配置
· Hadoop集群安装和配置
· Hadoop命令行和WebUI的使用

HDFS应用-云存储系统
· 云存储系统介绍和基本架构
· 搭建Eclipse和Maven开发环境
· 使用Maven创建并配置Struts2应用
· 使用bootstrap搭建UI框架
· 安装和配置Redis
· 用户管理模块开发
· gson介绍和使用实例
· 实现普通的文件上传,删除,下载
· 实现基于HDFS的上传,下载和删除
· HDFS小文件管理方式:SequenceFile和Har

深入HDFS-NameNode和DataNode
· HDFS的架构介绍
· HDFS如何读写文件
· FSImage和EditLog
· Rack Awareness
· HDFS基本管理

深入HDFS-HDFS federation
· HDFS节点管理
· HDFS升级和回滚
· HDFS Federation
· 如何使用ViewFS

NameNode HA
· Zookeeper配置
· NameNode HA(双机)安装和配置

Yarn和MapReduce
· 配置Yarn(单机和集群)
· MapReduce的工作原理
· **个MapRedcue程序
· Yarn命令行工具

MapReduce应用-搜索提示
· 工作原理介绍(Ajax)
· 使用JQuery的AutoComplete控件搭建UI
· 继承MapReduce程序
· 使用Redis保存中间数据
· 如何对增量和全量数据进行统计
· ”潜在好友推荐“算法介绍

MapReduce的采样工具和Partition
· 采样和分区的工作原理
· Random Sampler, Input Sampler, Interval Sampler
· TotalOrderPartitioner(全局排序)

Map Join和Reduce Join
· Reduce side join
· Map side join
· 如何自定义数据类型
· 如何使用Distributed Cache

MapReduce应用-PageRank
· PageRank算法详细讲解
· 如何用MapReduce实现PageRank算法

Hive入门
· Hive的架构
· CLI, Hive Server, HWI介绍
· 配置Hive,使用Mysql存储元数据
· CLI的基本使用

hive应用-搜索提示
· Tomcat日志解析
· 使用正则表达式解析Tomcat日志
· 在查询中使用正则表达式
· 在hive查询中调用python脚本实现Redis插入

HQL
· HQL基础:DDL,DML
· 数据类型:原子与集合
· TextFile的默认编码及自定义编码
· Hive查询
· 正则表达式,基本函数,集合函数,表函数
· 嵌套查询,case when语句,like和rlike
· Groupby和Having等

Hive自定义函数
· 如何编写自定义函数
· 在自定义函数中连接Redis
· 在自定义函数中使用CacheFile

Compression in Hadoop
· Compression in Hadoop介绍
· 在MapReduce和Hive中使用Compression
· 安装和配置lzo

HBase入门
· HBase架构
· HBase集群安装
· 使用HBase Shell

HBase应用 - 话单查询
· Hbase Java API
· Struts2 and JSP
· Jquery Datatable and Datepicker

HBase应用 - 微博
· 表结构设计
· 关注好友
· 发微博
· 我的主页

Storm入门
· Storm架构及原理介绍
· 安装Storm
· 实现**个topology
· Storm的grouping

Queue spout和DRPC

storm应用 - 语音话单计费
· 搭建计费topology
· 实现Queue spout和Mysql入库bolt
· 实现漫游和长途类型计算
· 计费逻辑的实现
· 整合所有功能到topology中
· 各个功能模块的验证

 

上海Hadoop培训
上海Hadoop培训
上海Hadoop培训
上海Hadoop培训
上海Hadoop培训
上海Hadoop培训


    • 大数据
    • SPSS
    • SAS
    • MATLAB
    • Docker
    • MongoDB
    • OpenStack
    • 商业智能
    • Qlikview
    • Python
    • 自动化运维
    • 大数据安全


课程名称 培训机构 优惠价 报名
上海交大慧谷 ¥享优惠 咨询客服
上海交大慧谷 ¥享优惠 咨询客服
上海交大慧谷 ¥享优惠 咨询客服
上海交大慧谷 ¥享优惠 咨询客服
上海交大慧谷 ¥享优惠 咨询客服
上海交大慧谷 ¥享优惠 咨询客服
上海交大慧谷 ¥享优惠 咨询客服
上海交大慧谷 ¥享优惠 咨询客服


>>>>>>>

课程热线 18601716646

客服时间:早上9点~下午6点,其他时间请在线预约报名或留言,谢谢!

申请免费试听

学校介绍University Profile

上海慧谷职业技能培训中心,是正规教育局劳动局办学资格单位,连续多年获得徐汇区优秀办学机构荣誉。 实施科教兴市战略,加强自主创新与创业人才的培养,提升创新创业能力,增强市场竞争力和可持续发展的活力,是慧谷培训不断提高的目标和动力。

“慧谷培训”是沪上著名的培训教育品牌,多年来为各大企业客户和社会精英提供了专业服务。上海慧谷职业技能培训中心设立在慧谷高科技创业中心孵化基地内,位于徐家汇商贸中心,毗邻上海交通大学,交通便利,环境幽雅。慧谷培训拥有学术造诣深,实践经验丰富的师资队伍及良好的教学设施。慧谷培训面向社会提供人才培训服务和职业发展咨询服务。专业和职业发展规划为学员提供创业、就业、见习和职业发展机会。


慧谷培训中心将抓住机遇,严谨治学,勇攀高峰,努力办成一流的专业人才专修培训机构。

上海慧谷高科技创业中心成立于1999年5月,是由上海市科学技术委员会、徐汇区人民政府和上海交通大学联合创建的社会公益性服务机构,是上海交大科技园中的孵化器。慧谷高科技创业中心立足于为高科技企业技术创新提供全程服务,培育高科技企业和企业家,促进科技成果商品化、产业化、国际化。


选择交大慧谷专业美术设计课程,学员在学习知识的同时,积累了丰富的实战经验,获得了权 威的证书,找到了理想的工作!

校区地址:
  • 上海交大慧谷培训中心
    发送到手机

    校区地址:徐汇区乐山路33号

    交通路线:

上一个课程:

上海hadoop培训中心

下一个课程:

上海hadoop培训哪家好

申请试听名额

已有10254人申请免费试听

01电话咨询 | 18601716646

QQ:3659129182
加盟合作:0755-83654572
Baidu
map