培训课程:
Hadoop 大数据工程师精英训练营
培训对象:
· 计算机相关专业本科以上学历或有一年以上软件开发经验的人员。
· 有一定的英语基础,能阅读简单的英文文档。
· 学习能力强,渴望从事云计算行业.
· 拥有Linux 基本相关知识
· 拥有SQL数据库相关知识
· 具备Java开发技能
· 熟练使用一门编程语言:如C++,Java
· 对计算机基础有一定了解:如网络、数据结构、数据库等.
课程介绍
目前Hadoop在很多企业应用越来越广泛,Hadoop人才也很稀缺和抢手,待遇也水涨船高。本系列课讲解目前主流的Hadoop版本Cloudera Hadoop 5(这里采用cdh5.1),该版本相比0.20.x,性能和稳定性上提高很多。CDH5环境搭建相比旧版本也复杂很多,但可以用Cloudera-Manager对集群进行管理和配置。CDH5默认集成了常用的所有组件如Hive、Sqoop、Hbase、Hue、Pig、Flume、Spark、Zookeeper等,从而形成一功能强大的分布式平台。
本课会分享一些本人所在团队研究的适用于企业级开发和应用的框架和工具,这些有效提高了开发效率,大大降低了维护成本,这些正是我们多年实战的结晶。
适合对象
· 具有Linux 和数据库操作技能,对Hadoop大数据处理感兴趣的IT人
· 计算机相关专业本科以上学历或有一年以上软件开发经验的人员。
· 有一定的英语基础,能阅读简单的英文文档。
· 学习能力强,渴望从事云计算行业.
· 拥有Linux 基本相关知识
· 拥有SQL数据库相关知识
· 具备Java开发技能
· 熟练使用一门编程语言:如C++,Java
· 对计算机基础有一定了解:如网络、数据结构、数据库等.
培训讲师:
长期企业应用 Hadoop 系统的资深培训讲师,具备美国 Cloudera 公司认证的Hadoop 管理员、开发员证书。
认证考试:
参加 Cloudera Certified Administrator for Apache Hadoop (CCAH)
课程大纲:
Hadoop安装配置 |
· Hadoop背景历史发展 · Hadoop基本原理和架构 · Cloudera Manager 介绍安装 · CDH5.1介绍 · CDH5.1安装 · CDH组件安装配置 · Cloudera Management Service介绍安装 · 安装CM · Hadoop监控组件介绍 · 如何监控Hadoop · 如何配置报警以及报警阀值 |
Hive,Impala实战解析 |
· Hive,Impala原理安装 · Hive原理 · Hive安装 · Impala原理 · Impala安装 · Hive元数据管理 · Hive数据表和数据存储 · Hive的Java扩展开发 · Hive UDF开发 · Hive JDBC/ODBC连接 · Hive适用场景和实战演练 |
Hbase 实战解析 |
· Hbase介绍及原理 · Hbase系统架构 · Hbase存储机制 · Hbase基本使用 · Hbase表设计思路和方案 · 利用Hive,Impala实现Hbase数据查询 · API访问 · Hbase业务使用场景 |
Python Web 开发 |
· Sqoop原理 · Sqoop架构 · Sqoop使用详解 · 使用Sqoop 实现MYSQL/Oracle与HDFS/Hive进行数据传输 · 开源ETL工具kettle与Sqoop比较 · Sqoop应用场景 |
Flume-Ng实战解析 |
· Flume-Ng原理 · Flume-Ng和老版本flume的架构上的区别 · Flume-Ng和其他开源实时收集系统的比较 · Flume-Ng的使用方法 · Flume-Ng收集数据到HDFS,Hbase · Flume-Ng应用场景 · Flume-Ng监控 |
Oozie任务调度系统使用介绍 |
· Oozie简介 · Oozie基本架构介绍 · Oozie-Workflow实战解析 · Oozie-Coordinator实战解析 · Oozie-Bundles实战解析 · Oozie调用Hive,Pig,Shell,Java,Stream等方法。 · Oozie任务监控报警 |
Hue集成开放平台使用介绍 | · Hue介绍 · Hue集成Hive,Impala介绍 · Hue 集成Oozie 图形化操作介绍 · Hue安装配置报警监控 |
Solr,Lily Hbase 实战解析 | · Solr Cloud和Lily Hbase实战解析 · 如何使用Lily 实时给Hbase创建索引收集数据到Solr · 如何使用Lily 给HDFS文件创建Solr索引 |
Spark实战解析 | · Spark简介 · Spark架构 · Spark和其他开源流处理Storm的区别 · Spark应用场景 |
附送:电商用户行为分析系统案例 | · 如何收集网站用户行为数据 · 收集的数据如何落入Hadoop · 如何处理业务逻辑来分析数据 |