课程介绍
课程目录
往期学员作品
课程介绍
课程目录
往期学员作品
课程详情
本课程系北风网内部收费课程,具体课程内容请查看北风官网
一、课程背景
Hadoop的前景:
随着云计算、大数据迅速发展,亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企 业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多,直接导致了这几年hadoop技术的薪水远高于JavaEE及 Android程序员。
Hadoop入门薪资已经达到了8K以上,工作1年可达到1.2W以上,具有2-3年工作经验的hadoop人才年薪可以达到30万—50万。
一般需要大数据处理的公司基本上都是大公司,所以学习hadoop技术也是进大公司的捷径!
二、课程内容简介
本课程分为三大部分:
第一部分为学习大数据的基础篇,主要包括:Java基础语法,Linux基础及数据库基础,以上这些内容为后继深入学习大数据技术打下坚实基础
第二部分为学习大数据的进阶篇,本部分全面深入地介绍了Hadoop 大数据技术所必须 的 Greenplum数据库,包括架构特性、部署、管理、开发和调优等及HBase、Hive、Pig、ZooKeeper、Chukwa等实战运用。另外还介绍了云计算的基础知识和Hadoop在云计算领域的运用,以及剖析了Hadoop在各个互联网巨头商业环境的运用。
第三部分为学习大数据的高阶实战篇 ,在第二部分的基础之上扩展加入了Hadoop 2.0架构、部署以及YARN,包括包括Spark、Storm和Tez等技术,MapReduce和HBase的高阶应用做深入的讲解和实战演练,包括Sqoop、Flume、Avro 、Mahout的Hadoop重要子项目的架构原理剖析,最后,
用Hadoop实现推荐系统的综合实战,涉及到MapReduce、Pig和Mahout的综合实战。
本课程基于《基于Greenplum Hadoop分布式平台的大数据解决方案》Hadoop部分的基础课程来进行扩展,主要内容分为以下四部分:
一、详细讲解了Hadoop 2.0架构、部署以及YARN,并讲解了运行在YARN上主要的计算框架,包括Spark、Storm和Tez
二、针对MapReduce和HBase的高阶应用做深入的讲解和实战演练。
三、讲解之前基础篇中未涉及的Hadoop重要子项目,包括Sqoop、Flume、Avro 、Mahout等
四、Hadoop实现推荐系统的综合实战,涉及到MapReduce、Pig和Mahout的综合实战
三、课程学习目标
3.1 技术目标
课程结束时,帮助学员实现如下目标:
1、全面掌握Hadoop2.0的架构原理和使用场景,并通过贯穿课程的项目进行实战
2、掌握YARN以及运行在YARN上的计算框架的原理及应用,包括Spark、Storm、Tez
3、深入的掌握MapReduce和HBase的高阶应用
4、全面掌握Hadoop的重要子项目的综合运用,包括Flume、Sqoop、HBase、Hive、Pig等,
5、掌握机器学习的基础以及使用Mahout运用各种算法解决实际的问题。
3.2 课程特色
注重实践:原理剖析,实践分享;让学员能快速全面地掌握Hadoop的高阶运用实战。
实战、实用、实际
1. 讲师有多年Hadoop实战经验;
2. 全面覆盖了Hadoop2.0的内容及重要子项目的应用
3. 课程涵盖最火热的YARN、Spark、Storm、Tez技术
4. 获得IT行业高薪职业发展能力。
四、课程亮点
1、高成低也就
既注重技术基础,手把手传授技术,通过实操实战的讲授过程让学员沉淀技术,打好牢固坚实的基础;另外,也不忘从行业、架构的高度,帮助大家扩宽视野,游刃有余。
五、课程针对人群
本课程适合于有一定java基础知识(至少能看得懂Java程序),对数据库和sql语句有一定了解,熟练使用linux系统的技术人员,特别适合于想换工作或寻求高薪职业的人士。
六、课程大纲(部分)
Hadoop 2.0
YARN资源管理系统
YARN支持的计算框架(Storm,Tez,Spark)
MapReduce多语言编程
MapReduce高阶实现
HBase编程实践及案例分析
Sqoop
Flume日志收集系统
Avro数据序列化系统
Mahout数据挖掘工具
Hadoop综合实战-文本挖掘项目