2017年Hadoop入门到精通教程(经典)

1人 购买 好评度 - 收藏
  • hadoop
更多班级

hadoop

支持随到随学,22年05月过期

本班因教学质量问题暂时不能报名。 查看详情

课程因违反平台规定暂时不能报名。

立即报名

课程概述

课程目录

学员评论

老师介绍

  • 张长志

    张长志

    5年互联网经验,国内第一批Android开发人员之一,在Moto负责多个项目开发,受过北京多家培训机构的邀请,讲过Android基础知识和分享一些Android前沿技术。14年接触大数据,在公司主要用spark进行开发。工作年限java工作2年,android工作3年,现在做大数据开发工作,做个多个spark项目
  • 徐培成

    徐培成

    多年开发和教学经验,技术全才。十八掌教育创始人,精通Java,大数据,Python等编程语言和技术框架; 授课10年,被学生称为顶尖高手! 讲课特点: 全部干货,拒绝忽悠,拒绝废话,上来就干! 庖丁解牛,剥茧抽丝,行云流水,大彻大悟,让你听课听到兴奋!
简  介 Hadoop整套大数据课程的基石:其一,分布式文件系统HDFS用于存储海量数据,无论是Hive、HBase或者Spark数据存储在其上面;其二是分布式资源管理框架 YARN,是Hadoop 云操作系统(也称数据系统),管理集群资源和分布式数据处理框架MapReduce、Spark应用的资源调度与监控;分布式并行计算框架 目前是海量数据并行处理框架。
课程咨询请加QQ 2929018164​​​​

十八掌大数据课程体系图 

1.javase+mysql+jdbc-2.linux--3.Hadoop---4.Avro---5.ProtoBuf----6.Hive---7.HBase 
----8.flume---9.Kafka---10.Sqoop---11.pig---12.storm---13.scala---14.spark--15.mahout 
---16.R语言---17.elk-----18.FLink----19.Docker--20.电商项目---21.友盟项目 
基础入门课程 
1.java:https://ke.qq.com/course/199985#tuin=a8b0dc23 
2.linux:https://ke.qq.com/course/218011#tuin=a8b0dc23 
3.hadoop:https://ke.qq.com/course/224212#tuin=a8b0dc23 
中级课程 
4.Avro:  https://ke.qq.com/course/201554#tuin=a8b0dc23 
5.ProtoBuf https://ke.qq.com/course/201556#tuin=a8b0dc23 
6.flume https://ke.qq.com/course/203969#tuin=a8b0dc23 
9.Kafka https://ke.qq.com/course/203974#tuin=a8b0dc23 
10.Sqoop与Pig https://ke.qq.com/course/207192#tuin=a8b0dc23 
高级课程 
12.storm https://ke.qq.com/course/207193#tuin=a8b0dc23 
13scala  https://ke.qq.com/course/223181#tuin=a8b0dc23 
14.spark:https://ke.qq.com/course/212488#tuin=a8b0dc23 
15 mahout: https://ke.qq.com/course/212214#tuin=a8b0dc23 
16.R语言https://ke.qq.com/course/201919#tuin=a8b0dc23 
17.elk-https://ke.qq.com/course/203869#tuin=a8b0dc23 
18.FLink https://ke.qq.com/course/214776#tuin=a8b0dc23 
项目篇 
项目1:友盟数据平台大数据实战项目 
https://ke.qq.com/course/221501#tuin=a8b0dc23 
项目2:2017年大数据完整版教程之电商项目 
https://ke.qq.com/course/197619#tuin=a8b0dc23 
项目3:2017年互联网常用的大数据指标 
https://ke.qq.com/course/207394#tuin=a8b0dc23 
项目4:Spark从入门到实战(11天完整版) 
https://ke.qq.com/course/203704#tuin=a8b0dc23 

课程背景:

Hadoop整套大数据课程的基石:其一,分布式文件系统HDFS用于存储海量数据,无论是Hive、HBase或者Spark数据存储在其上面;其二是分布式资源管理框架 YARN,是Hadoop 云操作系统(也称数据系统),管理集群资源和分布式数据处理框架MapReduce、Spark应用的资源调度与监控;分布式并行计算框架 MapReduce目前是海量数据并行处理的一个最常用的框架。Hadoop 2.x的编译、环境搭建、HDFS Shell使用,YARN 集群资源管理与任务监控,MapReduce编 程,分布式集群的部署管理(包括高可用性HA)必须要掌握的。

目标人群:  

1、初级以上普通开发人员
2、有java基础的同学
3、对大数据感兴趣的同学 


课程目录:  

 市场很多培训公司只讲一下环境搭建,然后快速写一个demo,根本不会深入讲解,徐培成会通过16天课程全面分析,此课程保证全国最全,内容深入浅出的讲解原理和分布式架构,此课程分为四部分:
  • 第一部分:Hadoop介绍和环境搭建
听过大数据,必听过hadoop,此部分带领大家了解hadoop的用途,在大数据中的用途,以及快速搭建一个hadoop的实验环境,在本过程中不仅将用到前面的Linux知识,而且会对hadoop的架构有深入的理解,并为你以后架构大数据项目打下坚实基础。
  1. Hadoop生态环境介绍
  2. Hadoop云计算中的位置和关系
  3. 国内外Hadoop应用案例介绍
  4. Hadoop 概念、版本、历史
  5. Hadoop 核心组成介绍及hdfs、mapreduce 体系结构
  6. Hadoop独立模式安装和测试
  7. Hadoop 的集群结构
  8. Hadoop 伪分布的详细安装步骤
  9. 通过命令行和浏览器观察Hadoop
  10. Hadoop启动脚本分析
  11. Hadoop完全分布式环境搭建
  12. Hadoop安全模式、回收站介绍
  • 第二部分:HDFS体系结构和Shell以及Java操作
详细剖析HDFS,从知晓原理到开发网盘的项目让大家打好学习大数据的基础,大数据之于分布式,分布式学习从学习分布式文件系统(HDFS)开始。
  1. HDFS底层工作原理
  2. HDFSdatanode,namenode详解
  3. 单点故障(SPOF)和高可用(HA)
  4. 通过API访问HDFS
  5. 常用压缩算法介绍和安装使用
  6. Maven介绍和安装,eclipse中试用Maven,搭建Maven本地仓库
  • 第三部分:详细讲解Mapreduce
Mapreduce可以说是任何一家大数据公司都会用到的计算框架,也是每个大数据工程师应该熟练掌握的,此处的学习除了老师详细的讲解理论外,会通过大量的案例让大家彻底掌握。
  1. Mapreduce四个阶段介绍
  2. Job、Task介绍
  3. 默认工作机制
  4. 创建MR应用开发,获取年度的最高气温
  5. 在Windows上运行MR作业,
  6. Mapper、Reducer
  7. InputSplit和OutputSplit
  8. Shuffle:Sort,Partitioner,Group,Combiner
  9. 通过计数器调试程序
  10. 在Windows安装Hadoop
  11. 在eclipse安装hadoop插件,访问hadoop资源
  12. 在eclipse中编写ant脚本
  13. YARN调度框架事件分发机制
  14. 远程调试资源管理器
  15. Hadoop的底层google ProtoBuf的协议分析
  16. Hadoop底层IPC原理和RPC
  • 第四部分Hadoop高可用-HA
前面带领大家开发了大量的MapReduce程序,此部分将带来大家让开发的程序运行在分布式集群中,并且运行在健壮高可用的集群中。
  1. Hadoop2.x集群结构体系介绍
  2. Hadoop2.x集群搭建
  3. NameNode的高可用性(HA)
  4. HDFS Federation
  5. ResourceManager 的高可用性(HA)
  6. Hadoop集群常见问题和解决方法
  7. Hadoop集群管理
课程环境: 
   操作系统:Linux centos7
   java环境:jdk8
  hadoop环境:2.7.2
  机器的内存建议在4G及以上,没有4G也不影响课程,但使用起来系统相对慢些 


收获预期: 
 1、hadoop 的安装
 2、hadoop数据分析
 3、hadoop原理
 4、hadoop底层通信
 5、分布式架构设计


讲师介绍: 

  十八掌大数据掌门人徐培成,深入浅出的分析讲解,拒绝废话,IT十八掌教育旨在打造中国最具实力和穿透力的I大数据技术培训,坚决杜绝浮夸、吹嘘、焦躁、肤浅的行业乱象,让实战精神贯穿课程的始终,让学员在技术上成为真正的强者。本次大数据高薪培训班由IT十八掌强力打造,完全从实战角度出发,让同学们在实操中切实理解和掌握各项技术的真正原理和具体运用。我们为技术以及陷阱设计的场景极其简单但又超级典型, 有些我们使用的工具软件或操作技巧可能有95%从来没有见过 

课程截图: 






 

资料下载报名后支持下载

更多

* 课程提供者:IT十八掌

老师还为你推荐了以下几门课程