十八掌大数据课程体系图
1.javase+mysql+jdbc-2.linux--3.Hadoop---4.Avro---5.ProtoBuf----6.Hive---7.HBase
----8.flume---9.Kafka---10.Sqoop---11.pig---12.storm---13.scala---14.spark--15.mahout
---16.R语言---17.elk-----18.FLink----19.Docker--20.电商项目---21.友盟项目
基础入门课程
1.java:https://ke.qq.com/course/199985#tuin=a8b0dc23
2.linux:https://ke.qq.com/course/218011#tuin=a8b0dc23
3.hadoop:https://ke.qq.com/course/224212#tuin=a8b0dc23
中级课程
4.Avro: https://ke.qq.com/course/201554#tuin=a8b0dc23
5.ProtoBuf https://ke.qq.com/course/201556#tuin=a8b0dc23
6.flume https://ke.qq.com/course/203969#tuin=a8b0dc23
9.Kafka https://ke.qq.com/course/203974#tuin=a8b0dc23
10.Sqoop与Pig https://ke.qq.com/course/207192#tuin=a8b0dc23
高级课程
12.storm https://ke.qq.com/course/207193#tuin=a8b0dc23
13scala https://ke.qq.com/course/223181#tuin=a8b0dc23
14.spark:https://ke.qq.com/course/212488#tuin=a8b0dc23
15 mahout: https://ke.qq.com/course/212214#tuin=a8b0dc23
16.R语言https://ke.qq.com/course/201919#tuin=a8b0dc23
17.elk-https://ke.qq.com/course/203869#tuin=a8b0dc23
18.FLink https://ke.qq.com/course/214776#tuin=a8b0dc23
项目篇
项目1:友盟数据平台大数据实战项目
https://ke.qq.com/course/221501#tuin=a8b0dc23
项目2:2017年大数据完整版教程之电商项目
https://ke.qq.com/course/197619#tuin=a8b0dc23
项目3:2017年互联网常用的大数据指标
https://ke.qq.com/course/207394#tuin=a8b0dc23
项目4:Spark从入门到实战(11天完整版)
https://ke.qq.com/course/203704#tuin=a8b0dc23
课程背景:
Hadoop整套大数据课程的基石:其一,分布式文件系统HDFS用于存储海量数据,无论是Hive、HBase或者Spark数据存储在其上面;其二是分布式资源管理框架 YARN,是Hadoop 云操作系统(也称数据系统),管理集群资源和分布式数据处理框架MapReduce、Spark应用的资源调度与监控;分布式并行计算框架 MapReduce目前是海量数据并行处理的一个最常用的框架。Hadoop 2.x的编译、环境搭建、HDFS Shell使用,YARN 集群资源管理与任务监控,MapReduce编 程,分布式集群的部署管理(包括高可用性HA)必须要掌握的。
目标人群:
1、初级以上普通开发人员
2、有java基础的同学
3、对大数据感兴趣的同学
课程目录:
市场很多培训公司只讲一下环境搭建,然后快速写一个demo,根本不会深入讲解,徐培成会通过16天课程全面分析,此课程保证全国最全,内容深入浅出的讲解原理和分布式架构,此课程分为四部分:
- 第一部分:Hadoop介绍和环境搭建
- Hadoop生态环境介绍
- Hadoop云计算中的位置和关系
- 国内外Hadoop应用案例介绍
- Hadoop 概念、版本、历史
- Hadoop 核心组成介绍及hdfs、mapreduce 体系结构
- Hadoop独立模式安装和测试
- Hadoop 的集群结构
- Hadoop 伪分布的详细安装步骤
- 通过命令行和浏览器观察Hadoop
- Hadoop启动脚本分析
- Hadoop完全分布式环境搭建
- Hadoop安全模式、回收站介绍
- 第二部分:HDFS体系结构和Shell以及Java操作
- HDFS底层工作原理
- HDFSdatanode,namenode详解
- 单点故障(SPOF)和高可用(HA)
- 通过API访问HDFS
- 常用压缩算法介绍和安装使用
- Maven介绍和安装,eclipse中试用Maven,搭建Maven本地仓库
- 第三部分:详细讲解Mapreduce
- Mapreduce四个阶段介绍
- Job、Task介绍
- 默认工作机制
- 创建MR应用开发,获取年度的最高气温
- 在Windows上运行MR作业,
- Mapper、Reducer
- InputSplit和OutputSplit
- Shuffle:Sort,Partitioner,Group,Combiner
- 通过计数器调试程序
- 在Windows安装Hadoop
- 在eclipse安装hadoop插件,访问hadoop资源
- 在eclipse中编写ant脚本
- YARN调度框架事件分发机制
- 远程调试资源管理器
- Hadoop的底层google ProtoBuf的协议分析
- Hadoop底层IPC原理和RPC
- 第四部分Hadoop高可用-HA
- Hadoop2.x集群结构体系介绍
- Hadoop2.x集群搭建
- NameNode的高可用性(HA)
- HDFS Federation
- ResourceManager 的高可用性(HA)
- Hadoop集群常见问题和解决方法
- Hadoop集群管理
操作系统:Linux centos7
java环境:jdk8
hadoop环境:2.7.2
机器的内存建议在4G及以上,没有4G也不影响课程,但使用起来系统相对慢些
收获预期:
1、hadoop 的安装
2、hadoop数据分析
3、hadoop原理
4、hadoop底层通信
5、分布式架构设计
讲师介绍:
、
十八掌大数据掌门人徐培成,深入浅出的分析讲解,拒绝废话,IT十八掌教育旨在打造中国最具实力和穿透力的I大数据技术培训,坚决杜绝浮夸、吹嘘、焦躁、肤浅的行业乱象,让实战精神贯穿课程的始终,让学员在技术上成为真正的强者。本次大数据高薪培训班由IT十八掌强力打造,完全从实战角度出发,让同学们在实操中切实理解和掌握各项技术的真正原理和具体运用。我们为技术以及陷阱设计的场景极其简单但又超级典型, 有些我们使用的工具软件或操作技巧可能有95%从来没有见过
课程截图: