学习目标
1、了解Spark的发展现状及BDAS中各个模块的作用;
2、能够编译出适合自己Hadoop版本对应的Spark安装包;
3、能够搭建Spark集群环境;
4、了解Spark的运行模式;
5、RDD常用的transformation与action;
6、如何开发Spark application并提交到集群中运行;
课程目标:
1、了解Spark社区当前发展的现状、Spark的技术特点;
2、Spark生态系统介绍以及对比Hadoop生态系统、Spark对比MapReduce;
3、把握分布式计算框架及未来发展方向,为企业的技术选型及架构设计提供决策参考。
3、Spark源码编译、环境搭建、运行模式介绍;
4、如何运行一个Spark应用程序(WordCount);
5、Spark Core RDD:transformation、action;
6、如何开发Spark应用程序,并提交到Spark环境中运行;
课程特色:
从基础讲解Spark,认识Spark作用,以及如何上手使用Spark
适用人群:
Hadoop/Spark爱好者
优惠方式:
免费,更多免费课程内容请搜索"云帆大数据学院";
课程详情:
第二次课:
1、Maven介绍及环境搭建
1、Spark源码编译方式一:Maven
2、Spark源码编译方式二:sbt
3、Spark源码编译方式三:make-distribution.sh
4、Spark运行模式
第三次课:
1、Spark环境搭建
2、运行一个Spark应用程序(WordCount)
第四次课:
Spark Core RDD:transformation、action;
第五次课:
1、使用IDEA开发Spark application;
2、如何在IDEA中进行本地测试
3、如何提交到Spark集群中运行
课程介绍
课程目录
往期学员作品
用户评论
课程介绍
课程目录
往期学员作品
用户评论
你将获得
- 掌握某些知识点
- 学会某些技巧(或思路)
教学服务
1v1专属答疑服务
BAT专家面试辅导
讲师介绍
讲师-梦琪
资深Hadoop技术实践者和研究者,有着丰富的实践经验。2010年开始接触Hadoop/Spark,曾主导大型项目,通过整合Hadoop的各种组件用以分析省、市交通卡口海量数据。在数据存储、数据分析、数据挖掘、机器学习方面有多年开发经验,有自己独到见解,致力于让Hadoop大数据应用更简单。
资深Hadoop技术实践者和研究者,有着丰富的实践经验。2010年开始接触Hadoop/Spark,曾主导大型项目,通过整合Hadoop的各种组件用以分析省、市交通卡口海量数据。在数据存储、数据分析、数据挖掘、机器学习方面有多年开发经验,有自己独到见解,致力于让Hadoop大数据应用更简单。