课程分类

课程介绍
课程目录
用户评论
课程介绍
课程目录
用户评论

你将获得

  • 掌握某些知识点
  • 学会某些技巧(或思路)

教学服务

  • icon

    1v1专属答疑服务

  • icon

    BAT专家面试辅导

讲师介绍

  • 资深Hadoop技术实践者和研究者,有着丰富的实践经验。2010年开始接触Hadoop/Spark,曾主导大型项目,通过整合Hadoop的各种组件用以分析省、市交通卡口海量数据。在数据存储、数据分析、数据挖掘、机器学习方面有多年开发经验,有自己独到见解,致力于让Hadoop大数据应用更简单。

  • 课程详情


    学习目标
    1、了解Spark的发展现状及BDAS中各个模块的作用;
    2、能够编译出适合自己Hadoop版本对应的Spark安装包;
    3、能够搭建Spark集群环境;
    4、了解Spark的运行模式;
    5、RDD常用的transformation与action;
    6、如何开发Spark application并提交到集群中运行;

    课程目标:
           1、了解Spark社区当前发展的现状、Spark的技术特点;
           2、Spark生态系统介绍以及对比Hadoop生态系统、Spark对比MapReduce;
           3、把握分布式计算框架及未来发展方向,为企业的技术选型及架构设计提供决策参考。
           3、Spark源码编译、环境搭建、运行模式介绍;
           4、如何运行一个Spark应用程序(WordCount);
           5、Spark Core RDD:transformation、action;
           6、如何开发Spark应用程序,并提交到Spark环境中运行;

    课程特色:
           从基础讲解Spark,认识Spark作用,以及如何上手使用Spark
    适用人群:
           Hadoop/Spark爱好者
    优惠方式:
           免费,更多免费课程内容请搜索"云帆大数据学院";
    课程详情:
         第二次课:
                  1、Maven介绍及环境搭建
                  1、Spark源码编译方式一:Maven
                  2、Spark源码编译方式二:sbt
                  3、Spark源码编译方式三:make-distribution.sh
                  4、Spark运行模式
                 
           第三次课:
                  1、Spark环境搭建
                  2、运行一个Spark应用程序(WordCount)
     
           第四次课:
                  Spark Core RDD:transformation、action;
     
           第五次课:
                  1、使用IDEA开发Spark application;
                  2、如何在IDEA中进行本地测试
                  3、如何提交到Spark集群中运行