千锋大数据教程:Spark基础及源码分析
  1. 第一章

    1. 录播
      1、认识scala-1
      10分钟
    2. 录播
      2、安装开发环境-1
      7分钟
    3. 录播
      3、scala Shell、用idea创建maven项目-1
      16分钟
    4. 录播
      4、配置maven本地仓库、导入切换项目等配置
      8分钟
    5. 录播
      5、变量的声明-1
      7分钟
    6. 录播
      6、scala的7种值类型和条件表达式-1
      9分钟
    7. 录播
      7、for循环-1
      14分钟
    8. 录播
      8、方法和函数的声明以及方法转换成函数-1
      18分钟
    9. 录播
      9、数组-1
      21分钟
    10. 录播
      10、映射-1
      10分钟
  2. 第二章

    1. 录播
      11、元组-1
      13分钟
    2. 录播
      12、集合之seq-1
      19分钟
    3. 录播
      13、集合之set-1
      8分钟
    4. 录播
      14、集合之map-1
      6分钟
    5. 录播
      1、lazy关键字-1
      12分钟
    6. 录播
      2、函数式编程练习之常用方法-1
      27分钟
    7. 录播
      3、函数式编程之reduce-1
      15分钟
    8. 录播
      4、函数式编程之fold-1
      9分钟
    9. 录播
      5、函数式编程之aggregate-1
      8分钟
    10. 录播
      6、函数式编程之交并差集-1
      4分钟
  3. 第三章

    1. 录播
      7、scala实现wordcount-1
      20分钟
    2. 录播
      1、创建类、属性-1
      21分钟
    3. 录播
      2、构造器、辅助构造器-1
      21分钟
    4. 录播
      3、单例对象-1
      16分钟
    5. 录播
      4、伴生对象-1
      11分钟
    6. 录播
      5、apply和unapply方法-1
      24分钟
    7. 录播
      6、private关键字-1
      15分钟
    8. 录播
      7、特质、抽象类、继承、重写、实现等-1
      21分钟
    9. 录播
      8、模式匹配之匹配字符串-1
      10分钟
    10. 录播
      9、模式匹配之匹配类型-1
      8分钟
  4. 第四章

    1. 录播
      10、模式匹配之匹配数组、元组、集合-1
      19分钟
    2. 录播
      11、模式匹配之样例类-1
      10分钟
    3. 录播
      12、模式匹配之偏函数-1
      9分钟
    4. 录播
      1、作为值的函数-1
      9分钟
    5. 录播
      2、柯里化概念及声明方式-1
      18分钟
    6. 录播
      3、柯里化练习-1
      11分钟
    7. 录播
      4、隐式转换和隐式参数-1
      12分钟
    8. 录播
      5、隐式转换练习1-1
      15分钟
    9. 录播
      6、隐式转换练习2-1
      19分钟
    10. 录播
      7、泛型-1
      12分钟
  5. 第五章

    1. 录播
      8、upperbound-1
      13分钟
    2. 录播
      9、viewbound-1
      17分钟
    3. 录播
      10、contextbound-1
      11分钟
    4. 录播
      1、actor概念-1
      11分钟
    5. 录播
      2、actor实例之创建actor-1
      8分钟
    6. 录播
      3、actor实例之消息接收发送异步没有返回值
      20分钟
    7. 录播
      4、actor实例之消息接收与发送同步有返回值
      5分钟
    8. 录播
      5、actor实例之消息接收与发送异步有返回值
      9分钟
    9. 录播
      6、actor实例之并行编程思想实现单词计数-1
      31分钟
    10. 录播
      7、akka简介-1
      11分钟
  6. 第六章

    1. 录播
      8、akka案例需求分析-1
      9分钟
    2. 录播
      9、akka案例代码分析-1
      21分钟
    3. 录播
      1、spark简介-1
      12分钟
    4. 录播
      2、spark集群搭建、启动-1
      7分钟
    5. 录播
      3、spark Shell启动和提交任务-1
      13分钟
    6. 录播
      4、spark Wordcount-1
      20分钟
    7. 录播
      5、上传并执行任务-1
      13分钟
    8. 录播
      1、rdd的概念-1
      14分钟
    9. 录播
      2、生成rdd的两种方式-1
      6分钟
    10. 录播
      3、两种类型算子:transformation和action
      19分钟
  7. 第七章

    1. 录播
      4、常用算子练习1-1
      25分钟
    2. 录播
      5、常用算子练习2-1
      17分钟
    3. 录播
      1、案例需求-求用户在某基站停留的时间-1
      13分钟
    4. 录播
      2、案例实现-求用户在某基站停留的时间
      22分钟
    5. 录播
      3、案例实现-求用户访问学科的子网页top3-1
      9分钟
    6. 录播
      4、案例实现用户访问学科子网页top3chache
      20分钟
    7. 录播
      1、spark集群启动流程-1
      8分钟
    8. 录播
      2、spark任务提交流程-1
      6分钟
    9. 录播
      3、wordcount中创建了那些rdd-1
      14分钟
    10. 录播
      4、案例分析实现-按照ip统计区域访问量-1
      22分钟
  8. 第八章

    1. 录播
      1、rdd之间的依赖关系-1
      12分钟
    2. 录播
      2、dag的生成和stage的划分-1
      12分钟
    3. 录播
      3、webui观察stage划分和任务的生成-1
      13分钟
    4. 录播
      4、自定义二次排序-1
      24分钟
    5. 录播
      1、checkpoint-1
      17分钟
    6. 录播
      2、sparksql介绍-1
      9分钟
    7. 录播
      3、创建dataframe-1
      10分钟
    8. 录播
      4、dataframe常用操作-dsl风格语法-1
      11分钟
    9. 录播
      5、dataframe常用操作-sql风格语法-1
      4分钟
    10. 录播
      6、通过反射推断schema-1
      19分钟
  9. 第九章

    1. 录播
      7、通过structtype直接指定schema-1
      13分钟
    2. 录播
      8、hive-on-spark-1
      22分钟
    3. 录播
      1、sparkstreaming简介-1
      10分钟
    4. 录播
      2实例分析:sparkstreaming获取netcat数据
      7分钟
    5. 录播
      3、sparkstreaming实现按批次累加-1
      25分钟
    6. 录播
      4、窗口函数概念及使用场景-1
      18分钟
    7. 录播
      5、窗口函数实现wordcount-1
      9分钟
    8. 录播
      6、spark-on-yarn-1
      27分钟
    9. 录播
      7、补充:sparkstreaming依赖-1
      1分钟
    10. 录播
      1、关于查看源码的一些介绍-1
      10分钟
  10. 第十章

    1. 录播
      2、导入源码-1
      6分钟
    2. 录播
      3、集群启动流程-master类-1
      24分钟
    3. 录播
      4、集群启动流程-worker类-1
      13分钟
    4. 录播
      5、sparksubmit提交任务-1
      10分钟
    5. 录播
      6、sparkcontext-1
      18分钟
    6. 录播
      7、创建driveractor和clientactor的过程-1
      14分钟
    7. 录播
      8、clientactor向master注册任务信息过程-1
      8分钟
    8. 录播
      9、调度方式master通知worker启动executor
      11分钟
    9. 录播
      10、executor向driveractor反向注册的过程
      7分钟
    10. 录播
      11、rdd生成和stage划分-1
      21分钟
  11. 第十一章

    1. 录播
      12、生成任务并提交-1
      7分钟
    2. 录播
      13、task任务执行流程-1
      11分钟
    3. 录播
      14、总结-任务生成及提交流程-1
      16分钟

对课程感兴趣?

点击报名,听课时长可兑换余额哦~

千锋大数据教程:Spark基础及源码分析免费

最近在学 15 累计报名 488 好评度 50%
咨询老师

课程概述

目录

评论

简  介 视频以Java语言为蓝本,深入浅出的讲解scala语言的语法和特征,并应用scala语言,讲解spark生态系统下的大数据开发技术。

课程介绍:

 

        1.本视频面向拥有Java语言基础的同学,以Java语言为蓝本,深入浅出的讲解scala语言的语法和特征,并应用scala语言,讲解spark生态系统下的大数据开发技术。

 

        2.视频讲解与实例练习相结合,通过看视频也能保证知识得到充分的实践,知识掌握更牢靠。

 

        3.语言部分由浅入深,在掌握函数式编程和面向对象的基础上能够掌握高阶函数编程(作为值的函数、柯里化、隐式值、隐式转换),使得学生可以胜任项目中的开发之外,还可以读懂Spark源码,为以后研究Spark架构和自己编写架构奠定扎实的基础。

 

        4.在综合案例实现过程中,通过使用Akka通信模型实现RPC远程通信框架,这样既可以深入了解Spark的通信机制,又提升了Scala语言的开发技能。

 

        5.通过学习scala语言部分的课程,学生能够具备一名中级scala开发工程师水平。

 

        6.本视频,系统全面的讲解Spark环境的搭建以及与Hadoop生态圈的衔接。

 

        7.在Scala语言的基础上,深入理解Spark常用算子和高级算子的使用场景,使得学生在以后的开发过程中能够灵活运用Spark核心技术。

 

        8.讲解Spark生态,开发与性能调优双管齐下,分享企业中实战技能,学生学习更全面,更实际。

 

        9.深入讲解Spark源码和Spark框架,从内到外,挖掘Spark的五脏六腑,做到深入,再深入。学生可以从原理,从基石上了解Spark生态的方方面面。

* 课程提供者:千锋教育

老师还为你推荐了以下几门课程