课程购买咨询和资料获取请加老师QQ 2020363447
本课程讲解大规模数据处理的统一分析引擎—Spark。在本课程中基于大量案例实战,深度剖析和讲解Spark原理和新特性,且会包含完全从企业真实业务需求中抽取出的案例实战。除Spark全体系外还包含机器学习、算法、推荐系统等。
本套大型Spark架构师系列教程共计13季,本套为第六季。
课程目录:
第六季
01.shuffle机制回顾
02.UnfaseShuffleWriter溢出过程源代码分析
03.UnfaseShuffleWriter溢出过程Rose分析
04.SortShuffleWriter源代码分析
05.Spark Shuffle总结
06.spark textFile默认最小分区源代码分析
07.spark内存管理-结构划分
08.spark-shell测试-内存分配-保留内存控制
09.spark内存的管理的源代码考察
10.spark rdd缓存机制源代码分析
11.spark与hive集成
12.spark与hive集成-关闭schema版本检查
13.spark sql调用hive函数-查看hive函数帮助
14.spark sql在idea下的编程开发
15.spark sql在idea下的java编程-DataFrame cache
13季全部掌握可以达到如下效果:
1.代码和原理驱动讲解Spark的各个技术点(全部手敲代码),全程图文解读
2.能够对常见的Spark性能问题,使用各种技术进行性能调优
3.熟练掌握Spark全体系的知识和操作,可以开发各种复杂的大数据离线批处理程序
4.透彻理解Spark新特性和原理,可以对Spark企业级案例,进行调优和故障排查
5.能熟练对Spark、Sclala、Kafka、机器学习、朴素贝叶斯算法等技术融汇贯通