2019年IDEA版大数据之Spark2.4新特性第4季

5人 购买 好评度 -
用手机看

扫一扫继续用手机看

  • 微信扫码

  • QQ扫码

下载手机APP
收藏
  • 第一期
更多班级

第一期

支持随到随学,24年07月过期

¥87.22

本班因教学质量问题暂时不能报名。 查看详情

课程因违反平台规定暂时不能报名。

立即购买

Spark2.4+机器学习 ( 共13门 )

套餐价 :¥500.00 原价 :¥507.00 立即购买 查看详情

课程概述

目录

评论

老师介绍

  • 追逐

    追逐

    大数据项目讲师, 10余年软件研发及企业培训经验,曾为多家大型企业提供企业内训。 丰富的企业应用软件开发经验、深厚的软件架构设计理论基础及实践能力。中石化,中国联通,中国移动等知名企业提供企业培训服务。
简  介 快速掌握Spark2.4新特性,能熟练使用和操作,胜任企业级的开发。

课程购买咨询和资料获取请加老师QQ  2020363447    

开发工具

IDEA

Spark: 2.4

Hadoop: 2.7

 

本课程讲解大规模数据处理的统一分析引擎—Spark2.4。在本课程中基于大量案例实战,深度剖析和讲解Spark2.4原理和新特性,且会包含完全从企业真实业务需求中抽取出的案例实战。除Spark2.4全体系外还包含机器学习、算法、推荐系统等。

本套大型Spark2.4架构师系列教程共计13季,本套为第四季。

 

课程目录:

第四季

01.回顾spark核心组件和逻辑关系图

02.回顾spark job执行流程-两步走

03.作业讲解-aggregateByKey实现分区索引携带

04.数据倾斜处理-重新设计key-自定义随机分区

05.spark job部署模式介绍-部署模式与集群模式组合

06.spark job cluster-standalone组合模式考察进程

07.spark yarn部署模式

08.spark yarn-client job部署模式考察

09.关闭hadoop虚拟内存和物理内存检查配置

10.配置spark.yarn.archive属性避免每次上传spark类库

11.yarn-cluser配置

12.spark standalone资源配置-daemon进程内存-worker资源配置

13.spark worker数-集群管理命令

14.spark job standalone clisent模式下资源配置-cores-memory

15.spark job yarn client模式资源配置

16.编写spark远程调试函数sendInfo

17.task占用core配置-分布式task执行情况考察

 

13季全部掌握可以达到如下效果:

1.代码和原理驱动讲解Spark2.4的各个技术点(全部手敲代码),全程图文解读

2.能够对常见的Spark2.4性能问题,使用各种技术进行性能调优

3.熟练掌握Spark2.4全体系的知识和操作,可以开发各种复杂的大数据离线批处理程序

4.透彻理解Spark2.4新特性和原理,可以对Spark企业级案例,进行调优和故障排查

5.能熟练对Spark2.4、Sclala、Kafka、机器学习、朴素贝叶斯算法等技术融汇贯通

* 课程提供者:北京思无限科技有限责任公司

老师还为你推荐了以下几门课程