零基础入门大数据实战—Spark分析Ngnix访问日志

3人 购买 好评度 -
用手机看

扫一扫继续用手机看

  • 微信扫码

  • QQ扫码

下载手机APP
收藏
  • Ngnix日志分析
更多班级

Ngnix日志分析

上课时间:05月13日 至 25年04月

¥7.72

本班因教学质量问题暂时不能报名。 查看详情

课程因违反平台规定暂时不能报名。

立即购买

课程概述

目录

往期学员作业()

评论

老师介绍

  • 梁锋卫

    梁锋卫

    狂热的Python开发爱好者,数据分析可视化专家,讲课通俗易懂,激情四射。
简  介 本课中将系统的讲解Spark Core及Spkar SQL的核心知识,并以实战的方式,通过分析Nginx访问日志的实战例子,帮助同学们领略SparkSQL强大简便的数据分析能力,洞悉SparkSQL调优方式及其核心思想。
序号 章节 小节
第一章 Spark介绍 课程简介
Spark简介
Spark生态介绍
Spark与Hadoop的比较
第二章 Spark的下载和安装 spark安装
第三章 开发第一个Spark程序 Spark开发环境搭建
开发第一个Spark程序
第四章 认识Spark SQL Spark SQL和Hive
Spark SQL运行原理
DataFrame、DataSet和RDD的联系
Parquet列式存储
第五章 教你如何使用Rdds Rdds介绍
RDDs基本操作之Transformations(一)
RDDs基本操作之Transformations(二)
RDD基本操作之Action
RDDS的特性
第六章 DataFrame/DataSet常用操作 一般操作:查找和过滤
聚合操作:groupBy和agg
单表操作:列的增删改与空值处理
多表操作:join(一)
多表操作:join(二)
第七章 自定义函数和开窗函数 自定义函数:UDF
自定义聚合函数:UDAF
开窗函数:row_number()
第八章 Nginx访问日志分析完整实战 项目场景介绍及分析
第一次数据清洗:格式化原始日志数据
第二次数据清洗:解析数据并按天以Parquet格式存储
将分析结果批量写入MySql
性能监控及优化
第九章 课程总结 Spark课程总结

* 课程提供者:郑臣亮