本节课主要结合以前spark的知识，根据日志系统的特性，选择合适的组件，并能够根据生产环境特点，组织基于spark sql 的周期任务完成基本日志系统的构建。

学习目标：

1.掌握不同需求下Spark组件的选择 ；

2.掌握Spark参数调优 ；

3.掌握各组件之间的调用及thrift接口的使用 。

学习建议：

建议熟悉linux命令 hadoop spark常用操作，并希望运用到生产环境的人群学习。

下载资料：有 （请联系助教老师领取）