课程分类

课程介绍
课程目录
用户评论
课程介绍
课程目录
用户评论

你将获得

  • 掌握某些知识点
  • 学会某些技巧(或思路)

教学服务

  • icon

    1v1专属答疑服务

  • icon

    BAT专家面试辅导

讲师介绍

  • 码上学团队致力于打造 [ 大数据与数据科学 (新IT)  ]领域集产品、教学、培训、人才输出于一体的“一站式”企业人才培养解决方案。

  • 课程详情


    本门课程来源于一线生产项目, 所有代码都是在现网大数据集群上稳定运行, 拒绝Demo。课程涵盖了离线分析、实时分析绝大部分的场景,通过三个实际生产项目教授如何优雅地集成Hadoop、Spark、HBase、Kafka、Redis、MySQL等相关大数据技术,并实际落地 。


    本门课程全程实操,不用担心基础不好, 讲师将会从每个项目的演进过程详细分析, 手把手搭建开发环境, 每个功能点都有代码实操, 拿到生产上可以直接使用。


    本门课程大量生产上的较佳实践,不仅能为技术选型提供参考, 也能大幅度提升个人的知识和技术水平, 学完可以胜任PB级大数据的开发和优化,面试中说出来都是亮点, 是跳槽、转型、加薪的利器,让你轻松实现华丽转身。 只要你有一点Hadoop、Spark和Scala基础,并且能保持学习的热情, 那么就跟随老师来吧



    掌握生产上企业级大数据的开发流程。

    可以胜任PB级大数据的开发和优化

    达到3年大数据从业经验的水平


     

    适用人群

    了解过Hadoop、Spark的即可

    针对HBase、Kafka、Redis等基础不足的同学,讲师会根据项目需要对其核心部分进行详细介绍

     

    课程使用软件版本

    CDH 5.7.6系列版本:hadoop-2.6.0-cdh5.7.6、hbase-1.2.0-cdh5.7.6、zookeeper-3.4.5-cdh5.7.6
    Spark 2.x版本:Spark 2.2.0
    Kafka 版本:kafka_2.11-0.8.2.1、kafka-eagle-web-1.2.4
    Redis版本:redis-3.2.5-bin
    MySQL版本:MySQL Server 5.1.73



    第一章:流式数据实时分析(Kafka+SparkStreaming+Redis)
    1、流式实时数据分析项目实战内容提纲(企业级开发、仿双十一订单实时统计及性能优化)
    2、SparkStreaming实时状态统计应用引出容灾恢复(高可用)和更新状态性能问题
    3、SparkStreaming应用代码初步重构及引出实时累加应用高可用性(设置检查点及恢复)
    4、StreamingContext创建优化(非第一次启动应用从检查点目录构建)及代码演示(高可用性)
    5、SparkStreaming中mapWithState实时状态更新函数使用说明
    6、模拟电商购物节订单分析:订单分析需求说明及准备(创建Topic及开发环境)
    7、模拟电商购物节订单分析:调用Kafka Producer API模拟产生JSON格式订单数据发送Topic中(一)
    8、模拟电商购物节订单分析:调用Kafka Producer API模拟产生JSON格式订单数据发送Topic中(二)
    9、模拟电商购物节订单分析:针对SparkStreaming实时流式应用数据分析利用Scala贷出模式编写应用开发模块
    10、模拟电商购物节订单分析:采用Direct方式获取KAFKA数据并解析JSON格式
    11、模拟电商购物节订单分析:updateStateByKey实时累加统计各省份销售额(重载函数使用)
    12、模拟电商购物节订单分析:Redis内存数据库介绍、下载和配置、启动服务及CLI基本使用
    13、模拟电商购物节订单分析:实时累加统计各省份销售额保存Redis 数据库哈希Hash
    14、模拟电商购物节订单分析:最近窗口数据Top5省份订单量(集成SparkSQL,注册临时视图,SQL分析)
    15、模拟电商购物节订单分析:实时应用性能优化(设置分区最大数目、数据本地性等待时间、反压机制、内存GC等)

    第二章:离线日志分析项目(SparkCore+HBase+MySQL)
    16、某旅游电商用户行为分析系统数据、业务调研深入剖析
    17、某旅游电商用户行为分析系统项目架构设计(技术架构)-架构三原则
    18、基于SparkCore实现用户行为分析环境准备
    19、数据ETL:SparkCore读取数据及解析日志数据
    20、数据ETL:过滤不合格的数据(解析异常或事件类型不对)和引出广播变量
    21、数据ETL:使用广播变量优化程序过滤数据
    22、数据ETL:如何设计HBase表及RowKey组成设计
    23、数据ETL:实现RowKey拼接及构建Put对象
    24、数据ETL:定义函数依据传递处理日期参数来创建HBase表(先判断,再删除)
    25、数据ETL:指定预分区、设置压缩等创建表及测试保存数据至HBase表
    26、数据ETL:ETL操作时程序代码优化点详细剖析(预分区、广播变量及批量加载数据:跳过WAL和转换HFile)
    27、新增用户分析:需求调研的说明(不同维度分析)及读取HBase表的不同字段值
    28、新增用户分析:从HBase表中读取数据,设置Scan过滤条件(一)
    29、新增用户分析:从HBase表中读取数据,设置Scan过滤条件(二)
    30、新增用户分析:转换读取HBase表数据并进行维度数据组合
    31、新增用户分析:基本维度分析和浏览器维度分析
    32、读写HBase表数据引出优化:针对HFile数据文件进行读写操作(提高性能、减轻集群负载)
    33、优化数据ETL:阅读ImportTsv源码找出HFile数据变换、修改数据转换格式为KeyValue及细节处理
    34、优化数据ETL:完成数据写入至HFile文件、加载HFiles至HBase表中及本地测试
    35、提交运行:将数据ETL程序打JAR包,编写Shell脚本,提交运行(查找程序依赖第三方JAR包)
    36、提交运行:增加属性文件配置,针对本地测试和集群测试读取IP地址解析仿真数据文件进行优化
    37、使用SparkSQL针对新增用户业务编程分析:将RDD转换为DataFrame
    38、使用SparkSQL针对新增用户业务编程分析:分别使用DSL和SQL进行指标分析和引出如何保存结果数据至MySQL表中
    39、综合回顾复习Spark读取HBase数据三种方式(Scan、HFile、HBaseContext)及优缺点剖析
    40、HBase中快照SnapShot使用及采用TableSnapshotInputFormat读取HBase表中数据(以销售订单表为例,读取HFile文件)
    41、优化新增用户分析:修改程序读取表的HFiles进行数据分析(创建快照,使用TableSnapshotInputFormat)
    42、优化新增用户分析:使用foreachPartition方式将分析结果保存至MySQL表中(Key存在更新及不存在插入)一
    43、优化新增用户分析:使用foreachPartition方式将分析结果保存至MySQL表中(Key存在更新及不存在插入)二

    第三章:企业数据实时ETL(Kafka+SparkStreaming+HBase+Redis)
    44、实时数据ETL:分析需求(实时将数据ETL到不同HBase表中)及准备开发环境(模拟测试数据,创建Topic等)
    45、实时数据ETL:SparkStreaming读取Kafka Topic数据,解析orderType,自定义分区器将同类型数据重分区到一个分区
    46、实时数据ETL:不同支付类型订单数据创建不同HBase表(封装插入数据方法)
    47、实时数据ETL:编写代码数据插入HBase表、联动测试(模拟实时产生数据,实时消费,分区数据,插入表中)
    48、SparkStreaming采用Direct方式读取Kafka Topic数据的自动管理Offsets方法深入剖析、使用Redis或Zookeeper等管理偏移量
    49、优化实时数据ETL:从Redis中读取Topic的各个分区消费偏移量信息(使用哈希Hash存储)及编码测试
    50、优化实时数据ETL:当每批次数据插入HBase表以后,将Topic各个分区数据消费偏移量保存Redis中
    51、监控扩展:Zookeeper Cluster常见监控工具及zkUI监控工具使用详解
    52、监控扩展:Kafka Cluster常见监控工具及Kafka Eagle监控工具使用详解