课程分类

课程介绍
课程目录
用户评论
课程介绍
课程目录
用户评论

你将获得

  • 掌握某些知识点
  • 学会某些技巧(或思路)

教学服务

  • icon

    1v1专属答疑服务

  • icon

    BAT专家面试辅导

讲师介绍

  • 大数据架构师,负责海量日志数据处理等方面的技术研究与管理工作。参与过上海移动、山东移动大数据平台开发建设,负责Hive、Spark、Storm、HBase、ES等的研发和落地。

  • 主要从事大数据平台产品的技术工作; 负责设计、构建和优化基于HDFS/HBase的存储平台架构; 负责平台的实时数据源异构同步和数据模型的开发; 负责对公司的Apache Hadoop1.2、CDH4及CDH5集群的部署、监控、调优和运维; 此外,还精通Java、Scala、Shell、Python编程和管理SQL数据库及熟悉NOSQL的经验。

  • 课程详情



    课程内容: 
    场景一:数据平台中如何使用Spark封装SQL作业 
    1) 方案设计  
    2) 如何提升作业运行中的并行执行 
    3) 如何保证数据重跑的幂等性 
    4) 作业运行的关键指标采集 

    场景二:Spark Streaming完成双流join 
    1) 方案设计 
    2) 使用maxwell实时采集MySQL数据 
    3) 双流join的实现 
    4) 流处理过程中延迟数据如何解决
    温馨提示
    • 请勿私下交易
      请勿在平台外交易。与机构和老师私下交易造成的任何损失及纠纷,腾讯课堂不承担任何责任
    • 听课说明

      1、电脑:访问腾讯课堂官网 ke.qq.com 查看我的课表或下载win/mac客户端听课

      2、手机/平板:下载腾讯课堂APP, 进入学习页面听课