课程分类

课程介绍
课程目录
用户评论
课程介绍
课程目录
用户评论

你将获得

  • 掌握某些知识点
  • 学会某些技巧(或思路)

教学服务

  • icon

    1v1专属答疑服务

  • icon

    BAT专家面试辅导

讲师介绍

  • 主要从事大数据平台产品的技术工作; 负责设计、构建和优化基于HDFS/HBase的存储平台架构; 负责平台的实时数据源异构同步和数据模型的开发; 负责对公司的Apache Hadoop1.2、CDH4及CDH5集群的部署、监控、调优和运维; 此外,还精通Java、Scala、Shell、Python编程和管理SQL数据库及熟悉NOSQL的经验。

  • 课程详情

    ----------------课程详情----------------
            Hadoop的调优和运维对于Hadoop来说是很重要的一个环节,对于大规模数据集来说更是如此。性能调优对于Hadoop来说无异于打"任督二脉",对于Hadoop的计算能力会有质的提升,而运维之于Hadoop来说,就好像"金钟罩,铁布衫"一般,有了稳定的运维Hadoop才能在海量数据中大展拳脚,两者相辅相成,缺一不可。

    课程目标
    1.Preparation
     谈谈怎样入门大数据
     谈谈怎样做好一个大数据平台的运营工作
     Linux机器,各软件版本介绍及安装(录播)

    2.Introduction
     Cloudera、CM及CDH介绍
     CDH版本选择
     CDH安装几种方式解读

    3.Install&UnInstall
     集群节点规划,环境准备(NTP,JDK and etc)
     MySQL编译安装及常用命令
     推荐:CDH离线安装(踩坑心得,全面剖析)
     解读暴力卸载脚本

    4.CDH Management
     CDH体系架构剖析
     CDH配置文件深度解析
     CM的常用命令
     CDH集群正确启动和停止顺序
     CDH Tsquery Language
     CDH常规管理(监控/预警/配置/资源/日志/安全)

    5.Maintenance Experiment
     HDFS HA 配置 及hadoop/hdfs常规命令
     Yarn HA 配置 及yarn常规命令
     Other CDH Components HA 配置
     CDH动态添加删除服务(hive/spark/hbase)
     CDH动态添加删除机器
     CDH动态添加删除及迁移DataNode进程等
     CDH升级(5.10.0-->5.12.0)

    6.Resource Management
     Linux Cgroups
     静态资源池
     动态资源池
     多租户案例

    7.Performance Tunning
     Memory/CPU/Network/Disk及集群规划
     Linux参数
     HDFS参数
     MapReduce及Yarn参数
     其他服务参数

    8.Cases Share
     CDH4&5之Alternatives命令 的研究
     CDH5.8.2安装之Hash verification failed
     记录一次CDH4.8.6 配置HDFS HA 坑
     CDH5.0集群IP更改
     CDH的active namenode exit(GC)和彩蛋分享

    9. Kerberos
     Kerberos简介
     Kerberos体系结构
     Kerberos工作机制
     Kerberos安装部署
     CDH启用kerberos
     Kerberos开发使用(真实代码)

    10.Summary
     总结

    授课模式
    在腾讯课堂上,仅仅是三次课程,详情见课程目录。
    需要部署文档和软件包,咨询星星 获取。

    假如需要全套课程,咨询星星 单独购买。
    温馨提示
    • 请勿私下交易
      请勿在平台外交易。与机构和老师私下交易造成的任何损失及纠纷,腾讯课堂不承担任何责任
    • 听课说明

      1、电脑:访问腾讯课堂官网 ke.qq.com 查看我的课表或下载win/mac客户端听课

      2、手机/平板:下载腾讯课堂APP, 进入学习页面听课