课程分类

课程介绍
课程目录
用户评论
课程介绍
课程目录
用户评论

你将获得

  • 掌握某些知识点
  • 学会某些技巧(或思路)

教学服务

  • icon

    1v1专属答疑服务

  • icon

    BAT专家面试辅导

讲师介绍

  • 多年开发和教学经验,技术全才。十八掌教育创始人,精通Java,大数据,Python等编程语言和技术框架; 授课10年,被学生称为顶尖高手! 讲课特点: 全部干货,拒绝忽悠,拒绝废话,上来就干! 庖丁解牛,剥茧抽丝,行云流水,大彻大悟,让你听课听到兴奋!

  • 课程详情

    视频购买咨询请加QQ  613385945

    适用人群
    Hadoop开发者,大数据开发者
    课程简介
    Flume最早是Cloudera提供的日志收集系统,目前是Apache下的一个孵化项目,Flume支持在日志系统中定制各类数据发送方,用于收集数据。大家学习完此节后不但可以掌握Flume的使用,而且可以进行对于Flume的开发

    1.内容简介

    本课程紧抓重点、言简意赅、深入浅出的讲解Scala编程,旨在学员能快速上手并灵活掌握。

    课程以实操为主,提供完整详细的源码,供学员学习或应用到项目中。课程的课件也很详细,在学员不方便看视频的时候直接看课件并结合源码,同样可以达到很好的学习效果,并能大幅节省学习时间

    Flume第一部分

     

     01.flume介绍-架构-组件-source-channel-sink.avi

     02.flume安装.avi

     03.flume体验nc方式收集数据-console输出.avi

     04.centos挂载iso文件-安装nc命令程序.avi

     05.flume spooldir对目录监控实现日志批量收集.avi

     06.flume exec对目录实时收集.avi

     07.flume 使用avro source和avro client命令发送avro事件.avi

     08.flume seq序列生成器源用于测试.avi

     09.flume stress压力源用于压测.avi

     10.hdfs sink.avi

     11.avro sink和avro source实现hop处理.avi

     12.配置hbase sink写入输入hbase数据库.avi

     13.配置hbase asyncsink写入输入hbase数据库.avi

     14.memory内存通道-capacity-txCapacity.avi

     15.filechannel.avi

     16.SpillableMemoryChannel.avi

     17.启动flume agent的监控属性-通过ganglia实现监控.avi

     18.ganglia实现监控flume agent使用组播的D类ip实现.avi

     19.flume source selector副本策略.avi

     20.flume多路复用(动态路由).avi

     21.sink容灾处理器.avi

     

    Flume第二部分

     01.flume sink processor的loadbalancer处理.avi

     02.flume sink processor的failover处理.avi

     03.flume source的interceptor实现时间戳和主机名 avi.avi

     04.flume架构-核心类查看.avi

     05.kafka介绍-jms.avi

     06.kafka安装.avi

     07.kafka配置.avi

     08.启动kafka集群-后台启动.avi

     09.创建kakfa主题-删除主题.avi

     10.启动控制台生产者和消费者-发送消息-消费消息-zk注册情况.avi

     11.kafka架构介绍-设计基础.avi

     12.消息生成者发送消息.avi

     13.消息消费者.avi

     14.消费者指定每个主题启动线程数.avi

     15.验证每个组中有一个消费者消费消息.avi

     16.kafka分区和副本数以及本次磁盘目录对应关系.avi

     17.kafka偏移量的考察.avi

     18.编程方式指定kafka偏移量auto-offset-rest.avi

     19.flume和kafka集成-kafkaSource.avi

     20.flume和kafka集成-kafkaSink.avi

     21.flume和kafka集成-kafkaChannel.avi



    1.课程针对人群

    Hadoop初学者、具有一定Linux系统、Java使用经验

    系统架构师、系统分析师、高级程序员、资深开发人员。

    牵涉到大数据处理的数据中心运行、规划、设计负责人。

    高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。

    数据仓库管理人员、建模人员,分析人员和开发人员、系统管理人员、数据库管理人员以及对数据仓库感兴趣的其他人员。

    2.我该怎么学,如何才能学好这门课程,给些建议。

    2.1、时间上的安排建议

     如果您时间上充分,建议以每天3-4讲的进度往前学习,一定要进行操作,记笔记。

    2.2、学习要求

    持之以恒,每天都坚持学习(看视频、实际联系,多思考),有问题及时沟通交流解决,建议多看官方文档。

    2.3、讲师建议

    1.最好看完视频之后,抛开视频,独立自己去把上课中的示例写一遍,看自己是否理解,如果不正确,可以回过头看再看下视频,如果反复,达到真正理解和熟练掌握的目的。

    2.对于项目实战部分,一定要自己亲自动手做一遍,不要满足听完就OK了

    3. 建议一般听视频,一般拿个纸和笔,做一些记录和笔记,这是一种非常好的学习习惯。

    4. 一定不要过于依赖视频,要学会看API和使用百度,学会思考,学会举一反三    

    5. 最后祝您学有所成

    大数据架构师系列课程
    https://ke.qq.com/course/package/22463

    大数据架构师学习路线图
    1.27天零基础(Java、大数据)入门教程 https://ke.qq.com/course/469300
    2.10天IDEA版Java高级视频教程(包含JVM、NIO、设计模式等)https://ke.qq.com/course/468486
    3.2天CentOS版Linux快速学习教程https://ke.qq.com/course/468491
    4.10天Hadoop2.7从入门到精通(入行必看)https://ke.qq.com/course/468497
    5.4天数据仓库Hive从入门到企业实操教程https://ke.qq.com/course/468645
    6.大数据串行化(Avro和PB)从入门到实操教程https://ke.qq.com/course/468658
    7.2天Zookeeper从入门到企业级实操教程https://ke.qq.com/course/468636
    8.7天Hbase+Phoenix从入门到企业实操教程https://ke.qq.com/course/468666
    9.分布式缓存数据库Redis教程(Java、大数据通用教程)https://ke.qq.com/course/468671  
    10. 分布式监控工具Ganglia视频教程https://ke.qq.com/course/468675
    11.2天海量日志收集利器Flume视频教程https://ke.qq.com/course/468679
    12.批量数据迁移的工具Sqoop视频教程https://ke.qq.com/course/468686
    13.2天分布式发布订阅消息系统Kafka教程 https://ke.qq.com/course/468692
    14.3天IDEA版SSM从入门到企业实战教程https://ke.qq.com/course/468711
    15.4天多范式编程语言Scala视频教程 https://ke.qq.com/course/469008 
    16.团购网站大数据实现标签生成实战项目 https://ke.qq.com/course/469346
    17.真实案例:大数据实现用户画像实现项目 https://ke.qq.com/course/469339
    18.8天大规模数据处理引擎Spark教程https://ke.qq.com/course/468122
    19.5天Python到推荐系统​到大数据实战 https://ke.qq.com/course/469161
    20.大数据分析案例:6天友盟数据平台实战项目https://ke.qq.com/course/469021
    21.秒级查询的数据仓库Kudu教程 https://ke.qq.com/course/469359
    22.新一代大数据计算引擎Flink教程 https://ke.qq.com/course/469375

    温馨提示
    • 请勿私下交易
      请勿在平台外交易。与机构和老师私下交易造成的任何损失及纠纷,腾讯课堂不承担任何责任
    • 听课说明

      1、电脑:访问腾讯课堂官网 ke.qq.com 查看我的课表或下载win/mac客户端听课

      2、手机/平板:下载腾讯课堂APP, 进入学习页面听课