课程购买咨询和资料获取请加老师QQ 2020363447
为了让在职人士快速进入大数据行业,进行了相关课程的研发。
本套课程为在职人士必学大数据系列教程第六阶段,授课内容为Flume+Kafka,本次课程时间为1天。
软件版本:
apache-flume-1.6.0-bin.tar
kafka_2.11-0.9.0.1
视频目录:
01.flume简介
02.nc收集日志
03.hdfs sink收集日志到hdfs
04.使用spooldir实现批量收集
05.使用exec结合tail命令实现实时收集
06.使用seq源和压力源实现测试
07.使用avro源
08.导入avro maven-avro
09.source与avro sink实现收集数据
10.hbasesink收集日志到hbase数据库
11.内存通道配置
12.source的通道选择器-复制策略
13.source的数据流程
14.sinkgroup处理器-loadba
15.sinkgroup的处理器-failover
16.kafka简介
17.kafka集群安装与启动
18.kafka创建主题以及查看主题结构
19.考察zk中kafka结构
20.kafka分区服务器服务方式
21.kafka编程API实现生产者和消费者
22.kafka手动修改zk的偏移量实现消费处理
23.kafka与flume集成-source集成
24.kafka与flume集成-sink集成
25.kafka与flume集成-channel集成