课程购买咨询和资料获取请加老师QQ 2020363447
课程大纲
Hadoop+Hbase+Flume+Zookeeper实现电信级海量通话日志数据的存储,随机访问与实时读写。通过hash技术对rowkey进行分析处理,解决hbase的热点问题,协同coprocessor,解决系统的高吞吐量和查询负载问题以及如何避免中间结果导致通知风暴或死递归问题,让同学们体验到大数据技术在企业中实战应用。
1.整体架构分析
hadoop体系架构与ha配置方案。
hbase体系架构与ha配置方案
flume实时收集架构方案。
SSM实现前端web实现以及与后端HBase的交互架构方案。
hive+oozie实现的周期任务调度。
Spark streaming实现窗口化敏感词实时监控方案。
2.hbase中callLogs表的设计与实现。
通话信息的内容分析与常用场景分析以及对rowkey的设计与实现。
重点讲解盐析的原理与热点问题的解决。rowkey的设计原则与实战中的技巧。
3.协处理原理与应用实战讲解。
被叫通话记录的设计思想讲解,以及通过协处理器方式实现callog日志主叫记录被主换位与同步写入。在callog是表中数据的存储序列与双向查询方方式的一致性透明结果处理。
4.Hadoop以及HBase的HA集群配置与实战。
hadoop的使用QJM的高可用架构配置讲解,ResourceManager的高可用架构配置讲解。
zookeeper的工作原理以及配置、实操演练,hbase与Hadoop HA集成注意事项以及客户端API编程细节处理。
课程介绍
课程目录
往期学员作品
用户评论
课程介绍
课程目录
往期学员作品
用户评论
你将获得
- 掌握某些知识点
- 学会某些技巧(或思路)
教学服务
1v1专属答疑服务
BAT专家面试辅导
讲师介绍
Mr Xu
多年开发和教学经验,技术全才。精通Java,大数据,Python等编程语言和技术框架; 授课10年,被学生称为顶尖高手! 讲课特点: 全部干货,拒绝忽悠,拒绝废话,上来就干! 庖丁解牛,剥茧抽丝,行云流水,大彻大悟,让你听课听到兴奋!
多年开发和教学经验,技术全才。精通Java,大数据,Python等编程语言和技术框架; 授课10年,被学生称为顶尖高手! 讲课特点: 全部干货,拒绝忽悠,拒绝废话,上来就干! 庖丁解牛,剥茧抽丝,行云流水,大彻大悟,让你听课听到兴奋!
课程详情
温馨提示
- 请勿私下交易请勿在平台外交易。与机构和老师私下交易造成的任何损失及纠纷,腾讯课堂不承担任何责任
- 听课说明
1、电脑:访问腾讯课堂官网 ke.qq.com 查看我的课表或下载win/mac客户端听课
2、手机/平板:下载腾讯课堂APP, 进入学习页面听课