基于Storm流计算天猫双十一作战室项目实战

基于Storm流计算天猫双十一作战室项目实战

最近在学 29人 累计报名 34 好评度 - 收藏
  • 部分视频试看
更多班级

部分视频试看

支持随到随学,23年07月过期

免费

本班因教学质量问题暂时不能报名。 查看详情

课程因违反平台规定暂时不能报名。

立即报名

课程概述

课程目录

学员评论

老师介绍

  • 刘明

    刘明

    刘老师,北风笔名gerry,5年软件开发从业经验,3年大数据开发经验。参与过旅游、电商、游戏等多个大型企业项目和大数据项目。先任北风网高级大数据讲师。
  • 娄景亮

    娄景亮

    北风笔名闲筝,10多年软件教育行业从业经验,微软认证讲师,参与过数字化校园云平台、医疗保险、His等多个大型的企业项目开发,在服务端开发、前端开发、项目管理等方面均有着深刻的见解和实战经验,先后担任过国内某知名机构的项目经理以及国内知名IT高端培训机构的教学主管,现任北风首席产品研发经理。
简  介 基于Storm流计算天猫双十一作战室项目实战(Storm Kafka HBase Highchats)

Storm是什么? 为什么学习Storm? Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等, 大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的佼佼者和主流。 按照storm作者的说法,Storm对于实时计算的意义类似于Hadoop对于批处理的意义。Hadoop提供了map、reduce原语,使我们的批处理程序变得简单和高效。 同样,Storm也为实时计算提供了一些简单高效的原语,而且Storm的Trident是基于Storm原语更高级的抽象框架,类似于基于Hadoop的Pig框架, 让开发更加便利和高效。本课程会深入、全面的讲解Storm,并穿插企业场景实战讲述Storm的运用。 淘宝双11的大屏幕实时监控效果冲击了整个IT界,业界为之惊叹的同时更是引起对该技术的探索。 学完本课程你可以自己开发升级版的“淘宝双11”,还等什么?

1.课程研发环境
Storm 1.0.3
Kafka 0.9
HBase 1.2
Linux采用:Centos 6.5
虚拟机采用: Vmware 10

Cloudy讲师,15年工作经验,近10年一直从事大数据技术领域,经历国内多家知名互联网企业,现就职国内一知名电商任数据部首席架构师。

1、【第一章】课程介绍,Storm简介及背景和现状,和JStorm对比
2、Storm架构原理详解
3、虚拟机安装和设置注意事项
4、Zookeeper集群部署和测试
5、Storm集群搭建及测试
6、Eclipse下介绍storm-starter例子,讲解常用API类
7、API简介和入门案例开发
8、API体系一栏,Spout和Bolt系列类介绍
9、几种Grouping策略详解
10、FatJar插件安装、打包发布,详解Storm UI界面使用
11、通过UI界面检测作业状况,详解UI查看技巧,界面查日志logviewer
12、Wroker、Executer、Task概念及关系详解,动态调整并发度
13、【实战案例】计算当天销售额
14、【案例升级】计算当天销售额和购买人数
15、时间窗口的概念及相关API介绍
16、滚动窗口 Tumbling Window的实战案例
17、滑动窗口 Sliding Window的实战案例
18、Storm容错机制Acker详解
19、【案例】Acker失败重发编码实现
20、Storm集群Start-all.sh和Stop-all.sh命令开发一
21、Storm集群Start-all.sh和Stop-all.sh命令开发二

22、【第二章】Kafka架构原理、概念详解
23、Kafka集群搭建
24、Kafka Java API 简单开发测试
25、storm-kafka 详解和实战案例,工程转到IntelliJIDEA上
26、storm-kafka案例详解续,IDEA使用技巧
27、【项目1-地区销售额】需求分析和架构设计
28、【项目1-地区销售额】Topo开发1
29、【项目1】HBase读写开发
30、【项目1】Topo开发2,加入写HBase和启动初始化动作
31、【项目1】Highchats图表的开发思路,项目中加入Web模块
32、【项目1】Servlet代码实现和讲解,项目运行

33、【第三章】Storm高级运用Trident入门,DRPC概念
34、Trident基础二
35、Trident的FirstN、投影操作、链操作、重分区
36、【项目2-省份销售TopN】需求分析,Topo开发一
37、【项目2-省份销售TopN】Topo开发二
38、【项目2】打包发布Topo,配置和启动DRPC Server,开发DRPC客户端进行验证
39、【项目2】Web端开发和项目运行
40、【项目3】需求分析,Topo开发
41、Topo开发二
42、Topo开发三,增加启动Topo进行初始化数据的机制
43、Web端开发一
44、Web端开发二,项目运行






1、全面掌握Storm技术开发、运维、调优;

2、掌握Storm完整项目开发思路和架构设计,陡直提升经验值!

3、掌握Storm Trident项目开发模式;

4、掌握Storm集成Kafka开发及项目实战;

5、掌握HighCharts各类图表开发和实时无刷新加载数据;

6、掌握Storm+Kafka+HBase的经典组合,完整呈现企业实践项目;

7、可以做到以一己之力完成从后台开发(Storm、Kafka、Hbase开发)到前台HighCharts图表开发、Jquery运用等,所有工作一个人搞定! 就是说可以一个人搞定淘宝双11大屏幕项目!

1、课程中完整开发3个Storm项目,均为企业实际项目,其中一个是完全由Storm Trident开发。 项目源码均可以直接运行,也可直接用于商用或企业。

2、Storm全面、系统、深入讲解,采用当前最新的稳定版本Storm 1.0.3 ;

3、注重实践,对较抽象难懂的技术点如Grouping策略、并发度及线程安全、批处理事务、DRPC、Storm Trident均结合企业场景开发案例进行讲解,让学员觉得简单易懂;

4、每个技术均采用最新稳定版本,学完后会员可以从Kafka到Storm项目开发及HighCharts图表开发一个人搞定!让学员身价剧增!

5、搭建CDH5生态环境完整平台,且采用Cloudera Manager界面化管理CDH5平台。让Hadoop平台环境搭建和维护都变得轻而易举。

6、分享实际项目的架构设计、优劣分析和取舍、经验技巧,陡直提升学员的经验值。

7、学习完此课程,学员完全具备追求IT行业高薪的能力。





 

* 课程提供者:北风网

老师还为你推荐了以下几门课程