大数据整体开发流程实战教程(Hadoop、Hive到Spark)

78人 购买 好评度 -
用手机看

扫一扫继续用手机看

  • 微信扫码

  • QQ扫码

下载手机APP
收藏
  • 第一期
更多班级

第一期

支持随到随学,25年04月过期

¥866.22

本班因教学质量问题暂时不能报名。 查看详情

课程因违反平台规定暂时不能报名。

立即购买
套餐价 :¥698.00 原价 :¥2445.00 立即购买 查看详情
套餐价 :¥1298.00 原价 :¥2981.00 立即购买 查看详情

课程概述

目录

往期学员作业()

评论

老师介绍

  • 追逐

    追逐

    大数据项目讲师, 10余年软件研发及企业培训经验,曾为多家大型企业提供企业内训。 丰富的企业应用软件开发经验、深厚的软件架构设计理论基础及实践能力。中石化,中国联通,中国移动等知名企业提供企业培训服务。
简  介 通过此案例可以学习大数据整体开发流程,课程是围绕一个大数据整理流程而做的教学课程,学完此课程可以企业流程做一个整体的认识。

课程购买咨询和资料获取请加老师QQ  2020363447  

通过此案例可以学习大数据整体开发流程,课程是围绕一个大数据整理流程而做的教学课程,让大家明白大数据不同技术的相互协调,从收集数据,过滤数据,数据分析,数据展示,

调度的使用而开发的课程,而且怎么从hadoop,hive应用快速的过度到spark上面而做的整套流程。学完此课程可以企业流程做一个整体的认识。

视频目录:
第一天
------------------
项目的简介
项目的背景
项目流程演示
讲课的内容和对应的知识点
php展示统计分析之后的数据
大数据架构介绍并且企业使用的测试集群环境和人员配置
VM的安装
centos的安装和网络配置
通过第三方连接centos的方法
CentOS的yum源更新已经关闭防火墙
JAVA的安装和hadoop安装
完全分布式搭建(上)
完全分布式搭建(下)

第二天
-------------------
通过hadoop自带的demo运行单词统计
写一个sh脚本,可以通过一台机器控制多台机器
hadoop常用的命令简单介绍
MAPREDUCE 示例编写及编程规范
安装时间同步工具,让所有电脑进行同步
Hive简介和工作流程
Mysql的安装,centos7安装mysql注意点
安装Hive,并且使用Hive做一个小案例
把txt文件的数据导入到Hive表中
Flume采集系统结构图
Flume的安装部署和实战
sqoop数据迁移和安装
sqoop数据从hadoop里面导入到mysql里面
sqoop数据从mysql里面导入到hadoop里面
Azkaban介绍和安装
Azkaban创建SSL配置和配置文件

第三天
------------------
Azkaban实战通过5个不同场景介绍原理
电视采集项目流程篇之通过linux日志收集数据到hdfs上面
电视采集项目流程篇之通过MAPREDUCE 把收集数据进行清洗
电视采集项目流程篇之清洗数据绑定到hive表中(上)
电视采集项目流程篇之清洗数据绑定到hive表中(下)
电视采集项目流程篇之根据hive绑定数据统计计算保存到hive表中
电视采集项目流程篇之把hive表中数据导入到mysql中
电视采集项目流程篇之安装php环境并且快速熟悉php语法
电视采集项目流程篇之安装php和echarts进行结合展示图表
电视采集项目流程篇之Azkaban调度脚本的编写
电视采集项目流程篇之Azkaban流程调度演示,最终在php页面展示
hadoop和hive项目怎么平滑的转到spark上面介绍
spark的安装和使用
Spark整体架构
transformation和action介绍
Spark SQL和DataFrame
电视采集项目流程spark篇通过sparksql处理业务逻辑上
电视采集项目流程spark篇通过sparksql处理业务逻辑下
电视采集项目流程spark篇通过Azkaban调度spark
项目总体总结
 

* 课程提供者:北京思无限科技有限责任公司