课程分类

课程介绍
课程目录
用户评论
课程介绍
课程目录
用户评论

你将获得

  • 掌握某些知识点
  • 学会某些技巧(或思路)

教学服务

  • icon

    1v1专属答疑服务

  • icon

    BAT专家面试辅导

讲师介绍

  • 古桥科技创始人兼技术总监,曾多年担任大型企业技术总监职位,技术专家顾问,有多个大型分布式项目集群开发与实施经验,对技术架构、物联网、边缘计算、大数据有独到见解。

  • 课程详情

    一、简介



    本课程由古桥科技 灰哥哥 精心录制。



    支持异构系统,实时上报数据(kafak、mqtt、rest等多来源)到flink,然后做实时分析或离线批处理,分析后的结果以多种形式保存/流转(kafak、mqtt、hdfs、mysql、redis 、hbase),底层以hadoop作为大数据存储与yarn资源管理,实战项目来源于商用项目二次设计,采用分布式高可用集群。



    本课程提供一键安装包,快速体验,从零基础学习角度设计并讲解,深入浅出,助您轻松掌握新一代流式计算与大数据分析全栈处理技术, 涵盖了真实业务全场景应用。



    同时提供包括: java微服架构设计、系统运维、docker、linux shell编程、node-red等相关知识详细讲解。



    本课程以EdgeXFoundry作为物联平台例示端。



    本系列课程可作为商业项目交付的基础框架、企业数据中台基础框架。



    二、课程适应群体



    1)企业老板,降低投入风险,前期招1名java人员,即可承接大型项目

    2)有简单java基础的程序员或在校学生,想高起点,高薪资,少走弯路

    3)渴望通过技术提高薪水的程序员,有欲转为系统架构师/技术总监

    4)高校老师/科研人员,作为教学素材、科研项目原型

    5)运维工程师,想转为高级技术工程师/运维总监



    三、课程特色



    1)体验式学习,深入浅出,并提供一键安装包与详细电子文档

    2)商用级案例实战

    3)主流/实用技术

    4)系统性完整性



    四、课程内容与技术栈











    五、售后服务





    六、详细的电子文档



    1. 概述 6

    2. 环境准备 6

    2.1. 约定 6

    2.2. 下载安装包及执行文件 7

    3. 快速安装 8

    3.1. 上传安装包到服务器 8

    3.2. 解压安装包 8

    3.3. 修改安装配置文件 9

    3.3.1. flink.conf 文件配置 10

    3.3.2. hadoop.conf 文件配置 10

    3.3.3. hive.conf 文件配置 11

    3.3.4. hosts 文件配置 11

    3.3.5. kafkabroker.conf 文件配置 12

    3.3.6. zk.conf 13

    3.4. 执行安装命令 13

    3.4.1. 安装问题解决 15

    3.5. 安装路径说明 16

    3.6. 验证安装结果 16

    3.6.1. 查看进程 16

    3.6.2. Hdfs namenode HA 18

    3.6.3. Yarn resourcemanager HA 21

    3.6.4. Hbase master HA 22

    3.6.5. Flink jobmanager HA 25

    3.6.6. 查看业务数据导入hive 29

    4. 应用服务启停 32

    4.1. 停止服务 32

    4.2. 启动服务 32

    5. 卸载与重新安装 33

    5.1. 卸载 33

    5.2. 重新安装 33

    6. hadoop配置说明 34

    6.1. 环境变量与PATH 34

    6.2. Zookeeper集群 34

    6.2.1. zoo.cfg文件 34

    6.2.2. 环境变量 34

    6.3. HDFS (Namenode HA) 35

    6.3.1. core-site.xml 35

    6.3.2. hdfs-site.xml 35

    6.3.3. slaves配置 37

    6.4. Yarn (RM HA) 38

    6.4.1. mapred-site.xml 39

    6.4.2. yarn-site.xml 39

    6.5. HBase (Master HA) 43

    6.5.1. 环境变量 43

    6.5.2. Hbase集群 43

    6.5.3. Hbase Master HA 44

    6.6. Hive 45

    6.6.1. hive-site.xml文件 45

    6.6.2. 环境变量 46

    6.6.3. 可能的问题 46

    6.7. Sqoop 48

    7. Flink配置说明 48

    7.1. flink-conf.xml 48

    7.2. masters文件 49

    7.3. slaves文件 50

    7.4. zoo.cfg文件 50

    8. Edgex配置说明 51

    8.1. dockercompose.yml文件 关注标黄内容 51

    8.2. Mysql5.7 docker 运行说明 63

    8.3. Kafka docker配置说明 64

    9. Edgex实时数据分析与批处理 65

    9.1. 写redis 65

    9.1.1. 按时间分析 65

    9.1.2. 按数量分析 67

    9.2. 写Hbase 68

    9.2.1. 按数量 68

    9.2.2. 按时间 68

    9.3. 原始数据处理 69

    9.3.1. kafak消息源 69

    9.3.2. mqtt消息源 69

    9.3.3. Sink到各分支参数说明 70

    9.4. 批处理 71

    9.4.1. 读hive 71

    9.4.2. 读hdfs 72

    9.5. 查看分析结果4种方式 73

    9.5.1. 页面查看 73

    9.5.2. Postman查看 73

    9.5.3. Node-red查看 75

    9.5.4. 客户端工具查看 76

    10. 命令手册 78

    10.1. Hadoop相关命令 78

    10.1.1. 启停hdfs nameode 78

    10.1.2. 启停yarn resoucemanager 78

    10.1.3. 启停hdfs 79

    10.1.4. 启停hbase 79

    10.1.5. Hive常用命令 80

    10.1.6. Hbase常用命令 80

    10.2. EDGEX相关命令 80

    10.2.1. 启动 80

    10.2.2. 停止 80

    10.2.3. 启停单个服务 80

    10.2.4. 重置IP与topic 81

    10.2.5. kafka消息查看 81

    10.3. Flink相关命令 82

    10.3.1. Flink集群启停 82

    10.3.2. jobmanager启停 82

    10.3.3. 提交flink job 83

    10.3.4. savepoint 85

    10.4. HDFS文件与目录操作 86

    10.5. Redis常用命令 87

    10.5.1. redis-cli 87

    10.5.2. 图形客户端工具 88

    10.6. 触发MQTT消息(两种方式) 90

    10.6.1. edgex生产mqtt消息 90

    10.6.2. UI工具上报mqtt消息 90

    10.7. 触发kafka消息(两种方式) 91

    10.7.1. edgex上报kafka消息 91

    10.7.2. 通过模拟器手工发 91

    11. 二次开发 92

    11.1. 开发环境 92

    11.1.1. 导入项目(eclipse) 92

    11.1.2. 主要目录文件简述 96

    11.1.3. 编译打包 96

    11.2. Mock 100

    11.3. Redis配置 101

    12. 常见问题解答 101

    12.1. 本平台只能edgexfoundry数据源吗 101

    12.2. Flink相关 102

    12.2.1. Flink提交的作业一直等待 102

    12.2.2. Flink没收到edgex发来的kafka消息 102

    12.2.3. 提交job错误 Unable to retrieve any partitions 106

    12.2.4. Flink list命令报错或 standalone集群命令提交作业报错 107

    12.2.5. Mqtt 任务提交后报错 108

    12.2.6. 没有收到Edgex发出的mqtt消息 108

    12.2.7. Flink on yarn 提交job失败 108

    12.3. Hbase相关 109

    12.3.1. Hbase无法启动 109

    12.3.2. Hbase无法创建表 109

    12.3.3. 分析结果无法写入Hbase 110

    12.4. Redis连接不上 110

    12.5. Hdfs namenode HA无法故障时自动切换 110

    12.6. Hive无法工作 111

    12.7. Docker相关 111

    12.8. 安装问题 111

    12.8.1. Hive导入业务测试数据错误 111

    12.8.2. 镜像装载错误 112

    温馨提示
    • 请勿私下交易
      请勿在平台外交易。与机构和老师私下交易造成的任何损失及纠纷,腾讯课堂不承担任何责任
    • 听课说明

      1、电脑:访问腾讯课堂官网 ke.qq.com 查看我的课表或下载win/mac客户端听课

      2、手机/平板:下载腾讯课堂APP, 进入学习页面听课