大数据平台架构实战和面试技巧教程

507人 购买 好评度 100%
用手机看

扫一扫继续用手机看

  • 微信扫码

  • QQ扫码

下载手机APP
收藏
  • 第一期
更多班级

第一期

支持随到随学,24年11月过期

¥876.22

本班因教学质量问题暂时不能报名。 查看详情

课程因违反平台规定暂时不能报名。

立即购买

真正的大数据实战课程 ( 共33门 )

套餐价 :¥2980.00 原价 :¥5067.00 立即购买 查看详情

课程概述

目录

评论

老师介绍

  • 黄埔课堂

    黄埔课堂

    10年软件开发经验,曾在中国联通、Motorola等先后做Javaweb开发、手机开发、大数据开发,有丰富的大数据和GO语言实战经验。 培训过的精品课程有:《大数据hadoop开发》、《大数据spark开发》、《Go语言重写大数据日志收集器》 企业内训:中石化(上海,齐鲁,北京),济南联通研究院。
简  介 通过大数据平台架构实战,让大家明白大数据在企业中是如何作业的?再通过企业级的面试题,让大家能找到满意的工作。

课程咨询和资料获取请加老师QQ  1011800132    

大数据在工作中的应用有三种:

  • 与业务相关,比如用户画像、风险控制等;
  • 与决策相关,数据科学的领域,了解统计学、算法,这是数据科学家的范畴;
  • 与工程相关,如何实施、如何实现、解决什么业务问题,这是数据工程师的工作。

大数据平台第一个要素就是数据源,我们要处理的数据源往往是在业务系统上,数据分析的时候可能不会直接对业务的数据源进行处理,而是先经过数据采集、数据存储,之后才是数据分析和数据处理。

从整个大的生态圈可以看出,要完成数据工程需要大量的资源;数据量很大需要集群;要控制和协调这些资源需要监控和协调分派;面对大规模的数据怎样部署更方便更容易;还牵扯到日志、安全、还可能要和云端结合起来,这些都是大数据圈的边缘,同样都很重要。

该项目基于洋葱教育的实际业务场景,带你从0到1搭建实现数据采集系统、离线指标统计、实时计算以及用户画像等各种实际企业需求场景。紧跟企业前沿新技术。

技术架构
Flume + Kafka + Hadoop + Hive + SparkSql +SparkStreaming + Azkaban + Zookeeper + Mysql

项目技术
离线指标计算:课程学习反馈指标、系统版本访问统计、渠道新用户统计、访问次数分布、漏斗分析、七日留存分析;实时数据处理:实时统计Vip用户新增数、订单行为异常用户及时运营、exactly-once语义数据消费机制;用户画像:用户画像理论和应用方向、用户画像需求实现

项目特色
参照真实企业项目流程打造,从服务器搭建选型到数据处理全流程呈现,主流数据采集系统搭建,常见离线指标需求多种解决方案,构建高可用高性能的实时流式计算,脱敏后的企业真实数据,原始数据1亿条,项目可以无缝应用于中小企业的生产环境,服务器真实使用阿里云服务。

* 课程提供者:黄埔课堂