Facebook数据查询引擎Presto教程

554人 购买 好评度 100%
用手机看

扫一扫继续用手机看

  • 微信扫码

  • QQ扫码

下载手机APP
收藏
  • 第一期
更多班级

第一期

支持随到随学,24年07月过期

¥526.22

本班因教学质量问题暂时不能报名。 查看详情

课程因违反平台规定暂时不能报名。

立即购买

大数据机器学习实战班 ( 共33门 )

套餐价 :¥2980.00 原价 :¥4167.00 立即购买 查看详情

课程概述

目录

评论

老师介绍

  • 张长志

    张长志

    10年软件开发经验,曾在中国联通、Motorola等先后做Javaweb开发、手机开发、大数据开发,有丰富的大数据和GO语言实战经验。 培训过的精品课程有:《大数据hadoop开发》、《大数据spark开发》、《Go语言重写大数据日志收集器》 企业内训:中石化(上海,齐鲁,北京),济南联通研究院。
简  介 通过本套教程的学习你可以掌握Presto的使用和操作,胜任企业的开发应用场景。

课程咨询和资料获取请加老师QQ  1011800132  

1、presto的起因

hadoop ---hdfs----MR(java)-----hive
hive底层原理用MR,速度比较慢,公司hadoop集群主要集中于晚上到凌晨,平日工作时间负载不是很高。但在工作时间内,公司业务人员有实时查询的需求,现在主要借助于hive提供业务人员的查询。hive是基于MR类的SQL查询工具,他会输入的查询SQL解析为MapReduce,能极大的降低使用大数据门槛,让一般的业务人员可以直接准对大数据进行查询,但是有一个利弊,它的查询基于MR,会让人等待比较着急,等待的时间可能是几个小时或者一天。 spark基于内存提高改良的hive,sql,现在factbook在hive上面开发一套利器,准对hive可以通过sql语句快速查询,presto。

2、Facebook为何开发Presto

Facebook的2011的数据仓库存储在少量大型hadoop/hdfs集群,Hive是FaceBook在几年前专门为Hadoop打造的一款数据仓库工具,在以前,facebook的科学家和分析师一直靠hive进行数据分析.但hive使用MR作为底层计算框架,是专为批处理设计的,但是随着数据的不断增多,使用hive进行一个简单的数据查询可能要花费分钟或者几个小时,显然不能满足查询需求,FaceBooke也调研了其他比hive更快的工具,但是他们需要在功能有限的条件下做简单操作,以至于无法操作Facebook庞大的数据要求。
2012年开始研究自己的框架--presto,每日可以超过1pb查询,而且速度比较快,faceBook声称Presto的性能比hive要好上10倍或者100倍,presto和hive都是facebook开发的

Presto是什么


Presto是一个开源的分布式SQL查询引擎,适用于交互式查询,数据量支持GB到PB字节。
Presto的设计和编写完全是为了解决Facebook这样规模的商业数据仓库交互式分析和处理速度的问题

Presto可以做什么

Presto支持在线数据查询,包括Hive kafka Cassandra关系数据库以及专门数据存储,一条Presto查询可以将多个数据源进行合并,可以跨越整个组织进行分析。
Presto以分析师的需求作为目标,他们期望相应速度小于1秒到几分钟,Presto要么在使用速度的快的昂贵的商业方案,提高内存,要么是消耗大量的硬件进行快速查询。(128G 64G)

架构图

 

本套课程教给如何在企业环境中使用Presto技术。
 

* 课程提供者:张长志

老师还为你推荐了以下几门课程