【赵强老师】京东大数据平台专题之六:Pig和Presto
  1. 京东大数据专题

    1. 录播
      (6)Pig和Presto
      78分钟

对课程感兴趣?

点击报名,听课时长可兑换余额哦~

【赵强老师】京东大数据平台专题之六:Pig和Presto免费

最近在学 1 累计报名 2 好评度 -
咨询老师
用手机看

扫一扫继续用手机看

  • 微信扫码

  • QQ扫码

下载手机APP

课程概述

目录

评论

老师介绍

  • 赵强老师

    赵强老师

    赵强老师,清华大学软件工程专业毕业。京东大学大数据学院院长,Oracle(中国)高级技术顾问。精通大数据、Oracle数据库、NoSQL数据库,以及中间件技术
简  介 【赵强老师】京东大数据平台专题之六:Pig和Presto
Apache Pig 是一个高级过程语言,适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询,Pig 可以简化 Hadoop 的使用。
用MapReduce进行数据分析。当业务比较复杂的时候,使用MapReduce将会是一个很复杂的事情,比如你需要对数据进行很多预处理或转换,以便能够适应MapReduce的处理模式。另一方面,编写MapReduce程序,发布及运行作业都将是一个比较耗时的事情。Pig的出现很好的弥补了这一不足。Pig能够让你专心于数据及业务本身,而不是纠结于数据的格式转换以及MapReduce程序的编写。本质是上来说,当你使用Pig进行处理时,Pig本身会在后台生成一系列的MapReduce操作来执行任务,但是这个过程对用户来说是透明的。

Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。

* 课程提供者:赵强