Oozie的动作节点之Sqoop
  1. Oozie的动作节点之Sqoop

    1. 录播
      Oozie的动作节点之Sqoop
      21分钟

对课程感兴趣?

点击报名,听课时长可兑换余额哦~

Oozie的动作节点之Sqoop免费

最近在学 2 累计报名 2 好评度 -
咨询老师
用手机看

扫一扫继续用手机看

  • 微信扫码

  • QQ扫码

下载手机APP

课程概述

目录

评论

老师介绍

  • 赵强老师

    赵强老师

    赵强老师,清华大学软件工程专业毕业。精通大数据、Oracle数据库、NoSQL数据库,以及中间件技术
简  介 Oozie的动作节点之Sqoop
什么是Oozie?
Oozie是大数据四大协作框架之一:任务调度框架,另外三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue。它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。功能相似的任务调度框架还有Azkaban和Zeus。
Oozie工作流定义,同JBoss jBPM提供的jPDL一样,也提供了类似的流程定义语言hPDL,通过XML文件格式来实现流程的定义。对于工作流系统,一般都会有很多不同功能的节点,比如分支、并发、汇合等等。
Oozie定义了控制流节点(Control Flow Nodes)和动作节点(Action Nodes),其中控制流节点定义了流程的开始和结束,以及控制流程的执行路径(Execution Path),如decision、fork、join等;而动作节点包括Hadoop map-reduce、Hadoop文件系统、Pig、SSH、HTTP、eMail和Oozie子流程。
Oozie本质就是一个作业协调工具(底层原理是通过将xml语言转换成mapreduce程序来做,但只是在集中map端做处理,避免shuffle的过程。)

什么是Sqoop?
Sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库(比如mysql,oracle)导入到hdfs中;也可以把数据从hdfs中导出到关系型数据库中。sqoop通过Hadoop的MapReduce导入导出,因此提供了很高的并行性能以及良好的容错性。


* 课程提供者:赵强

老师还为你推荐了以下几门课程