课程分类

课程介绍
课程目录
用户评论
课程介绍
课程目录
用户评论

你将获得

  • 掌握某些知识点
  • 学会某些技巧(或思路)

教学服务

  • icon

    1v1专属答疑服务

  • icon

    BAT专家面试辅导

讲师介绍

  • 赵强老师,清华大学软件工程专业毕业。京东大学大数据学院院长,Oracle(中国)高级技术顾问。精通大数据、Oracle数据库、NoSQL数据库,以及中间件技术

  • 课程详情

    Apache Hive数据仓库软件设施,可以读、写和管理分布式存储上的大数据集(large datasets),并且可以通过SQL去查询数据集。

     

    在Apache Hadoop之上构建的Hive,有如下的特性:

    • 提供了通过SQL就可以轻松访问数据的工具集,因此可以实现诸如抽取/转换/装载(ETL)任务、报表任务、数据分析这些数据仓库任务提供了一个机制,可以在各种数据格式上创建结构(为数据赋予表结构)

    • 可以直接访问HDFS上的数据文件,或者访问其他存储系统上的文件,比如HBase

    • 查询通过Apache Tez或者Apache Spark或者MapReduce引擎执行

    • HPL-SQL是一个从Hive2.0.0开始为Hive实现的过程SQL工具)提供了过程语言

    • 通过Hive LLAP,Apache YARN和Apache Slider可以实现亚秒级数据查询

    Hive提供了标准的SQL功能,Hive的SQL也可以根据用户提供的代码扩展,比如用户定义函数(user-defined-functions,UDFs),用户定义聚合(user-defined-aggregates,UDAFs)还有用户定义表级函数(user-defined-table-functions,UDTFs)。

     

    Hive没有强调数据必须存储成什么格式的。Hive自带了一些连接器,支持逗号(comma separated values,CSV)和制表符(table separated values,TSV)分割的文本文件,还有Apache Parquet,Apache ORC等等格式。