Hive功能

Hive是基于Hadoop構(gòu)建的一套數(shù)據(jù)倉庫分析系統(tǒng)，它提供了豐富的SQL查詢方式來分析存儲在Hadoop分布式文件系統(tǒng)中的數(shù)據(jù)：可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的SQL查詢功能；可以將SQL語句轉(zhuǎn)換為MapReduce任務(wù)運行，通過自己的SQL查詢分析需要的內(nèi)容，這套SQL簡稱Hive SQL，使不熟悉mapreduce的用戶可以很方便地利用SQL語言查詢、匯總和分析數(shù)據(jù)。而mapreduce開發(fā)人員可以把自己寫的mapper和reducer作為插件來支持Hive做更復(fù)雜的數(shù)據(jù)分析。它與關(guān)系型數(shù)據(jù)庫的SQL略有不同，但支持了絕大多數(shù)的語句如DDL、DML以及常見的聚合函數(shù)、連接查詢、條件查詢。它還提供了一系列的1：具進行數(shù)據(jù)提取轉(zhuǎn)化加載，用來存儲、查詢和分析存儲在Hadoop中的大規(guī)模數(shù)據(jù)集，并支持UDF（User-Defined Function）、UDAF(User-Defnes AggregateFunction)和UDTF（User-Defined Table-Generating Function），也可以實現(xiàn)對map和reduce函數(shù)的定制，為數(shù)據(jù)操作提供了良好的伸縮性和可擴展性。

Hive不適合用于聯(lián)機（online）上事務(wù)處理，也不提供實時查詢功能。它最適合應(yīng)用在基于大量不可變數(shù)據(jù)的批處理作業(yè)。Hive的特點包括：可伸縮（在Hadoop的集群上動態(tài)添加設(shè)備）、可擴展、容錯、輸入格式的松散耦合。

內(nèi)部表

Hive的內(nèi)部表與數(shù)據(jù)庫中的Table在概念上是類似。每一個Table在Hive中都有一個相應(yīng)的目錄存儲數(shù)據(jù)。刪除表時，元數(shù)據(jù)與數(shù)據(jù)都會被刪除。

內(nèi)部表示例：

創(chuàng)建數(shù)據(jù)文件：test_inner_table.txt

創(chuàng)建表：create table test_inner_table (key string)

加載數(shù)據(jù)：LOAD DATA LOCAL INPATH ‘filepath’ INTO TABLE test_inner_table

查看數(shù)據(jù)：select * from test_inner_table;  select count(*) from test_inner_table

刪除表：drop table test_inner_table

外部表

外部表指向已經(jīng)在HDFS中存在的數(shù)據(jù)，可以創(chuàng)建Partition。外部表加載數(shù)據(jù)和創(chuàng)建表同時完成（CREATE EXTERNAL TABLE ……LOCATION），實際數(shù)據(jù)是存儲在LOCATION后面指定的 HDFS 路徑中，并不會移動到數(shù)據(jù)倉庫目錄中。當(dāng)刪除一個External Table時，僅刪除該鏈接。

外部表示例：

創(chuàng)建數(shù)據(jù)文件：test_external_table.txt

創(chuàng)建表：create external table test_external_table (key string)

加載數(shù)據(jù)：LOAD DATA INPATH ‘filepath’ INTO TABLE test_inner_table

查看數(shù)據(jù)：select * from test_external_table;  ?select count(*) from test_external_table

刪除表：drop table test_external_table

分區(qū)

Partition對應(yīng)于數(shù)據(jù)庫中的Partition列的密集索引。在Hive中，表中的一個Partition對應(yīng)于表下的一個目錄，所有的Partition的數(shù)據(jù)都存儲在對應(yīng)的目錄中。

分區(qū)表示例：

創(chuàng)建數(shù)據(jù)文件：test_partition_table.txt

創(chuàng)建表：create table test_partition_table (key string) partitioned by (dt string)

加載數(shù)據(jù)：LOAD DATA INPATH ‘filepath’ INTO TABLE test_partition_table partition (dt=‘2006’)

查看數(shù)據(jù)：select * from test_partition_table;  select count(*) from test_partition_table

刪除表：drop table test_partition_table

桶

Buckets是將表的指定列通過Hash算法進一步分解成不同的文件存儲。它對指定列計算hash，根據(jù)hash值切分?jǐn)?shù)據(jù)，目的是為了并行，每一個Bucket對應(yīng)一個文件。當(dāng)需要并行執(zhí)行Map任務(wù)時，桶是不錯的選擇。

桶的示例：

創(chuàng)建數(shù)據(jù)文件：test_bucket_table.txt

創(chuàng)建表：create table test_bucket_table (key string) clustered by (key) into 20 buckets

加載數(shù)據(jù)：LOAD DATA INPATH ‘filepath’ INTO TABLE test_bucket_table

查看數(shù)據(jù)：select * from test_bucket_table;  set hive.enforce.bucketing = true;

視圖

視圖與傳統(tǒng)數(shù)據(jù)庫的視圖類似。視圖是只讀的，它基于的基本表，如果改變，數(shù)據(jù)增加不會影響視圖的呈現(xiàn)；如果刪除，會出現(xiàn)問題。如果不指定視圖的列，會根據(jù)select語句后的生成。

示例：create view test_view as select * from test

傾斜表

對大數(shù)據(jù)系統(tǒng)來講，數(shù)據(jù)量大并不可怕，可怕的是數(shù)據(jù)傾斜。

數(shù)據(jù)傾斜，是并行處理的數(shù)據(jù)集中，某一部分的數(shù)據(jù)顯著多于其它部分，從而使得該部分的處理速度成為整個數(shù)據(jù)集的瓶頸。

在Spark中，同一個Stage的不同Partition可以并行處理，而具有依賴關(guān)系的不同Stage之間是串行處理的。換句話說，一個Stage所耗費的時間，主要由最慢的那個Task決定。由于同一個Stage內(nèi)的所有Task執(zhí)行相同的計算，在排除不同計算節(jié)點計算能力差異的前提下，不同Task之間耗時的差異主要由該Task所處理的數(shù)據(jù)量決定。

傾斜表是一種特殊類型的表，其中經(jīng)常出現(xiàn)的值（重偏差）被分割成單獨的文件，其余的值將轉(zhuǎn)到其他文件。通過指定偏斜值，Hive會自動將它們分解為單獨的文件，并在查詢期間可以跳過（或包含）整個文件，從而提高性能。

創(chuàng)建表語法：create table <T> (schema) skewed by (keys) on (values) [STORED as DIRECTORIES];

具體例子： create table T (c1 string, c2 string) skewed by (c1) on ('x1')

存儲過程

存儲過程是在數(shù)據(jù)庫系統(tǒng)中為了完成特定功能的SQL 語句集，經(jīng)過第一次編譯后再次調(diào)用不需要再次編譯，用戶通過指定存儲過程的名字并給出參數(shù)（如果該存儲過程帶有參數(shù)）來執(zhí)行它。

CREATE PROCEDURE proc_test

BEGIN

Drop table order_base.O_ORDER_DETAIL;

create table order_base.O_ORDER_DETAIL (customernumber string, invoicenumber string, invoicedate string, ordernumber string, itemnumberid string, ordertypeen string, ordertypesc string, salesrepid string, warehouse string, lineamount string, linecostamount string, invoicequantity string, lineno string) clustered by (ordertypeen) into 2 buckets stored as orc  TBLPROPERTIES ('transactional'='true');

TRUNCATE TABLE order_base.O_ORDER_DETAIL;

INSERT INTO order_base.O_ORDER_DETAIL select * from ORDER_DETAIL;

update order_base.O_ORDER_DETAIL set itemnumberid=replace(itemnumberid,'*','');

END;

CALL proc_test

執(zhí)行存儲過程

hplsql -f /home/hadoop/proc_test.sql

查詢結(jié)果

select * from order_base.O_ORDER_DETAIL where ordernumber=8800840;

客戶端接口

CLI：command line interface，命令行接口。

Thrift客戶端： Hive架構(gòu)的許多客戶端接口是建立在thrift客戶端之上，包括JDBC和ODBC接口。

WEBGUI：Hive客戶端提供了一種通過網(wǎng)頁的方式訪問Hive所提供的服務(wù)。這個接口對應(yīng)Hive的HWI組件（Hive Web Interface），生產(chǎn)環(huán)境可用Hue組件代替，下圖為Hue界面。

關(guān)于慧都數(shù)倉建模大師

跨行業(yè)數(shù)據(jù)挖掘流程

基于企業(yè)的業(yè)務(wù)目標(biāo)，進行數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)建模，最后進行評價和部署，真正實現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務(wù)決策。更多詳情，請。