什么是數(shù)據(jù)倉庫

數(shù)據(jù)倉庫是信息（對其進(jìn)行分析可做出更明智的決策）的中央存儲庫。通常，數(shù)據(jù)定期從事務(wù)系統(tǒng)、關(guān)系數(shù)據(jù)庫和其他來源流入數(shù)據(jù)倉庫。業(yè)務(wù)分析師、數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家和決策者通過商業(yè)智能（BI）工具、SQL 客戶端和其他分析應(yīng)用程序訪問數(shù)據(jù)。

數(shù)據(jù)和分析已然成為各大企業(yè)保持競爭力所不可或缺的部分。企業(yè)用戶依靠報告、控制面板和分析工具從其數(shù)據(jù)中獲得洞察力、監(jiān)控企業(yè)績效以及更明智地決策。數(shù)據(jù)倉庫通過高效地存儲數(shù)據(jù)以便最大限度地減少數(shù)據(jù)輸入和輸出（I/O），并快速地同時向成千上萬的用戶提供查詢結(jié)果，為這些報告、控制面板和分析工具 由數(shù)據(jù)倉庫提供支持。

如何架構(gòu)數(shù)據(jù)倉庫

數(shù)據(jù)倉庫的架構(gòu)包含多個層。頂層是通過報告、分析和數(shù)據(jù)挖掘工具呈現(xiàn)結(jié)果的前端客戶端。中間層包括用于訪問和分析數(shù)據(jù)的分析引擎。架構(gòu)的底層是加載和存儲數(shù)據(jù)的數(shù)據(jù)庫服務(wù)器。數(shù)據(jù)使用兩種不同類型的方式存儲：1）經(jīng)常訪問的數(shù)據(jù)存儲在最快的存儲裝置中（例如，SSD 驅(qū)動器），2）不經(jīng)常訪問的數(shù)據(jù)存儲在便宜的對象存儲區(qū)中，數(shù)據(jù)倉庫將自動確保經(jīng)常訪問的數(shù)據(jù)被移進(jìn)“快速”存儲以便優(yōu)化查詢速度。

ETL的作用

數(shù)據(jù)倉庫接收的數(shù)據(jù)源是不同的，要做到有效集成，需要抽取、轉(zhuǎn)換、加載三個步驟，也就是ETL（Extract-Transform-Load）。

• Extract：數(shù)據(jù)抽取，就是把數(shù)據(jù)從數(shù)據(jù)源讀出來
• Transform：數(shù)據(jù)轉(zhuǎn)換，就是把數(shù)據(jù)轉(zhuǎn)換為特定的格式
• Load：數(shù)據(jù)加載，把處理后的數(shù)據(jù)加載到目標(biāo)處。

使用數(shù)據(jù)倉庫有哪些優(yōu)勢

數(shù)據(jù)倉庫的優(yōu)勢包括：

• 知情地做出決定
• 整合多個來源的數(shù)據(jù)
• 歷史數(shù)據(jù)分析
• 數(shù)據(jù)質(zhì)量高、一致且準(zhǔn)確
• 將分析處理從事務(wù)數(shù)據(jù)庫中分離出來，從而提高兩個系統(tǒng)的性能

數(shù)據(jù)倉庫、數(shù)據(jù)庫和數(shù)據(jù)湖如何一起工作

通常，企業(yè)使用數(shù)據(jù)庫、數(shù)據(jù)湖和數(shù)據(jù)倉庫的組合來存儲和分析數(shù)據(jù)。

 數(shù)據(jù)倉庫是專門為數(shù)據(jù)分析設(shè)計的，涉及讀取大量數(shù)據(jù)以了解數(shù)據(jù)之間的關(guān)系和趨勢。數(shù)據(jù)庫用于捕獲和存儲數(shù)據(jù)，例如記錄事務(wù)的詳細(xì)信息。

與數(shù)據(jù)倉庫不同，數(shù)據(jù)湖是所有數(shù)據(jù)（包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)）的中央存儲庫。數(shù)據(jù)倉庫要求數(shù)據(jù)使用表格形式進(jìn)行整理，Schema 通過它發(fā)揮作用。需要采用表格形式以便使用 SQL 來查詢數(shù)據(jù)。但是，并非所有應(yīng)用程序都要求數(shù)據(jù)為表格形式。有些應(yīng)用程序，例如大數(shù)據(jù)分析、完整文本搜索和機(jī)器學(xué)習(xí)，即使是對于“半結(jié)構(gòu)化”或完全非結(jié)構(gòu)化的數(shù)據(jù)，也能夠進(jìn)行訪問。

數(shù)據(jù)倉庫與數(shù)據(jù)湖的對比

數(shù)據(jù)倉庫與數(shù)據(jù)庫的對比

數(shù)據(jù)集市與數(shù)據(jù)倉庫

數(shù)據(jù)集市是一種數(shù)據(jù)倉庫，用于滿足特定團(tuán)隊或業(yè)務(wù)部門（例如財務(wù)、營銷或銷售）的需求。它更小、更集中，并且可能包含最適合其用戶社區(qū)的數(shù)據(jù)匯總。數(shù)據(jù)集市也可以是數(shù)據(jù)倉庫的一部分。

數(shù)據(jù)倉庫與數(shù)據(jù)集市的對比

主流的數(shù)據(jù)倉庫

國內(nèi)最常用的是一款基于Hadoop的開源數(shù)據(jù)倉庫，名為Hive，它可以對存儲在HDFS的文件數(shù)據(jù)進(jìn)行查詢、分析。

Hive對外可以提供HiveQL，這是類似于SQL語言的一種查詢語言。在查詢時可以將HiveQL語句轉(zhuǎn)換為MapReduce任務(wù)，在Hadoop層進(jìn)行執(zhí)行。

Hive的最大優(yōu)勢在于免費，那其他知名的商業(yè)數(shù)據(jù)倉庫有那些呢？比如Oracle，DB2，Teradata。這里就不多加贅述，感興趣的朋友可以，或在文章下方留言共同交流。

關(guān)于慧都數(shù)倉建模大師

跨行業(yè)數(shù)據(jù)挖掘流程

基于企業(yè)的業(yè)務(wù)目標(biāo)，進(jìn)行數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)建模，最后進(jìn)行評價和部署，真正實現(xiàn)數(shù)據(jù)驅(qū)動業(yè)務(wù)決策。更多詳情，請。