傳統(tǒng)行業(yè)如何建立數(shù)據(jù)倉(cāng)庫(kù)？（下）

---

建立數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)解決企業(yè)數(shù)據(jù)問(wèn)題應(yīng)用的過(guò)程，是企業(yè)信息化發(fā)展到一定階段必不可少的一步，也是發(fā)展數(shù)據(jù)化管理的重要基礎(chǔ)。數(shù)倉(cāng)的知識(shí)市面上的書(shū)籍和文章不少，但是實(shí)際實(shí)施依據(jù)行業(yè)不同，企業(yè)核心訴求不同，從技術(shù)到方法論各有不同。如何實(shí)施數(shù)倉(cāng)項(xiàng)目，本文先以傳統(tǒng)行業(yè)的數(shù)倉(cāng)切入，從整體上講下數(shù)據(jù)倉(cāng)庫(kù)的實(shí)施方法論。(點(diǎn)擊此處查看上文）

四、數(shù)據(jù)倉(cāng)庫(kù)建模

數(shù)據(jù)倉(cāng)庫(kù)建模在前面已經(jīng)有了詳細(xì)的介紹，數(shù)據(jù)倉(cāng)庫(kù)模型是IT技術(shù)開(kāi)發(fā)人員、業(yè)務(wù)人員、決策管理者相互溝通的一套語(yǔ)言和平臺(tái)。對(duì)于數(shù)據(jù)建模工程師來(lái)說(shuō)，對(duì)業(yè)務(wù)的深刻理解是首要任務(wù)，因為數(shù)據(jù)倉(cāng)庫(kù)建模分為概念模型設(shè)計(jì)、邏輯模型設(shè)計(jì)和物理模型設(shè)計(jì)3個(gè)階段，一般按照自頂向下的順序依次對(duì)模型進(jìn)行設(shè)計(jì)。

概念模型主要是模型設(shè)計(jì)人員對(duì)業(yè)務(wù)規(guī)則的理解，是最高層次的數(shù)據(jù)模型，幾乎涵蓋了業(yè)務(wù)所有的核心概念和重要的主題，為以后邏輯模型的建設(shè)打下了基礎(chǔ)。

邏輯模型是對(duì)概念模型的分解、細(xì)化，將數(shù)據(jù)主題劃分成一個(gè)個(gè)的實(shí)體和實(shí)體關(guān)系，一般將第三范式作為設(shè)計(jì)的模板。

物理模型在邏輯模型的基礎(chǔ)上對(duì)模型實(shí)體進(jìn)行細(xì)節(jié)性的描述，包括字段類(lèi)型、長(zhǎng)度、索引等因素，最后轉(zhuǎn)化成數(shù)據(jù)庫(kù)存儲(chǔ)的物理表。

五、數(shù)據(jù)集市建模

一般數(shù)據(jù)集市模型的建設(shè)是基于需求分析得到的結(jié)果，數(shù)據(jù)集巾的建模主要針對(duì)事實(shí)表和維表的設(shè)計(jì)。例如，部門(mén)員工關(guān)系表，如果事實(shí)表包含部門(mén)編碼，則數(shù)據(jù)可以分析到部門(mén)。如果事實(shí)表又包含員工編碼，則數(shù)據(jù)既可以分析到部門(mén)，又可以分析到員工。一張事實(shí)表除了包含所要分析的維度編碼外，還包括需要分析的度量值。例如，用戶(hù)用電分析事實(shí)表，它的主題描述就是按地區(qū)、時(shí)間、電壓等級(jí)統(tǒng)計(jì)用戶(hù)的耗電量、應(yīng)收電費(fèi)，并進(jìn)行同期對(duì)比；它的維度就是地區(qū)、時(shí)間、電壓等級(jí)，度量值包括耗電量、應(yīng)收電費(fèi)等；指標(biāo)來(lái)源就是數(shù)據(jù)倉(cāng)庫(kù)中的計(jì)費(fèi)結(jié)果表、用戶(hù)基本信息表。維表一般采用增量的方式進(jìn)行抽取。

六、數(shù)據(jù)源分析

所謂數(shù)據(jù)源分析，就是對(duì)源數(shù)據(jù)進(jìn)行分析和總結(jié)，得出源數(shù)據(jù)的范圍、格式、更新方式、更新頻率和質(zhì)量好壞的過(guò)程。

數(shù)據(jù)源分析是指通過(guò)需求調(diào)研得知業(yè)務(wù)數(shù)據(jù)源的基本情況，并且加以詳細(xì)說(shuō)明，具體內(nèi)容包括數(shù)據(jù)源中存在哪些物理表，表之間的關(guān)系和表中每個(gè)字段的數(shù)據(jù)類(lèi)型和含義等。一般來(lái)說(shuō)，業(yè)務(wù)數(shù)據(jù)源通常會(huì)有數(shù)據(jù)不完整、口徑不一致，或者各個(gè)數(shù)據(jù)源存在業(yè)務(wù)規(guī)則不統(tǒng)一的情況。

另外，在分析的過(guò)程中，需要確定業(yè)務(wù)源數(shù)據(jù)中哪些數(shù)據(jù)需要被抽取。為了確定合適的抽取方式，需要在抽取之前對(duì)數(shù)據(jù)源進(jìn)行分析，分析的范圍一般包括數(shù)據(jù)的格式、數(shù)據(jù)的范圍、更新的方式、數(shù)據(jù)質(zhì)量的好壞。在分析的過(guò)程中，應(yīng)該盡可能獲取分析的結(jié)果，形成數(shù)據(jù)源分析報(bào)告，在仔細(xì)研究分析報(bào)告后，再選擇合適的抽取、加載方式。了解這些數(shù)據(jù)源的特點(diǎn)，有利于ETL 抽取時(shí)對(duì)數(shù)據(jù)的整合和統(tǒng)一，從而保證數(shù)據(jù)的質(zhì)量和可信度。

七、數(shù)據(jù)的獲取與整合

數(shù)據(jù)的獲取與整合存在于數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目中的各個(gè)階段。數(shù)據(jù)倉(cāng)庫(kù)很重要的一個(gè)作用就是將散落在各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)整合起來(lái)，不規(guī)范的數(shù)據(jù)規(guī)范起來(lái)，以一種便于分析和應(yīng)用的方式放到數(shù)據(jù)倉(cāng)庫(kù)里，供前端應(yīng)用分析。ETL 過(guò)程實(shí)際上就是數(shù)據(jù)流動(dòng)的過(guò)程，即從不同的數(shù)據(jù)源流向統(tǒng)一的目標(biāo)數(shù)據(jù)庫(kù)。數(shù)據(jù)的獲取與整合是完成數(shù)據(jù)倉(cāng)庫(kù)建設(shè)取復(fù)雜的過(guò)程，它關(guān)系到數(shù)據(jù)的質(zhì)量，是數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目建設(shè)的根基。

八、數(shù)據(jù)應(yīng)用和報(bào)表展現(xiàn)

報(bào)表絕對(duì)是讓人痛苦的東西。格式復(fù)雜、需求多變，業(yè)務(wù)沒(méi)事就改需求或者增加幾個(gè)。雖然說(shuō)起報(bào)表感覺(jué)很老土，但確實(shí)是整個(gè)數(shù)倉(cāng)項(xiàng)目?jī)r(jià)值落地呈現(xiàn)的東西。

做報(bào)表多的人，基本上都會(huì)做一個(gè)自己的工具，至少也會(huì)做一個(gè)引擎，按照自己的理解用一種結(jié)構(gòu)化加動(dòng)態(tài)的方式去定義所需要的報(bào)表，可以靈活的選擇所需要的數(shù)據(jù)，設(shè)計(jì)展現(xiàn)樣式生成報(bào)表。不過(guò)現(xiàn)在一般都是采用專(zhuān)業(yè)的低代碼的報(bào)表工具來(lái)做報(bào)表，一般人都不想每天被報(bào)表纏身。

結(jié)合前面談到的數(shù)據(jù)分層的機(jī)制，會(huì)發(fā)現(xiàn)，不管基于哪一層，都有做報(bào)表的需求。報(bào)表的重點(diǎn)不在與報(bào)表的制作，而在于如何利用報(bào)表為業(yè)務(wù)為項(xiàng)目謀價(jià)值。

大公司都會(huì)有負(fù)責(zé)報(bào)表分析這塊的項(xiàng)目人員，那針對(duì)報(bào)表延伸出來(lái)的工作，報(bào)表需求分析、指標(biāo)體系規(guī)劃、以及各位為經(jīng)營(yíng)為管理為基層人員的報(bào)表分類(lèi)，還有圍繞業(yè)務(wù)的分層設(shè)計(jì)。

對(duì)于基層員工，報(bào)表使用的最多的就是錄數(shù)據(jù)，查詢(xún)數(shù)據(jù)。比如商場(chǎng)售貨員瀏覽數(shù)據(jù)來(lái)查看商品的售賣(mài)情況，以此來(lái)及時(shí)補(bǔ)貨，還有每天的日銷(xiāo)售數(shù)據(jù)錄入。

對(duì)于部分業(yè)務(wù)人員，報(bào)表的不再是簡(jiǎn)單的展示和錄入，會(huì)衍生出一些分析的需求，比如采購(gòu)經(jīng)理，他需要決定采購(gòu)哪些品牌的商品，從哪一家供應(yīng)商來(lái)采購(gòu)，如何規(guī)劃商店的商品。那方法就是看報(bào)表看哪些商品買(mǎi)的好，以此來(lái)考慮是否需要加購(gòu)哪些品牌商品，放棄那些品牌商品或者搞促銷(xiāo)。高大上一點(diǎn)的說(shuō)辭就是利用數(shù)據(jù)優(yōu)化商品結(jié)構(gòu)，選擇供應(yīng)商。

對(duì)于企業(yè)管理層，更多的說(shuō)是做dashboard進(jìn)行指標(biāo)的監(jiān)控，做的業(yè)績(jī)分析(時(shí)間、地區(qū)緯度等)。而這一過(guò)程，也是通過(guò)數(shù)據(jù)使管理層可以更容易的按照標(biāo)準(zhǔn)的管理方法進(jìn)行決策

上期知識(shí)回顧

---

關(guān)于慧都大數(shù)據(jù)分析平臺(tái)

慧都大數(shù)據(jù)分析平臺(tái)「GetInsight®」升級(jí)發(fā)布，將基于企業(yè)管理駕駛艙、產(chǎn)品質(zhì)量分析及預(yù)測(cè)、設(shè)備分析及預(yù)測(cè)等大數(shù)據(jù)模型的構(gòu)建，助力企業(yè)由傳統(tǒng)運(yùn)營(yíng)模式向數(shù)字化、智能化的新模式轉(zhuǎn)型升級(jí)，抓住數(shù)據(jù)經(jīng)濟(jì)的發(fā)展勢(shì)頭，提供管理效能，精準(zhǔn)布局未來(lái)。了解更多，請(qǐng)聯(lián)系。

慧都大數(shù)據(jù)專(zhuān)業(yè)團(tuán)隊(duì)為企業(yè)提供商業(yè)智能大數(shù)據(jù)平臺(tái)搭建，免費(fèi)業(yè)務(wù)咨詢(xún)，定制開(kāi)發(fā)等完整服務(wù)，快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。

歡迎撥打慧都熱線023-68661681或咨詢(xún)慧都在線客服，我們有專(zhuān)業(yè)的大數(shù)據(jù)團(tuán)隊(duì)，為您提供免費(fèi)大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢(xún)！