在本系列的第1部分中，我們描述了數(shù)據(jù)倉(cāng)庫(kù)（DW）和商業(yè)智能（BI）項(xiàng)目如何成為許多組織的高度優(yōu)先事項(xiàng)。項(xiàng)目發(fā)起人尋求在整個(gè)企業(yè)中授權(quán)更多更好的數(shù)據(jù)驅(qū)動(dòng)決策和行動(dòng)； 他們打算擴(kuò)展其用于BI，分析和數(shù)據(jù)發(fā)現(xiàn)的用戶基礎(chǔ)，以便用戶做出明智的決策。

避免的這一系列錯(cuò)誤集中在幫助組織回避DW項(xiàng)目中太常見的質(zhì)量問題，此處提供的提示將有助于確保DW團(tuán)隊(duì)計(jì)劃和實(shí)施新功能時(shí)的滿意度。

在DW / BI項(xiàng)目要求和技術(shù)設(shè)計(jì)方面的審查不足

左移質(zhì)量保證是DW開發(fā)的一種方法，其中質(zhì)量保證在生命周期中盡早而頻繁地執(zhí)行-在總項(xiàng)目計(jì)劃中通常位置的左邊。 “左移”是指動(dòng)態(tài)數(shù)據(jù)質(zhì)量驗(yàn)證和靜態(tài)測(cè)試：進(jìn)行檢查，檢查以及單元和集成測(cè)試。但是，許多DW項(xiàng)目尚未開始采用這一潛在的重要過程。

在項(xiàng)目生命周期中將驗(yàn)證過程向左移動(dòng)是一種敏捷實(shí)踐，它為與設(shè)計(jì)和開發(fā)活動(dòng)（或與之并行）的驗(yàn)證提供了一種方法。也就是說(shuō)，開發(fā)團(tuán)隊(duì)和質(zhì)量檢查團(tuán)隊(duì)協(xié)作來(lái)計(jì)劃，管理和執(zhí)行測(cè)試，以加速向企業(yè)和開發(fā)人員反饋問題。

在項(xiàng)目生命周期的早期階段執(zhí)行質(zhì)量保證任務(wù)時(shí)，DW架構(gòu)師，業(yè)務(wù)和數(shù)據(jù)分析師以及ETL和BI報(bào)表程序員將承擔(dān)“測(cè)試”角色以發(fā)現(xiàn)問題。如果盡早實(shí)施，則專注于業(yè)務(wù)規(guī)則和安全性的驗(yàn)證-甚至是驗(yàn)收測(cè)試-可以為項(xiàng)目質(zhì)量和成功帶來(lái)切實(shí)的好處。在發(fā)布周期結(jié)束時(shí)花費(fèi)數(shù)周或數(shù)月的時(shí)間來(lái)查找和修復(fù)問題效率很低。IBM的一項(xiàng)研究報(bào)告說(shuō)：“與發(fā)布到生產(chǎn)后相比，早期修復(fù)缺陷的成本要低100倍?！?僅憑這一計(jì)算，就可以使大多數(shù)團(tuán)隊(duì)落后于左移測(cè)試。

左移測(cè)試的另一個(gè)目標(biāo)是修復(fù)將來(lái)甚至在生產(chǎn)中可能出現(xiàn)的問題。因此，當(dāng)組織采用左移策略時(shí)，他們可以在系統(tǒng)上測(cè)試，分析進(jìn)度并通過判斷，這比一次完成要好得多。

忽略確定可驗(yàn)證數(shù)據(jù)轉(zhuǎn)換和BI報(bào)告的最佳實(shí)踐測(cè)試過程

通過運(yùn)行SQL腳本，然后將結(jié)果收集在電子表格中以進(jìn)行進(jìn)一步分析，可以對(duì)許多（也許大多數(shù)）DW項(xiàng)目進(jìn)行大多數(shù)測(cè)試。

ETL測(cè)試的這種方法可能很慢且容易出錯(cuò)。在沒有專用的過程支持工具來(lái)設(shè)計(jì)和管理那些測(cè)試的情況下，手動(dòng)執(zhí)行DW測(cè)試可能會(huì)在短期和長(zhǎng)期內(nèi)阻礙測(cè)試自動(dòng)化。

重復(fù)測(cè)試對(duì)于確保高水平的ETL數(shù)據(jù)質(zhì)量至關(guān)重要。測(cè)試的次數(shù)越多，在上線之前就會(huì)發(fā)現(xiàn)更多的錯(cuò)誤，這對(duì)于商業(yè)智能項(xiàng)目至關(guān)重要。當(dāng)用戶不信任數(shù)據(jù)時(shí)，將無(wú)法采用BI或分析解決方案。實(shí)施高級(jí)ETL測(cè)試流程將支持頻繁的回歸和煙霧測(cè)試。

實(shí)施用于ETL測(cè)試的最先進(jìn)的流程和工具的決定取決于可支持滿足高級(jí)測(cè)試要求的支出的預(yù)算。內(nèi)部構(gòu)建和維護(hù)的測(cè)試工具可能比根本沒有測(cè)試工具要好。許多ETL工具提供商都提供直接針對(duì)ETL工具的測(cè)試解決方案（例如，Informatica的數(shù)據(jù)驗(yàn)證選件— DVO）。

許多著名的測(cè)試過程包括：

• 源到目標(biāo)數(shù)據(jù)測(cè)試驗(yàn)證：記錄計(jì)數(shù)，重復(fù)數(shù)據(jù)檢查，數(shù)據(jù)轉(zhuǎn)換測(cè)試，回歸測(cè)試，冒煙測(cè)試
• 負(fù)載測(cè)試過程：實(shí)際模擬適當(dāng)數(shù)量用戶的測(cè)試，以驗(yàn)證應(yīng)用程序基礎(chǔ)結(jié)構(gòu)的性能，可靠性和可伸縮性

缺乏DW測(cè)試技能的第三方和內(nèi)部測(cè)試員

削減DW項(xiàng)目成本的沖動(dòng)常常很強(qiáng)烈，尤其是在項(xiàng)目后期。一個(gè)常見的錯(cuò)誤是將許多測(cè)試職責(zé)委派給具有有限業(yè)務(wù)和數(shù)據(jù)測(cè)試技能的資源。經(jīng)常期望DW項(xiàng)目負(fù)責(zé)人和其他動(dòng)手測(cè)試人員展示設(shè)計(jì)，規(guī)劃和執(zhí)行數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)測(cè)試用例的豐富經(jīng)驗(yàn)。

近年來(lái)，DW項(xiàng)目經(jīng)歷了一種趨勢(shì)，即業(yè)務(wù)分析師，ETL開發(fā)人員，外包測(cè)試人員，甚至業(yè)務(wù)用戶，都在計(jì)劃和執(zhí)行許多質(zhì)量檢查流程。這樣做可能會(huì)有風(fēng)險(xiǎn)。以下是DW測(cè)試經(jīng)常需要的技能：

• 對(duì)業(yè)務(wù)，DW技術(shù)要求，業(yè)務(wù)流程和業(yè)務(wù)術(shù)語(yǔ)的深入了解
• 制定針對(duì)數(shù)據(jù)倉(cāng)庫(kù)和企業(yè)業(yè)務(wù)的策略，測(cè)試計(jì)劃和測(cè)試用例的能力
• 將代碼部署到數(shù)據(jù)庫(kù)的技巧
• 對(duì)ETL會(huì)話和工作流進(jìn)行故障排除的技能
• 深入了解DW和數(shù)據(jù)庫(kù)概念
• SQL查詢和腳本編寫的高級(jí)技能

數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目失敗的原因有很多：數(shù)據(jù)體系結(jié)構(gòu)差，數(shù)據(jù)定義不一致，缺少組合來(lái)自各種數(shù)據(jù)源的數(shù)據(jù)的功能，數(shù)據(jù)值缺失或不正確，數(shù)據(jù)字段使用不一致，查詢性能不可接受等。

當(dāng)訓(xùn)練有素，經(jīng)驗(yàn)豐富的測(cè)試人員從開發(fā)的早期階段到項(xiàng)目完成提供持續(xù)的支持時(shí)，可以減少最關(guān)鍵的項(xiàng)目風(fēng)險(xiǎn)和失敗。

關(guān)于慧都數(shù)倉(cāng)建模大師

慧都數(shù)倉(cāng)建模大師能夠快速、高效地幫助客戶搭建數(shù)據(jù)倉(cāng)庫(kù)供企業(yè)決策分析之用。滿足數(shù)據(jù)需求效率、數(shù)據(jù)質(zhì)量、擴(kuò)展性、面向主題等特點(diǎn)。基于企業(yè)的業(yè)務(wù)目標(biāo)，進(jìn)行數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)建模，最后進(jìn)行評(píng)價(jià)和部署，真正實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)決策。更多詳情，請(qǐng)。

慧都 BI 提供Qlik的產(chǎn)品和技術(shù)服務(wù)，更有企業(yè)級(jí)BI業(yè)務(wù)分析解決方案，我們擁有包括Tableau、Power BI和 IBM Cognos全球領(lǐng)先的BI產(chǎn)品，并提供相關(guān)解決方案，讓數(shù)據(jù)創(chuàng)造無(wú)限價(jià)值。