數據倉庫(DW)和商業智能(BI)項目是許多組織的重中之重，他們希望在整個企業中賦予更多、更好的數據驅動決策和行動。這些集團希望擴大其數據發現、BI和分析的用戶群，以便其業務用戶做出明智的決策。同時，用戶要求高質量的、往往是復雜的BI報告。

數據倉庫項目是高度復雜的，從根本上講是有風險的。在眾多任務中，領導數據倉庫團隊的項目經理必須識別所有數據質量風險。這個過程的主要目標是記錄與項目風險有關的基本信息。本文主要介紹如何避免其他數據倉庫和BI項目所經歷的以下四個常見錯誤，以便成功規劃和實施新功能和能力。

未能在項目早期引入質量保證

在數據倉庫/BI項目的初始階段，重點往往是BI需求和數據相關的需求，以構建業務數據存儲、企業數據倉庫和應用報告基礎設施。不知為何，端到端DW項目測試和數據質量的重要性往往被忽視。對于數據質量，人們總是贊賞有加。不過，隨著數據倉庫需求和設計的進展，對數據建模、數據采集和ETL設計的過度關注可能會導致團隊失去對數據質量的關注。最終，會出現這樣的問：

"目標數據與來源不一致。"
"重復的數據很多。"
"匯總和報告鉆取不正確。"

最終，數據倉庫的成功高度依賴于規劃、設計和執行一系列測試的能力，這些測試能夠暴露早期和持續的問題：數據不一致、數據質量、數據安全、ETL流程、性能、業務流準確性和最終用戶體驗等問題。

許多數據倉庫團隊在開發新軟件時，都在爭論何時開始測試。對于大多數DW項目來說，軟件測試應該在設計和需求確定后立即開始。早期開始QA可以提供幾個優勢，提高軟件測試的整體效率。QA在項目開始時的參與使測試人員能夠了解他們將要測試的產品和業務規則，從而提高整個項目的效率。他們很可能會設計出更好的測試計劃和測試用例。

在設計和需求階段，測試人員可以與開發人員合作，確定設計的哪些方面是可以測試的，哪些方面的風險較大。這些知識將有助于防止測試錯誤，并使測試人員更好地設計測試用例和識別缺陷。

實施一個成功的數據倉庫項目是具有挑戰性的。它需要平衡許多因素，如強大的業務參與、全面的數據分析、可擴展的系統、數據架構、全面的計劃、數據治理、高質量的數據、使用既定的標準和流程、出色的溝通和項目管理。

在加載到數據倉庫之前，未能充分描述和驗證源數據

分析師的研究一直表明，超過75%的數據倉庫和數據集成項目團隊要么超期，要么超預算，要么以其他方式遭遇項目失敗。為什么失敗率這么高？

源數據質量不足是各種數據倉庫項目失敗的根本原因。在前期對所有源數據進行剖析和驗證可以產生顯著的效益。

數據倉庫項目的傳統方法遵循這些基本步驟。

• 分析業務，用戶和項目的技術要求。
• 分析可用的內部和外部數據源。
• 從遺留系統、業務系統和外部來源中識別和分析一組數據源，以確定它們與目標數據庫要求的相關性。

在開始設計目標數據倉庫之前，假設知道你的源數據可能是愚蠢的。傳統的數據集成方法的主要弱點是，它假設應用程序所需的數據完全可以從數據源中獲得。大型企業在數據集成項目上花費了數百萬美元，后來才知道源數據不支持目標模型。

應該對每個數據源進行數據剖析：實施表分析、行和列分析、主鍵和外鍵評估以及跨表分析。還應考慮對源數據進行剖析，以發現最小值、最大值、平均值、模式、百分比和重復值--甚至剖析元數據，如數據類型、數據長度、空值和字符串模式。

對測試自動化重視不夠

隨著數據倉庫DevOps的出現，企業發布新應用的速度比以往任何時候都要快--有時是按需發布，有時是一天發布多次。然而，眾多企業仍然在使用手動ETL測試流程來測試高度可見或面向客戶的應用程序。這就轉化為對客戶忠誠度、品牌、機密數據的風險，甚至更糟。即使有新的自動化工具進入市場，今天的ETL和數據剖析測試仍然主要通過手動測試來完成。

自動化ETL測試可以在沒有太多用戶干預的情況下進行頻繁的煙霧和回歸測試。在每個新的數據庫構建后，對可信代碼進行自動測試，可以節省可衡量的時間和成本。

實施數據倉庫測試自動化工具的決定取決于支持額外支出以滿足高級測試要求的預算。如果認為實施供應商提供的測試自動化成本過高，則必須考慮在內部構建和維護的測試工具，因為它們很可能比完全沒有測試自動化具有更顯著的優勢。

在開發測試自動化的方案時，評估你的整套測試方案，根據風險和價值（ROI）確定自動化的最佳候選方案。哪種類型的缺陷會導致你停止集成或部署？哪些類型的測試會行使關鍵的核心功能？哪些測試覆蓋了應用程序中歷史上已知會失敗的區域？哪些測試提供了管道中其他測試尚未覆蓋的信息？

最終，測試自動化節省了時間和金錢，更重要的是，業務用戶將欣賞BI交付品的質量，并接受來自數據平臺解決方案的數據為 "事實的單一版本"。

實施有缺陷的項目變更管理控制

在任何數據倉庫項目中，變化是不變的。無論哪個行業，最終都會出現新的需求和其他變化。持續改進的動力和新的數據倉庫要求通常會引發項目范圍或交付物的變化。

變更管理是數據倉庫計劃成功的一個重要組成部分，但全面的變更管理有多少次被最小化了？根據Forrester的2014年第一季度全球BI成熟度調查，完全有一半的受訪者認為，他們基于新數據倉庫數據和功能的變更管理流程沒有很好地建立起來，而且運作不順暢。

測試人員需要參考所有變更中涉及的關鍵文檔--如業務需求、設計和技術規范、數據映射文檔、ETL作業流程等文檔。識別這些文檔并將其與整個變更管理流程聯系起來，以及準備測試計劃的能力對于有效的質量保證是至關重要的。

BI 計劃的變更通常來自多個來源，包括業務所有者或其他利益相關者的請求和源系統變更的影響。QA 團隊應該參與變更的記錄、管理、優先級排序和更新，然后應該確保所有的變更得到驗證。如果你的組織已經有了一個變更跟蹤工具，那么利用它是一個好主意。

數據倉庫和商業智能/分析項目傾向于為技術和實施做預算，但變更管理和上線后的采用活動往往資金不足，甚至完全被忽視。良好的變更管理有助于從一開始就進行溝通，激勵用戶從抵觸到接受，甚至是興奮--增加購買力，并極大地促進新功能的成功采用。

Gartner集團CIO研究組的研究總監Patrick Meehan指出，大多數失敗的數據倉庫/BI（和DM/A）項目都是由于管理層和IT團隊之間對新的和不斷變化的需求溝通不暢而導致延遲或超出預算。你的組織正在推出一個數據倉庫項目時，如果變革管理是該計劃的一個組成部分，那么成功的機會就會大大增加。

最后

這里描述的錯誤集中在幫助組織回避許多其他數據倉庫項目所遇到的QA問題。提供的技巧將有助于確保數據倉庫團隊計劃和實施新功能時的滿意度。這些久經考驗的建議可以節省大量金錢，時間，人力資源，并改善正在開發的數據倉庫應用程序的結果。

關于慧都數倉建模大師

 慧都數倉建模大師能夠快速、高效地幫助客戶搭建數據倉庫供企業決策分析之用。滿足數據需求效率、數據質量、擴展性、面向主題等特點。基于企業的業務目標，進行數據理解、數據準備、數據建模，最后進行評價和部署，真正實現數據驅動業務決策。更多詳情，請。

慧都 BI 提供Qlik的產品和技術服務，更有企業級BI業務分析解決方案，我們擁有包括Tableau、Power BI和 IBM Cognos全球領先的BI產品，并提供相關解決方案，讓數據創造無限價值。