隨著數(shù)據(jù)量日益劇增，企業(yè)決策比以往更需要具備強(qiáng)大的信息管理和掌控能力，協(xié)助解決關(guān)鍵問題；若要提升企業(yè)競爭優(yōu)勢，必須隨時(shí)掌握企業(yè)內(nèi)的準(zhǔn)確信息，如何去解決數(shù)據(jù)質(zhì)量問題是一條必經(jīng)之路。

縱觀眾多用戶經(jīng)常碰到的問題，概括歸納如下。

策略與思想

IBM公司針對數(shù)據(jù)質(zhì)量問題，從計(jì)劃、設(shè)計(jì)、部署和管理等方面，為用戶提供了全面的、有效的、長久的戰(zhàn)略手段和解決方案。

調(diào)查研究

“沒有調(diào)查研究，就沒有發(fā)言權(quán)”，這是中國偉人毛澤東思想，也是指導(dǎo)我們對數(shù)據(jù)質(zhì)量進(jìn)行了解、分析和認(rèn)知的原則。

使用 IBM InfoSphere Information Analyzer 軟件工具實(shí)現(xiàn)對數(shù)據(jù)進(jìn)行全面分析，包括技術(shù)層面和業(yè)務(wù)層面，體現(xiàn)如下：

• 標(biāo)準(zhǔn)評估：為您數(shù)據(jù)源的結(jié)構(gòu)、內(nèi)容和質(zhì)量建立一個(gè)全面、整體的認(rèn)知。
• 數(shù)據(jù)規(guī)則：通過定制并不斷地調(diào)整自定義數(shù)據(jù)質(zhì)量規(guī)則來對您的數(shù)據(jù)進(jìn)行更深入的質(zhì)量驗(yàn)證，趨勢預(yù)測和模式分析。
• 報(bào)告指標(biāo)：通過對分析結(jié)果的鑒別、評估以及異常管理來限制數(shù)據(jù)質(zhì)量的惡化，從而降低風(fēng)險(xiǎn)。

轉(zhuǎn)換與變身

當(dāng)全面了解清楚數(shù)據(jù)，明察秋毫后，有了依據(jù)就對“問題”數(shù)據(jù)進(jìn)行大刀闊斧地轉(zhuǎn)換，重點(diǎn)在使用 工具進(jìn)行技術(shù)層面處理，主要包括：數(shù)據(jù)格式標(biāo)準(zhǔn)化、數(shù)據(jù)裁剪，合并和轉(zhuǎn)化等。

• 交付一致、準(zhǔn)確的業(yè)務(wù)數(shù)據(jù)，提供可重用的信息服務(wù)；
• 無需編碼，在數(shù)分鐘內(nèi)就可以構(gòu)建并發(fā)布一個(gè)數(shù)據(jù)整合服務(wù)；
• 靈活的部署，支持多種協(xié)議和數(shù)據(jù)格式，能為各種類型的應(yīng)用提供可重用的信息服務(wù)。

清洗與提升

使用 ，按照業(yè)務(wù)要求進(jìn)行數(shù)據(jù)規(guī)范化處理，對自由格式數(shù)據(jù)按照業(yè)務(wù)規(guī)則進(jìn)行標(biāo)準(zhǔn)、匹配、去重復(fù)等處理。

• 通過數(shù)據(jù)調(diào)研可以揭示數(shù)據(jù)中的趨勢和潛在異常，驗(yàn)證和發(fā)現(xiàn)數(shù)據(jù)字段中的業(yè)務(wù)規(guī)則，識別無效值、或默認(rèn)值，在上下文環(huán)境中全面了解面向業(yè)務(wù)的數(shù)據(jù)語義。
• 標(biāo)準(zhǔn)化數(shù)據(jù)，將不同格式的數(shù)據(jù)轉(zhuǎn)換成統(tǒng)一標(biāo)準(zhǔn)的格式，識別并改正無效值，標(biāo)準(zhǔn)化拼寫和縮寫格式。
• 利用業(yè)界領(lǐng)先的基于統(tǒng)計(jì)的概率性匹配算法識別一個(gè)或多個(gè)數(shù)據(jù)源之間的重復(fù)數(shù)據(jù)，建立不同記錄間的數(shù)據(jù)聯(lián)系。
• 根據(jù)重復(fù)數(shù)據(jù)交叉填充“最佳的”可用數(shù)據(jù)，保留“最佳”的信息創(chuàng)建一個(gè)“合并的”記錄。
• 直觀易用的圖形化用戶界面，與DataStage無縫整合。

實(shí)現(xiàn)目標(biāo)

• 建立了業(yè)務(wù)數(shù)據(jù)質(zhì)量問題分析和評估系統(tǒng)，作為制定數(shù)據(jù)質(zhì)量控制流程的依據(jù)；
• 對所有數(shù)據(jù)進(jìn)行掃描, 發(fā)現(xiàn)數(shù)據(jù)中潛在的不規(guī)則和不一致；
• 定位不合法的值，殘缺不全的值，發(fā)現(xiàn)未被記錄下來的業(yè)務(wù)規(guī)則，進(jìn)行數(shù)據(jù)清洗和轉(zhuǎn)換；
• 實(shí)現(xiàn)企業(yè)的數(shù)據(jù)質(zhì)量驗(yàn)證、監(jiān)控，流程化管理和生產(chǎn)運(yùn)行。

總結(jié)

數(shù)據(jù)質(zhì)量提升是個(gè)“很大”的話題，涉及業(yè)務(wù)法規(guī)、技術(shù)手段和監(jiān)管等多方面。IBM為其客戶提供了能“腳踏實(shí)地”提升數(shù)據(jù)質(zhì)量的解決方案，領(lǐng)先競爭對手，和開展更好業(yè)務(wù)。

在全球，IBM已擁有大批采用該解決方案去實(shí)施數(shù)據(jù)治理項(xiàng)目，并取得成功。

詳情請咨詢！

客服熱線：023-66090381