企業(yè)獲取“可信任數(shù)據(jù)”，概括來說就是，在，集成，分析到監(jiān)管等各個(gè)環(huán)節(jié)保證數(shù)據(jù)的高質(zhì)高效，才能確保輸出的數(shù)據(jù)能為企業(yè)提供發(fā)展點(diǎn)動(dòng)力。而在這些環(huán)節(jié)之中，是最為關(guān)鍵的一環(huán)！

近年來遍地開花，在被廣泛應(yīng)用的同時(shí)，呈現(xiàn)出多樣化、異常化、速變化等特點(diǎn)，此時(shí)的企業(yè)在進(jìn)行商業(yè)決策時(shí)面對(duì)更大的挑戰(zhàn)，需要具備強(qiáng)大的信息管理和掌控能力才能化解難題，急需一套集理解、清理、監(jiān)視、轉(zhuǎn)換和提供數(shù)據(jù)于一體的數(shù)據(jù)集成平臺(tái)。

IBM數(shù)據(jù)集成解決方案正是為此而生，通過IBM DataStage和IBM Change DataCapture（CDC）兩大數(shù)據(jù)集成方案，將不同來源的數(shù)據(jù)組合成有意義、有價(jià)值的信息，完整的數(shù)據(jù)集成解決方案可提供各種來源的可信數(shù)據(jù)。

IBM DataStage：集大成者，釋放數(shù)據(jù)之和的價(jià)值

面對(duì)新型的數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)類型及格式以及更大的數(shù)據(jù)量等多方面的挑戰(zhàn)，IBM DataStage大數(shù)據(jù)集成方案使用高性能并行框架集成多個(gè)系統(tǒng)中的數(shù)據(jù)，并且支持?jǐn)U展的元數(shù)據(jù)管理和企業(yè)連通性，五行并下助力大數(shù)據(jù)集成：

• 高性能可擴(kuò)展的ETL平臺(tái)：利用多處理器硬件平臺(tái)的并行處理功能，實(shí)時(shí)、集中、批量式地對(duì)海量數(shù)據(jù)進(jìn)行高性能處理，幫助企業(yè)管理不斷增長的數(shù)據(jù)量以及日益縮短的批處理時(shí)間窗口。
• 支持大數(shù)據(jù)和 Hadoop：支持IBM InfoSphere BigInsights、Cloudera、Apache 和 Hortonworks Hadoop Distributed FileSystem (HDFS)各大大數(shù)據(jù)平臺(tái)，并提供 Balanced Optimization forHadoop 功能，來推進(jìn)數(shù)據(jù)處理，提高效率。
• 近乎實(shí)時(shí)的數(shù)據(jù)集成：提供面向服務(wù)架構(gòu) (SOA)，用于將數(shù)據(jù)集成邏輯發(fā)布為可在企業(yè)中復(fù)用的共享服務(wù)。同時(shí)支持事務(wù)處理的高速、高可靠性要求，以及批處理的大批量數(shù)據(jù)要求。
• 工作負(fù)載和業(yè)務(wù)規(guī)則管理：優(yōu)化硬件利用率，并劃分關(guān)鍵業(yè)務(wù)型任務(wù)的優(yōu)先級(jí)，支持策略驅(qū)動(dòng)的系統(tǒng)資源控制，以及不同類別工作負(fù)載的優(yōu)先級(jí)劃分。
• 易于使用：簡化管理和最大化開發(fā)資源，并提供操作智能功能、元數(shù)據(jù)和元數(shù)據(jù)導(dǎo)入的智能管理以及并行調(diào)試功能，幫助提升構(gòu)建、部署、更新和管理數(shù)據(jù)集成基礎(chǔ)架構(gòu)的速度、靈活性和有效性。

（IBM DataStage ETL系統(tǒng)架構(gòu)）

國內(nèi)某知名汽車品牌借助以DataStage為核心打造的數(shù)據(jù)集成平臺(tái)，實(shí)現(xiàn)了數(shù)據(jù)交換，處理流轉(zhuǎn)，質(zhì)量提升，清洗轉(zhuǎn)換等需求，借助企業(yè)級(jí)的DataStage ETL平臺(tái)，很好的集成了上海通用汽車公司現(xiàn)有的異構(gòu)數(shù)據(jù)源，方便的從SAPR3，Oracle，DB2，文本文件等數(shù)據(jù)源的抽取和加載，通過ETL的擴(kuò)展性，數(shù)據(jù)處理的性能和吞吐量都得到了明顯提高。

（IBM解決方案架構(gòu)圖）

IBM CDC：實(shí)時(shí)數(shù)據(jù)復(fù)制，助力性能優(yōu)調(diào)數(shù)據(jù)

IBM CDC能夠近乎實(shí)時(shí)地復(fù)制異構(gòu)數(shù)據(jù)，以支持?jǐn)?shù)據(jù)遷移、應(yīng)用程序整合、數(shù)據(jù)同步、動(dòng)態(tài)倉儲(chǔ)、主數(shù)據(jù)管理 (MDM)、業(yè)務(wù)分析和數(shù)據(jù)質(zhì)量流程。該低延遲軟件現(xiàn)在是 IBM InfoSphereData Replication 的組成部分。它支持企業(yè)數(shù)據(jù)量，同時(shí)維護(hù)交易的完整性和一致性。

• 靈活部署：CDC可采用單向，雙向，并行，級(jí)聯(lián)，集中，分發(fā)等多種拓?fù)浣Y(jié)構(gòu)及其組合的部署方式進(jìn)行復(fù)制。
• 大數(shù)據(jù)量，低延遲的數(shù)據(jù)復(fù)制：捕獲實(shí)時(shí)變化數(shù)據(jù)，極大地縮短了數(shù)據(jù)集成窗口！
• 低影響數(shù)據(jù)捕獲：基于日志，僅讀取日志，不訪問生產(chǎn)數(shù)據(jù)庫，無需改變當(dāng)前IT架構(gòu)，對(duì)生產(chǎn)系統(tǒng)的影響最小。
• 全面的異構(gòu)數(shù)據(jù)平臺(tái)支持：從傳統(tǒng)數(shù)據(jù)庫到大數(shù)據(jù)平臺(tái)，提供最廣泛的支持。
• 靈活簡單的數(shù)據(jù)交付：提供集配置、管理和監(jiān)控于一體的圖形化界面，管理方便，易于操作。

（IBM CDC產(chǎn)品架構(gòu)）

國內(nèi)某知名證券公司首創(chuàng)了一款為客戶經(jīng)理在合適的時(shí)間提供合適的服務(wù)的產(chǎn)品，需要大量的數(shù)據(jù)作為支撐，但信息獲取主要有幾方面的難度：異構(gòu)平臺(tái)，數(shù)據(jù)量巨大，數(shù)據(jù)時(shí)效性要求高，安全性要求高等。借助IBM CDC，這些問題得到迎刃而解，幫助其實(shí)時(shí)在交易系統(tǒng)中捕獲最新數(shù)據(jù)，最大限度降低了對(duì)生產(chǎn)系統(tǒng)的資源征用，有效解決了異構(gòu)平臺(tái)的信息傳輸問題。

（CDC系統(tǒng)架構(gòu)）

作為數(shù)據(jù)集成的兩大神器，DataStage和CDC術(shù)業(yè)有專攻，卻又有異曲同工之妙，強(qiáng)大的數(shù)據(jù)集成能力不僅為企業(yè)數(shù)據(jù)倉庫或大數(shù)據(jù)項(xiàng)目和應(yīng)用提供清晰、一致且及時(shí)的信息，還有助于企業(yè)管理、改進(jìn)和利用信息，推動(dòng)實(shí)現(xiàn)出色的成果，降低整合的成本和風(fēng)險(xiǎn)。

大數(shù)據(jù)時(shí)代，企業(yè)的戰(zhàn)略一定是從“業(yè)務(wù)驅(qū)動(dòng)”轉(zhuǎn)向“數(shù)據(jù)驅(qū)動(dòng)”。未來有價(jià)值的公司，一定是數(shù)據(jù)驅(qū)動(dòng)的公司。未來企業(yè)的競爭就是數(shù)據(jù)的競爭，而好的數(shù)據(jù)工具是企業(yè)做到心中有數(shù)的基礎(chǔ)，進(jìn)而通過數(shù)據(jù)完成對(duì)業(yè)務(wù)的驅(qū)動(dòng)，達(dá)到數(shù)據(jù)化運(yùn)營效果，誰擁有“可信任數(shù)據(jù)”，誰就能從大數(shù)據(jù)這座金山中挖掘到無窮的價(jià)值。

IBM 產(chǎn)品試用請(qǐng)咨詢