本項(xiàng)目的建設(shè)目標(biāo)主要包含以下三個(gè)維度

• 系統(tǒng)維度：立足券商機(jī)構(gòu)整體層面，搭建適應(yīng)大數(shù)據(jù)處理分析場(chǎng)景的大數(shù)據(jù)平臺(tái)，并保證足夠的開放性與可擴(kuò)展性，以滿足急速增長(zhǎng)的各類數(shù)據(jù)應(yīng)用需求，適時(shí)弱化 MPP 構(gòu)架一體機(jī)在數(shù)據(jù)服務(wù)體系中的作用；
• 數(shù)據(jù)維度：對(duì)接現(xiàn)有的公司各類生產(chǎn)數(shù)據(jù)源，完成 RDBMS 與 Hadoop 間的數(shù)據(jù)導(dǎo)入同步，實(shí)現(xiàn)數(shù)據(jù)的無縫流轉(zhuǎn)，并對(duì)外提供統(tǒng)一的數(shù)據(jù)接口；
• 業(yè)務(wù)維度：在系統(tǒng)與數(shù)據(jù)建設(shè)的基礎(chǔ)上，重點(diǎn)滿足歷史查詢、非結(jié)構(gòu)化數(shù)據(jù)處理、完善客戶畫像、準(zhǔn)實(shí)時(shí)數(shù)據(jù)處理等數(shù)據(jù)使用需求，并對(duì)大數(shù)據(jù)挖掘類應(yīng)用場(chǎng)景進(jìn)行研究，以更好地支撐業(yè)務(wù)的開展。

項(xiàng)目背景

隨著客戶證券業(yè)務(wù)規(guī)模地不斷擴(kuò)大及相關(guān)產(chǎn)品和服務(wù)種類地迅速增加，數(shù)據(jù)總量正在急速增長(zhǎng)、數(shù)據(jù)類型也在不斷增多。同時(shí)，隨著互聯(lián)網(wǎng)技術(shù)不斷引入公司相關(guān)業(yè)務(wù)系統(tǒng)，線上服務(wù)占比大幅提升，已逐步成為公司主要的業(yè)務(wù)受理渠道，客戶觸點(diǎn)也隨之從有形轉(zhuǎn)為無形，數(shù)據(jù)成為了解業(yè)務(wù)和挖掘客戶需求的重要依據(jù)。

明略數(shù)據(jù)幫助國(guó)內(nèi)大型券商機(jī)構(gòu)建設(shè)企業(yè)級(jí)大數(shù)據(jù)平臺(tái)是企業(yè)科技發(fā)展規(guī)劃中的重點(diǎn)任務(wù)，通過全面建設(shè)大數(shù)據(jù)及流平臺(tái)，不斷完善數(shù)據(jù)架構(gòu)體系，發(fā)揮協(xié)同優(yōu)勢(shì)，為智能化服務(wù)、數(shù)據(jù)化運(yùn)營(yíng)、優(yōu)化數(shù)據(jù)管理提供基礎(chǔ)。

建設(shè)企業(yè)級(jí)大數(shù)據(jù)平臺(tái)，可以支持集團(tuán)非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)及分析挖掘，擴(kuò)展客戶分析，風(fēng)險(xiǎn)挖掘數(shù)據(jù)源 , 同時(shí)，能夠支持業(yè)務(wù)系統(tǒng)流數(shù)據(jù)的實(shí)時(shí)分流，為業(yè)務(wù)準(zhǔn)實(shí)時(shí)監(jiān)控和風(fēng)控提供支持。

項(xiàng)目歷程

大數(shù)據(jù)平臺(tái)于 2017 年年中正式啟動(dòng)，通過多方的共同努力，計(jì)劃于同年年底正式投入試運(yùn)行。

以下是對(duì)項(xiàng)目實(shí)施歷程的回顧，以及每個(gè)里程碑式意義的階段介紹。

項(xiàng)目歷程

大數(shù)據(jù)平臺(tái)建設(shè)是一個(gè)工程，是一個(gè)過程。大數(shù)據(jù)平臺(tái)建設(shè)涵蓋內(nèi)容豐富，實(shí)施周期緊湊，在半年的時(shí)間里，涉及了數(shù)倉(cāng)多個(gè)源系統(tǒng)的數(shù)據(jù)遷移、10 多個(gè)數(shù)據(jù)源的接入，數(shù)百個(gè)畫像標(biāo)簽的開發(fā)、1 套實(shí)時(shí)全景業(yè)務(wù)展示、1 個(gè)模型應(yīng)用驗(yàn)證、1套畫像功能的部署。下面就項(xiàng)目過程的重點(diǎn)階段進(jìn)行總結(jié)。

大數(shù)據(jù)平臺(tái)建設(shè)

利用大數(shù)據(jù)的流式處理技術(shù)，完成 Cloudera 的 CDH 大數(shù)據(jù)平臺(tái)搭建，提供HDFS，HIVE，HBase，Flume，Impala，Kafka，Kudu，Oozie，Solr，Spark，YARN，Zookeeper 等服務(wù)組件，實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的實(shí)時(shí)接入與計(jì)算，并采用豐富的圖表將各指標(biāo)數(shù)據(jù)進(jìn)行可視化展示。

客戶畫像建設(shè)

用戶畫像可通過對(duì)海量低價(jià)值密度用戶數(shù)據(jù)的深入加工，得到客戶金融特征的一組標(biāo)簽，在業(yè)務(wù)運(yùn)營(yíng)中能夠有助于更加高效地理解客戶、研究客戶需求、分析客戶潛在意圖，能夠?qū)?shù)據(jù)驅(qū)動(dòng)的思想引入到業(yè)務(wù)運(yùn)營(yíng)流程中。此次大數(shù)據(jù)平臺(tái)搭建，共完成了近10大標(biāo)簽維度，數(shù)百個(gè)標(biāo)簽的開發(fā)，并提供了便捷的標(biāo)簽管理功能、可篩選功能等，并與CRM客戶對(duì)接，可提供標(biāo)簽數(shù)據(jù)服務(wù)，幫助營(yíng)銷和銷售人員定位目標(biāo)客戶，了解客戶潛在需求，開發(fā)需求產(chǎn)品以及向客戶精準(zhǔn)營(yíng)銷。

全景業(yè)務(wù)展示建設(shè)

大數(shù)據(jù)平臺(tái)全景業(yè)務(wù)展示應(yīng)用實(shí)現(xiàn) App 活躍客戶，App 裝機(jī)，開戶信息，市占率，等業(yè)務(wù)運(yùn)營(yíng)指標(biāo)的實(shí)時(shí)展示功能，該版本的上線業(yè)務(wù)價(jià)值:通過大數(shù)據(jù)流式處理技術(shù)，將業(yè)務(wù)指標(biāo)的洞察從 T + 1 提升到實(shí)時(shí)洞察，快速洞悉業(yè)務(wù)。

指標(biāo)計(jì)算結(jié)果的處理考慮到業(yè)務(wù)對(duì)實(shí)時(shí)性的高要求，采用了構(gòu)建在 Spark 上的實(shí)時(shí)計(jì)算框架 Spark Streaming 進(jìn)行業(yè)務(wù)處理，滿足實(shí)現(xiàn)高吞吐量、高實(shí)時(shí)性及高并發(fā)性的需求，對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行實(shí)時(shí)指標(biāo)計(jì)算。數(shù)據(jù)經(jīng)過計(jì)算后存入 HBase，使用內(nèi)存數(shù)據(jù)庫(kù) Redis 來緩存計(jì)算模塊用到的配置信息和一些高頻使用的中間變量，以提高系統(tǒng)計(jì)算效率。計(jì)算完的結(jié)果數(shù)據(jù)通過 Kafka 下發(fā)，在全景業(yè)務(wù)展示區(qū)進(jìn)行實(shí)時(shí)數(shù)據(jù)的前端頁(yè)面展示。

對(duì)于存儲(chǔ)在 HBase 中的指標(biāo)數(shù)據(jù)結(jié)果，會(huì)通過 Oozie 編寫 WorkFlow 的方式，每日定時(shí)跑批將數(shù)據(jù)備份到 Hive 中，方便后續(xù)的數(shù)據(jù)查詢治理。

 全景業(yè)務(wù)展示系統(tǒng)很好的解決了核心業(yè)務(wù)指標(biāo)及客戶行為的實(shí)時(shí)洞察與分析，將數(shù)據(jù)時(shí)效性提高到秒級(jí)，并提供了數(shù)十種數(shù)據(jù)展現(xiàn)形式，實(shí)現(xiàn)了數(shù)據(jù)多維展示及趨勢(shì)分析，為宏觀決策和快速業(yè)務(wù)響應(yīng)提供了良好的支撐。客戶畫像、關(guān)聯(lián)賬戶分析、輿情分析、文本檢索。

其他功能建設(shè)

此次大數(shù)據(jù)平臺(tái)的建立，還包括搭建了爬蟲管理平臺(tái)、自然語(yǔ)言處理功能、數(shù)據(jù)挖掘作業(yè)及演示，以及提供包括 CRM 在內(nèi)的多個(gè)應(yīng)用的標(biāo)簽數(shù)據(jù)服務(wù)。

項(xiàng)目成效

明略數(shù)據(jù)為客戶建立大數(shù)據(jù)平臺(tái)，整個(gè)企業(yè)的 IT 規(guī)劃豐富了既有數(shù)據(jù)平臺(tái)的多樣性與可擴(kuò)展性。滿足了目前數(shù)據(jù)時(shí)代下，對(duì)于日益豐富的數(shù)據(jù)種類，快速增長(zhǎng)的數(shù)據(jù)數(shù)量的數(shù)據(jù)平臺(tái)需求，并且大數(shù)據(jù)平臺(tái)提供了面對(duì)海量數(shù)據(jù)的挖掘建模功能，為公司的金融創(chuàng)新提供了數(shù)據(jù)和技術(shù)保障。大數(shù)據(jù)平臺(tái)中存儲(chǔ)了各個(gè)業(yè)務(wù)系統(tǒng)的核心數(shù)據(jù)，并形成了信息統(tǒng)一，豐富的歷史數(shù)據(jù)存儲(chǔ)為企業(yè)保存了無形數(shù)據(jù)資產(chǎn)。先進(jìn)的平臺(tái)架構(gòu)、可線性拓展硬件資源使大數(shù)據(jù)平臺(tái)能夠成為一個(gè)高效的運(yùn)算平臺(tái)，為企業(yè)創(chuàng)造更多的價(jià)值。

精準(zhǔn)營(yíng)銷

通過數(shù)百個(gè)維度對(duì)客戶進(jìn)行全方位洞察。實(shí)時(shí)對(duì)日志數(shù)據(jù)進(jìn)行采集、分析和標(biāo)簽化。可以對(duì)千萬級(jí)客戶進(jìn)行秒級(jí)識(shí)別、需求感知乃至預(yù)判，同時(shí)采用場(chǎng)景化智能引擎，精準(zhǔn)投放資訊、產(chǎn)品和服務(wù)，瞬時(shí)達(dá)成對(duì)客戶的有效響應(yīng)，大幅提升服務(wù)的覆蓋面及專業(yè)化程度;

風(fēng)險(xiǎn)識(shí)別

對(duì)全量客戶進(jìn)行關(guān)聯(lián)關(guān)系挖掘并建立知識(shí)圖譜，可以有效的對(duì)關(guān)聯(lián)性風(fēng)險(xiǎn)進(jìn)行識(shí)別，對(duì)風(fēng)險(xiǎn)的傳導(dǎo)進(jìn)行判斷;

數(shù)據(jù)服務(wù)

提升了數(shù)據(jù)海量存儲(chǔ)技術(shù)水平，通過明確“統(tǒng)一存儲(chǔ)、統(tǒng)一使用”的理念，不斷豐富企業(yè)級(jí)的邏輯數(shù)據(jù)模型，實(shí)現(xiàn)跨業(yè)務(wù)條線的數(shù)據(jù)集中采集、分析和應(yīng)用，從而可支持海量數(shù)據(jù)處理、復(fù)雜的信息檢索以及在線歷史查詢，支持公司決策分析能力持續(xù)提升。

公司介紹

明略公司

明略數(shù)據(jù)是支持分析決策的行業(yè)人工智能解決方案提供商。自 2014 年成立以來，明略數(shù)據(jù)為公共安全、金融、工業(yè)等領(lǐng)域政府機(jī)構(gòu)和企業(yè)構(gòu)建行業(yè)知識(shí)圖譜，以“垂直行業(yè)化 +人機(jī)交互重大變革”實(shí)現(xiàn)行業(yè)人工智能落地，助推從個(gè)體賦能到全局智能的產(chǎn)業(yè)轉(zhuǎn)型升級(jí)。

Cloudera

Cloudera成立于2008年，由硅谷頂尖企業(yè)的優(yōu)秀人士創(chuàng)立，其中包括Google，Yahoo!，Oracle和Facebook。至今，Cloudera在全球擁有超過1600名員工。Cloudera于2014年進(jìn)入中國(guó)市場(chǎng)，總部位于上海，在北上廣深均有分部。

慧都大數(shù)據(jù)專業(yè)團(tuán)隊(duì)為企業(yè)提供Cloudera大數(shù)據(jù)平臺(tái)搭建，免費(fèi)業(yè)務(wù)咨詢，定制開發(fā)等完整服務(wù)，快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業(yè)的大數(shù)據(jù)團(tuán)隊(duì)，為您提供免費(fèi)大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢！