網(wǎng)絡(luò)質(zhì)量實(shí)時(shí)分析思路

通信網(wǎng)絡(luò)時(shí)時(shí)刻刻在產(chǎn)生著大量的事件，如信令、xDR等，產(chǎn)生速度可達(dá)幾十MB/s至幾十GB/s。要想實(shí)現(xiàn)大規(guī)模流數(shù)據(jù)的實(shí)時(shí)分析，傳統(tǒng)的IT系統(tǒng)已經(jīng)無(wú)法支撐，因此，我們需要引入流計(jì)算平臺(tái)，如。利用流計(jì)算平臺(tái)高性能、分布式、可擴(kuò)展等特點(diǎn)，高速產(chǎn)生和流動(dòng)網(wǎng)絡(luò)事件能及時(shí)地獲取有業(yè)務(wù)價(jià)值的信息。流計(jì)算平臺(tái)在網(wǎng)絡(luò)質(zhì)量實(shí)時(shí)分析中實(shí)現(xiàn)的關(guān)鍵業(yè)務(wù)包括：

• 全局實(shí)時(shí)KPI計(jì)算，如當(dāng)前1分鐘和10分鐘內(nèi)的MSC切換失敗次數(shù)和比例。
• 局部KPI監(jiān)控與重點(diǎn)對(duì)象的關(guān)注，如VIP客戶通話失敗原因?qū)崟r(shí)匯總。
• 大規(guī)模數(shù)據(jù)預(yù)處理，以便后續(xù)加載到數(shù)據(jù)倉(cāng)庫(kù)或HDFS再進(jìn)行離線批量處理。

整體思路如下圖所示。

信令數(shù)據(jù)直接從網(wǎng)絡(luò)設(shè)備引入到流計(jì)算平臺(tái)；然后由Streams應(yīng)用程序按照業(yè)務(wù)規(guī)則，對(duì)信令數(shù)據(jù)進(jìn)行實(shí)時(shí)的加工、計(jì)算、匯總等處理；最后將實(shí)時(shí)分析結(jié)果寫入至目標(biāo)存儲(chǔ)，如數(shù)據(jù)庫(kù)、HDFS或?qū)崟r(shí)展現(xiàn)工具。

網(wǎng)絡(luò)質(zhì)量實(shí)時(shí)分析參考模型

無(wú)論采取哪種流計(jì)算技術(shù)，網(wǎng)絡(luò)事件的實(shí)時(shí)分析都可以分為三大部分：

• 數(shù)據(jù)實(shí)時(shí)注入或獲取
• 數(shù)據(jù)按業(yè)務(wù)規(guī)則實(shí)時(shí)分析
• 分析結(jié)果推送到目標(biāo)端

下圖是網(wǎng)絡(luò)質(zhì)量實(shí)時(shí)分析的參考模型。為了方便結(jié)合業(yè)務(wù)場(chǎng)景進(jìn)行描述，參考模型用多個(gè)紅線框劃分功能模塊。

1. 數(shù)據(jù)實(shí)時(shí)注入

網(wǎng)絡(luò)設(shè)備所產(chǎn)生的數(shù)據(jù)通過(guò)TCP／FTP／本地文件等方式實(shí)時(shí)注入到Streams。由于數(shù)據(jù)源可能提供多種不同的數(shù)據(jù)格式，如二進(jìn)制碼流、或CSV格式的文本，Streams接收到數(shù)據(jù)之后先進(jìn)行解析，以便后續(xù)的處理。

2. VIP客戶業(yè)務(wù)質(zhì)量實(shí)時(shí)分析

根據(jù)用戶靜態(tài)屬性（來(lái)源于數(shù)據(jù)庫(kù)或文件），過(guò)濾出高價(jià)值客戶，即VIP客戶。對(duì)于這類客戶的相關(guān)業(yè)務(wù)質(zhì)量實(shí)時(shí)分析，有助于及時(shí)發(fā)現(xiàn)他們?cè)谑褂猛ㄐ啪W(wǎng)絡(luò)中遇到的問(wèn)題，以便及時(shí)處理VIP客戶的投訴與對(duì)他們進(jìn)行定制化的客戶關(guān)懷。

3. 全局網(wǎng)絡(luò)質(zhì)量實(shí)時(shí)分析

利用所有網(wǎng)絡(luò)事件對(duì)全網(wǎng)的網(wǎng)絡(luò)質(zhì)量進(jìn)行實(shí)時(shí)分析，包括各項(xiàng)KPI的按不同的時(shí)間粒度進(jìn)行統(tǒng)計(jì)，如1分鐘和10分鐘粒度的MSC內(nèi)切換次數(shù)，通話失敗原因的匯總和排序等。

4. 實(shí)時(shí)分析結(jié)果入庫(kù)

將實(shí)時(shí)分析結(jié)果寫入數(shù)據(jù)庫(kù)，以便后續(xù)的查詢和展示。除了寫入數(shù)據(jù)庫(kù)的方式，Streams也支持將結(jié)果寫入文件、Kafka或TCP Socket等方式，亦可直接將結(jié)果推送給實(shí)時(shí)展示工具，如Excel Realtime Data。

5. 大規(guī)模數(shù)據(jù)預(yù)處理（實(shí)時(shí)ETL）

利用Streams的可定制業(yè)務(wù)邏輯及高性能處理能力的特點(diǎn)，實(shí)現(xiàn)網(wǎng)絡(luò)事件數(shù)據(jù)的實(shí)時(shí)ETL

6. 預(yù)處理后的大規(guī)模數(shù)據(jù)寫入HDFS

調(diào)研Streams提供的HDFS相關(guān)Toolkit，將經(jīng)過(guò)預(yù)處理的網(wǎng)絡(luò)事件數(shù)據(jù)寫入至HDFS，一般后續(xù)進(jìn)行離線分析。

在網(wǎng)絡(luò)質(zhì)量實(shí)時(shí)分析中的價(jià)值

• 高性能：滿足大規(guī)模數(shù)據(jù)實(shí)時(shí)計(jì)算的要求。
• 高擴(kuò)展性：分布式架構(gòu)極易擴(kuò)展，滿足日益增長(zhǎng)的業(yè)務(wù)和計(jì)算能力要求。
• 易實(shí)現(xiàn)：針對(duì)流計(jì)算而設(shè)計(jì)的開發(fā)語(yǔ)言，內(nèi)置大量的工具箱，結(jié)合基于圖形和拖拽的開發(fā)工具，極易實(shí)現(xiàn)流分析應(yīng)用。
• 完善的管理功能：基于Web的一體化管理和監(jiān)控工具。
• 成熟、穩(wěn)定、可靠：10多年的應(yīng)用歷程，業(yè)界最成熟、穩(wěn)定、可靠的流計(jì)算產(chǎn)品。

via:華南IBM大數(shù)據(jù)支持團(tuán)隊(duì)

詳情請(qǐng)咨詢“”！

客服熱線：023-66090381