數(shù)字化轉(zhuǎn)型是所有市場和行業(yè)的熱門話題，因為它正在以爆炸性的增長速度帶來價值。考慮到制造業(yè)的工業(yè)物聯(lián)網(wǎng)（IIOT）的估值為1610億美元，增長率高達25%，到2027年，互聯(lián)汽車市場的估值將達到2250億美元，增長率為17%，或者在2020年的前三個月，零售商在短短三個月內(nèi)實現(xiàn)了十年的數(shù)字銷售滲透。不過大部分寫的都是關(guān)于使能技術(shù)平臺（云或邊緣或數(shù)據(jù)倉庫等點式解決方案）或推動這些效益的用例（應用于預防性維護的預測性分析、金融機構(gòu)的欺詐檢測或預測性健康監(jiān)測為例），而不是基礎數(shù)據(jù)。缺失的一章不是關(guān)于點解決方案或用例的成熟歷程。缺失的章節(jié)是關(guān)于數(shù)據(jù)的--它始終是關(guān)于數(shù)據(jù)的--而且，最重要的是，數(shù)據(jù)編織了從邊緣到人工智能洞察的旅程。

這是六部分文章系列中的第一部分，概述了從邊緣到AI的數(shù)據(jù)之旅，以及數(shù)據(jù)在旅途中產(chǎn)生的商業(yè)價值。數(shù)據(jù)之旅并不是線性的，而是一個無限循環(huán)的數(shù)據(jù)生命周期--從邊緣開始，在數(shù)據(jù)平臺中穿梭，并產(chǎn)生應用于實際業(yè)務關(guān)鍵問題的業(yè)務必要見解，從而產(chǎn)生新的數(shù)據(jù)主導計劃。我們將這一歷程簡化為五個獨立的步驟，其中第六個步驟涉及數(shù)據(jù)安全和治理。這六個步驟是：

• 數(shù)據(jù)收集--在邊緣進行數(shù)據(jù)攝取和監(jiān)測（無論邊緣是工業(yè)傳感器還是實體零售店中的人）。

• 數(shù)據(jù)豐富--數(shù)據(jù)管道處理、匯總和管理，為進一步完善數(shù)據(jù)做好準備。

• 報告----提供商業(yè)企業(yè)洞察力(銷售分析和預測、市場研究、預算編制為例)

• 服務 - 控制和運行基本的業(yè)務操作（ATM交易、零售結(jié)賬或生產(chǎn)監(jiān)控）。

•  預測分析--基于人工智能和機器學習的預測分析（以欺詐檢測、預測性維護、基于需求的庫存優(yōu)化為例）。

• 安全與治理--一套跨越整個數(shù)據(jù)生命周期的安全、管理和治理技術(shù)集成

為了說明數(shù)據(jù)之旅，這里選擇了一個非常相關(guān)且具有可持續(xù)發(fā)展意識的制造主題--電動汽車的制造，之所以選擇這個主題，是因為與 "老式進化"（成熟度較低）相比，制造操作通常具有革命性的特點（高度的數(shù)字成熟度，部署了最新的數(shù)據(jù)工具），而且這些汽車大多是作為 "互聯(lián)移動 "平臺制造的，這使得汽車不僅僅是交通工具，而是一個由數(shù)據(jù)驅(qū)動的知識和洞察力的平臺。這個故事將展示如何使用Cloudera數(shù)據(jù)平臺收集、豐富、存儲、服務數(shù)據(jù)，然后用于預測汽車制造過程中的事件。

本篇文章將介紹一家模擬互聯(lián)汽車的電動汽車制造公司，名為（有一個極具原創(chuàng)性的名字）電動汽車公司（ECC）。ECC在全球范圍內(nèi)經(jīng)營著多家制造工廠，是垂直一體化的，制造自己的汽車以及許多關(guān)鍵部件，包括電機、電池和輔助部件。每家工廠負責制造不同的部件，最后的組裝在幾個選定的、具有戰(zhàn)略意義的工廠進行。

數(shù)據(jù)收集挑戰(zhàn)

在生產(chǎn)過程中，管理收集所有工廠的所有數(shù)據(jù)是一項重要的工作，帶來了一些挑戰(zhàn)：

• 難以評估物聯(lián)網(wǎng)數(shù)據(jù)的數(shù)量和種類。許多工廠利用來自多個供應商的現(xiàn)代和傳統(tǒng)制造資產(chǎn)和設備，并采用不同的協(xié)議和數(shù)據(jù)格式。雖然控制器和設備可能連接到OT系統(tǒng)，但它們通常沒有以一種方式連接，以便它們也能輕松地與IT系統(tǒng)共享數(shù)據(jù)。為了實現(xiàn)互聯(lián)制造和新興的物聯(lián)網(wǎng)用例，ECC需要一個解決方案，能夠處理來自邊緣的所有類型的不同數(shù)據(jù)結(jié)構(gòu)和模式，將數(shù)據(jù)標準化，然后與包括大數(shù)據(jù)應用在內(nèi)的任何類型的數(shù)據(jù)消費者共享數(shù)據(jù)。

• 管理實時數(shù)據(jù)的復雜性。為了使ECC能夠推動預測性分析用例，數(shù)據(jù)管理平臺需要對流式數(shù)據(jù)進行實時分析。該平臺還需要有效地實時或近乎實時地攝取、存儲和處理流數(shù)據(jù)，以便即時提供見解和行動。

• 將數(shù)據(jù)從獨立的孤島中解放出來：制造業(yè)價值鏈中的專業(yè)化流程（創(chuàng)新平臺、QMS、MES等）獎勵不同的數(shù)據(jù)源和數(shù)據(jù)管理平臺，這些平臺為獨特的孤島式解決方案量身定做。這些利基解決方案限制了企業(yè)價值，只考慮到跨企業(yè)數(shù)據(jù)所能提供的一小部分洞察力，同時分割了業(yè)務，限制了協(xié)作機會。正確的平臺必須具備攝取、存儲、管理、分析和處理來自價值鏈中所有點的流數(shù)據(jù)的能力，將其與數(shù)據(jù)歷史學家、ERP、MES和QMS來源相結(jié)合，并將其利用為可操作的洞察力。這些見解將提供儀表盤、報告和預測分析，以推動高價值的制造用例。

• 平衡邊緣。了解邊緣和云端數(shù)據(jù)處理之間的正確平衡是一項挑戰(zhàn)，這就是為什么需要考慮整個數(shù)據(jù)生命周期的原因。業(yè)界有一個令人不安的趨勢，因為公司選擇專注于其中一個或另一個，而沒有意識到他們可以，也應該兩者兼顧。云計算對于長期分析和大規(guī)模部署有它的好處，但它受限于帶寬，往往收集了大量的數(shù)據(jù)，卻只用了一小部分。邊緣的價值在于以零延遲的方式在影響最大的邊緣采取行動，然后再將最有價值的數(shù)據(jù)發(fā)送到云端進行進一步的高性能處理。

使用Cloudera數(shù)據(jù)平臺收集數(shù)據(jù)

第1步：收集原始數(shù)據(jù)

ECC的生產(chǎn)運營數(shù)據(jù)涵蓋了眾多來源--工業(yè)機器人、白身磷化涂料工藝槽（溫度、濃度或補料）、供應鏈遠程信息或主件信息等。在這個具體的例子中，ECC的五個工廠的原始零件主數(shù)據(jù)已經(jīng)被收集起來，準備輸入到Apache NiFi中（見數(shù)據(jù)流程收集圖）。

第2步：為每個工廠配置數(shù)據(jù)源

數(shù)據(jù)收集將使用Cloudera的數(shù)據(jù)流體驗（由Apache NiFi支持）來說明，以檢索這些原始數(shù)據(jù)，并將其分割成各個工廠流（由Apache Kafka管理），以更準確地類似于真實世界的場景（見圖2）。為了保持例子的簡單性，我們?yōu)楣S生成的每個零件選擇了以下數(shù)據(jù)屬性標簽。

• 工廠ID

• 機器編號

• 制造時間戳

• 部件號

• 序號

第3步：監(jiān)控各工廠的數(shù)據(jù)吞吐量

由于現(xiàn)在所有的數(shù)據(jù)都流向了各個Kafka流，數(shù)據(jù)架構(gòu)師正在監(jiān)控來自每個工廠的數(shù)據(jù)吞吐量，以及調(diào)整所需的計算和存儲資源，以確保每個工廠有必要的吞吐量將數(shù)據(jù)發(fā)送到平臺。

第4步：從Apache Kafka流中采集數(shù)據(jù)

Kafka可以捕獲所有工廠的數(shù)據(jù)流，并將其收集到處理器中，這些數(shù)據(jù)流既可以過濾，也可以豐富，用于控制和運行由運營數(shù)據(jù)庫驅(qū)動的基本業(yè)務運營，或通過企業(yè)數(shù)據(jù)倉庫提供業(yè)務企業(yè)洞察力，或用于高級分析。

ECC最近開始生產(chǎn)他們的電機升級版，只在5號工廠生產(chǎn)，這些數(shù)據(jù)將作為數(shù)據(jù)生命周期的下一步說明。

第五步：將數(shù)據(jù)推送到存儲解決方案中

由于ECC制造和質(zhì)量工程師會希望密切監(jiān)控該電機的部署和現(xiàn)場使用情況，因此具體的制造可追溯性數(shù)據(jù)會被過濾到一個單獨的路由中，并保存到Apache Hive中自己的表中。這將允許工程師以后在Cloudera數(shù)據(jù)倉庫中針對數(shù)據(jù)運行臨時查詢，以及將其加入到企業(yè)數(shù)據(jù)倉庫中的其他相關(guān)數(shù)據(jù)中，如維修訂單或客戶反饋，以產(chǎn)生預先的用例，如保修、預測性維護例程或產(chǎn)品開發(fā)輸入。

另外，如果需要控制和運行基本的業(yè)務操作，整個數(shù)據(jù)集加上一個處理過的時間戳，將被發(fā)送到Apache HBase支持的Cloudera操作數(shù)據(jù)庫中。這些數(shù)據(jù)將作為ECC運行其庫存平臺的基礎，這將需要使用持續(xù)的讀/寫操作，因為庫存每天可以增加和刪除數(shù)千次。由于HBase被設計用于大規(guī)模處理此類數(shù)據(jù)交易，因此它是應對這一獨特挑戰(zhàn)的最佳解決方案。

結(jié)論

這個簡單的例子顯示了正確獲取數(shù)據(jù)攝取的重要性，因為它是運營數(shù)據(jù)庫、企業(yè)數(shù)據(jù)倉庫或高級分析機器學習預測分析所提供的洞察力的基礎。"正確獲取 "的價值包括使用來自任何企業(yè)來源的數(shù)據(jù)，從而打破數(shù)據(jù)孤島，使用所有數(shù)據(jù)，無論它是流式的還是面向批處理的，以及將數(shù)據(jù)發(fā)送到正確的地方產(chǎn)生所需的下游洞察力的能力。

使用CDP，ECC數(shù)據(jù)工程師和其他業(yè)務線用戶可以開始將收集到的數(shù)據(jù)用于各種任務，從庫存管理到零件預測到機器學習。由于Cloudera Data Flow促進了來自任何企業(yè)源的實時數(shù)據(jù)攝取，因此無需具備各種編程語言和專有數(shù)據(jù)收集方法的廣泛知識，即可對其進行擴展和維護。如果遇到獨特的問題，工程師還可以創(chuàng)建自己的流程，進行真正的、精細的控制。

請期待下一篇文章，它將深入探討數(shù)據(jù)豐富化以及如何支持數(shù)據(jù)生命周期故事。此外，這個故事將通過數(shù)據(jù)驅(qū)動的演示來增強，展示數(shù)據(jù)生命周期每一步的數(shù)據(jù)之旅。

福利時刻！

慧都“專家1對1，助力2021企業(yè)數(shù)字決策化轉(zhuǎn)型”活動正在進行中，設備故障預測、產(chǎn)品質(zhì)量分析等方案通通免費咨詢，歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們專業(yè)的大數(shù)據(jù)團隊，將為您提供免費大數(shù)據(jù)相關(guān)業(yè)務咨詢！