讓我們以經典的筆記本品牌實時情感分析（SENTIMENT ANALYSIS）為例，在進行觀點分析時，處理流程應當如下圖所示： 

• 從類似Twitter、Facebook、電子商務網站之類的不同來源收集數據。
• 以一些“高吞吐量”這樣的關鍵字為基礎，我們篩選出了一些數據。
• 為不同來源的各條信息生成情感分析。
• 為存儲處理的數據設立存儲機制。

現在的問題在于：是否能夠通過大數據系統來解決，請使用Hadoop來執行下列處理： 

如果我們運行Hive Query、Pig Script或MapReduce的話，由于必須從HDFS（從硬盤讀取）中讀取數據，整個處理過程需要耗費數小時才能進行處理，因此理論上來說是無法實時執行數據處理的（它們遵循靜態數據原則）。 

由于Hadoop設計時就是為了執行批處理，而且需要花費數小時才能生成結果，因此針對Hadoop是否能夠執行實時處理的問題，答案是否定的。 

總結一下，由于所使用的是基于批處理的方式，Hadoop無法解決實時問題。

有很多需要我們執行實時數據處理的用例，比如：

• 反欺詐
• 情緒分析
• 日志監控
• 處理客戶的行為

那么現在我們如何處理這類特殊的問題呢？我們需要使用一些實時的流數據機制（一切都在內存中完成，遵循動態數據原則）。 

實時處理的典型流程如下圖： 

不過想要使用這種方法，需要先解決下面這些問題：

• 數據流：數據需要在數據管道（Data Pipeline）中以流數據的形式發送。
• 容錯：如果有某個進程出錯，那么故障轉移機制是什么樣的呢？
• 擴展：如果數據規模增長的話，能否很容易地擴展集群以增加處理數據的性能？
• 確保信息處理：是否能確保信息得到處理？
• 編程語言不可知論：是否會是獨立的編程？

有一些類似Apache Storm之類的實時數據流機制能夠幫助我們解決這些問題。現在我們試著回答上面的問題，看使用Apache Storm能否得出答案。 

數據流 

數據以元組的形式發送。 

擴展 

Storm是一個分布式平臺，允許用戶將更多節點添加到Storm集群運行環境中，以增加應用的吞吐量。 

容錯 

在Storm中，工作是通過集群中的worker來執行的。如果有一個worker宕掉，Storm就會重啟該worker，而如果worker所在的節點也宕掉，則Storm就會重啟集群中一些其他節點上的worker。 

確保信息處理 

Storm如果該元組在處理時出現故障，Storm會重啟出錯的元組。 

程序語言不可知論 

可以在任何編程語言中編寫。即使Storm平臺運行在JVM之上，運行在上面的應用也可以用任何編程語言編寫，可以使用標準的I/O來讀寫。 

希望本文有助于澄清：利用Apache Storm之類的工具處理大數據問題時，在實時流數據中的使用問題。

本文譯者Vera，原文：