開源Hadoop真的便宜嗎？來算一下你的IT成本

---

在美國舉行的2014數據倉庫研究所TDWI高峰會議上，有著豐富數據生命周期管理經驗的咨詢師Richard Winter做了演講，他指出使用開源Hadoop架構時，要注意計算數據成本。因為很多隱性的成本潛伏在表面免費的架構中，常常被人忽略。硬件成本只是很少的一部分。

Winter表示：“很多Hadoop的成本并非來自系統本身，比如開發和管理系統的成本就不容小覷。”

Winter指出，針對Hadoop集群的應用開發和周邊工具集的開發依然是Hadoop發展中最重要的。總體來看，Hadoop還是所有數據架構中比較廉價的。

不過Winter建議，數據管理者在衡量Hadoop可用性的時候，應該看具體的應用類型。

計算IT成本

Hadoop是以Java為基礎的，對于如何衡量Hadoop的成本，Winter建議道要兼顧存儲、管理、分析、開發和系統成本。在他的研究中，他也引 用了一些一般性數據，比如他從一個追蹤薪酬的網站了解到一般Java開發者的薪水，而他要為員工增加50%的一般性開銷。Winter還在自己的網站上列 出了更多資料。

Winter還考慮了Hadoop中開發查詢的成本，這是只有高水平的開發者才能勝任的。同時，他還比較了在數據倉庫和Hadoop環境下做簡單查詢和復 雜查詢需要的代碼數和成本有什么不同。他發現，在Hadoop環境下創建查詢要復雜的多，Hadoop文件系統、MapReduce、Java和SQL替代品（比如Hive）等都需要更多的代碼，這是企業面臨的問題。

Winter表示：“只在一小部分公司中，Hadoop應用的很廣泛，因為這些公司本身有很強大的Java團隊。”而在大多數公司中，Hadoop的應用還很有限。

善用技術優勢

在峰會現場，Winter采訪了很多與會者，詢問數據倉庫項目和Hadoop項目的成本問題，不同的用戶給出了截然不同的回答。

如果把所有費用都考慮進去，用Hadoop重新創建一個企業級數據倉庫系統要比使用傳統基于SQL的數據倉庫貴得多。但如果你需要數據分級處理系統或數據池風格的應用系統支持數據分析工作，那么Hadoop在還是有成本優勢的，雖然它的花費也很多。

Winter指出，Hadoop可以監測大量數據中的異常值，哪怕只有細微變化，工作人員都可以發現。這在物聯網領域有很重要的應用。以航空公司的引擎數據分析為例，只有在數據偏離異常值的時候，數據才有被關注的價值。

很多因素，包括用例都會影響技術類型的選擇。比如在系統擁有更多數據源、更多用戶、需要更多查詢的時候，久經考驗的數據倉庫技術就能表現出卓越的技術優勢。但如果情況正相反，你可能就要選擇Hadoop了。

進一步講，Hadoop和傳統數據倉庫更有可能融合使用。數據管理者要做的不只是為應用挑選正確的平臺，還要了解不同的技術，同時采用，分開使用。