Hadoop教程：9款Hadoop商業發行版的調研報告

---

大數據與Hadoop正一步步給企業的數據管理架構帶來變化。這是一場以專營公司、企業級軟件供應商以及云服務廠商為主角的淘金熱潮，每一位參與者都希望能在這片處女地上建立起屬于自己的新帝國。雖然開源ApacheHadoop項目本身已經包含各類核心模塊——例如Hadoop Common、Hadoop分布式文件系統(簡稱HDFS)、Hadoop YARN以及Hadoop MapReduce——不過由于缺少來自商業供應商的技術支持以及打包解決方案，它并不能直接在市場上作為客戶的可選產品。當下各大頂尖商業發行版都與Apache Hadoop相兼容，那么它們彼此之間如何保持獨立性?下面我們將跟隨著Forrester的視角，一同探討九大商業Hadoop發行版如何走出自己的獨特道路。

Amazon Web Services Elastic MapReduce奪得最大市場份額

在大家說起Hadoop時，Amazon也許并不是第一家出現在各位腦海中的方案供應商，不過AWS的Elastic MapReduce(簡稱EMR)則確實是最早投放市場的商業Hadoop產品之一、同時也在全球市場份額方面占據領先地位，Forrester首席分析師Mike Gualtieri表示。EMR是一套運作在云環境下的Hadoop，它利用Amazon EC2作為計算資源、Amazon S3作為存儲資源，同時也容納其它多項服務加以配合。

“AWS的解決方案路線圖當中包括將Amazon EMR與Amazon Kinesis相集成以實現流程處理;進一步加強其與Amazon Redshift數據倉庫以及其它數據源的集成程度;以策略為指導自動調整集群規模;在Hadoop基礎上支持額外的NoSQL數據庫;與更多來自第三方供應商的商務智能方案相對接，”Gualtieri寫道。

Cloudera以企業客戶需求為基礎專注于Hadoop創新

AWS也許在市場份額方面遙遙領先，但專營企業Cloudera卻也緊隨其后;目前這家公司的客戶數量已經超過200家，其中一部分的節點部署數量超過一千個、數據總量更是達到PB級別。

“企業客戶希望擁有一套Hadoop管理與監控工具，為此Cloudera創建了Cloudera Manager，”Gualtieri寫道。“企業客戶希望獲得一套速度更快的Hadoop SQL引擎，為此Cloudera利用大規模并行處理(簡稱MPP)架構創建了Impala——企業級數據倉庫使用的也是這套架構。Cloudera的創新思路在于一方面繼續秉承Hadoop項目核心，同時又通過快速創新與積極迎合客戶需求將自身方案與其它供應商區別開來。”Cloudera的盈利模式主要源自軟件訂購，不過他們也提供技術支持服務。

Hortonworks推動開源Hadoop創新

縱觀各大參與廠商，專營Hadoop業務的Hortonworks憑借自身Hortonworks數據平臺(簡稱HDP)而與Apache Hadoop開源最為貼合，不過它同時也在積極尋求與其它工程技術合作伙伴的深入協作，其中包括微軟、Teradata、SAP以及紅帽等等。

“Hortonworks的策略在于通過開源社區推動創新活動，并與合作伙伴建立生態系統以加快Hadoop在企業客戶當中的普及程度，”Gualtieri寫道。“如果開源社區在某些方面的發展速度不夠理想，Hortonworks就會以此為基礎建立新項目并利用自身資源幫助其獲得強勁的前進勢頭。”

在這方面，旨在提供Hadoop集群管理控制臺的Apache Ambari項目就是一大典型范例。

IBM InfoSphere BigInsights，藍色巨人支持下的企業拓展項目

IBM并不像一部分競爭對手那樣擁有傲人的Hadoop社區合作深度，不過他們在分布式計算與數據管理領域的卓越成就幫助其拿出了一套相當全面的Hadoop解決方案。IBM目前已經完成了一百多項Hadoop部署工作，其中一部分所打理的數據規模更是達到PB級別。

“除此之外，IBM也擁有不少先進分析工具、全球市場份額以及服務實施方案，這使其得以通過一套完整的綜合性大數據解決方案吸引眾多企業客戶，”Gualtieri寫道。“IBM的路線圖包括不斷將BigInsights Hadoop解決方案與相關IBM資產相集成，例如SPSS高級分析、高性能計算工作負載管理、商務智能工具以及數據管理與建模工具等。”

MapR Technologies為NFS及其它創新成果提供支持

MapR Technologies在本次榜單的專營企業中位列第三，市場份額排名居于Cloudera與Hortonworks之后。早在剛剛起步的階段，MapR就沒有像其它廠商那樣保守地對Hadoop進行概念驗證、而是在此期間專注于實現各項企業級功能。

“MapR Technologies為其Hadoop發行版帶來眾多獨一無二的創新成果，其中包括支持網絡文件系統(簡稱NFS)、在集群中運行二進制代碼、針對HBase實現性能強化以及高可用性與災難恢復功能等等，”Gualitieri寫道。Gualtieri同時指出，目前MapR的競爭對手已經開始積極創建與之相似的企業級功能，因此MapR必須要在市場推廣方面有所動作并建立起屬于自己的合作關系與發布渠道。

Pivotal Software充分發揮其Greenplum引擎潛能

作為站在EMC與VMware巨人肩膀上的新興企業，Pivotal由前任VMware公司CEO Paul Maritz負責掌舵，同時也擁有EMC強大的技術咨詢與數據科學團隊為其提供支持。除了源自EMC的列式數據庫Greenplum Database技術，Pivotal的Hadoop發行版還憑借名為HAWQ的MPP Hadoop SQL引擎實現了類似于MPP的SQL性能表現。

“Pivotal是第一家提供全功能企業級Hadoop設備的企業數據倉庫供應商;他們也是第一家將自身Hadoop、企業數據倉庫與數據管理層整合在同一臺機架當中并作為設備家族推出的廠商，”Gualtieri寫道。“Pivotal的路線圖將使其Hadoop解決方案在競爭優勢方面一馬當先;其創新重點集中在改進HAWQ SQL引擎并將其與其它Pivotal產品進一步結合方面。”

Teradata利用豐富的專業知識打造Hadoop設備

Teradata是一家非常專業的企業數據倉庫設備供應商，該公司在此基礎上與Hortonworks建立起堅實的技術合作關系、將Hadoop以設備形式投放市場。

“Teradata的Hadoop發行版當中包括了與Teradata管理工具與SQL-H的集成機制、利用聯合SQL引擎幫助客戶從其數據倉庫與Hadoop當中查詢數據，”Gualtieri寫道。“方案還利用Aster對Hadoop進行分析。”

Teradata的Hadoop設備目前只擁有不到一百家客戶，不過Gualtieri指出其雄厚的資金實力加之豐富的技術與管理資源足以創建出一套獨特的高性能設備，在這方面其它供應商很難與之進行正面對抗。

英特爾為Hadoop帶來以硬件為基礎的性能與安全性增強方案

在Hadoop發行版領域，英特爾的參與時間相對較晚，但這并不妨礙其利用其至強的強大性能成為此間的一位有力競爭者。

“英特爾是第一家以硬件為基礎向Hadoop交付性能與安全性強化機制的供應商，”Gualtieri寫道。“英特爾未來幾年的路線圖將進一步與Hadoop解決方案市場上的其它參與者建立緊密的合作關系。除此之外，英特爾還將繼續專注于利用硬件強化性能與安全性表現、本地任務優化、Lustre與圖形分析，這一切都將推動其發行版在贏得廣泛關注與贊賞。”

微軟Windows Azure HDInsight，在云與Windows之力下茁壯成長

作為Hortonworks工程技術合作項目中的組成部分，微軟Windows Azure HDInsight Service的設計思路緊緊圍繞著Windows Azure云而展開。HDInsight and Hadoop for Windows(屬于Hortonworks數據平臺的一個分支版本)也是目前惟一一套運行在Windows環境下的Hadoop發行版。

“微軟還提供Polybase以幫助SQL Server客戶對保存在Hadoop當中的數據進行查詢，”Gualtieri寫道。“微軟也在其它開源社區Hadoop項目當中作出了積極貢獻，其中就包括下一代Hive。微軟通過一系列Hadoop堆棧拓展舉措為其客戶在數據庫、數據倉庫、云、OLAP、商務智能、電子表格(PowerPivot)、雷德以及開發工具方面帶來顯著的改進效果。”