在數據為王的時代，數據挖掘能力已成為衡量企業競爭力的重要指標之一。如何利用好通用大數據平臺Hadoop，如何選擇一款適合企業業務的Hadoop發行版也毫無疑問成為了企業的必備技能。在這個成本高昂的探索過程中，大數據行業內各個頂級盛會無疑就成為了各個機構一個重要的認知和學習途徑。在這里，我們一起走進Hadoop Summit 2014。

2014年Hadoop峰會于6月3日至5日在美國圣何塞舉行，會議匯聚了Hortonworks、Cloudera、MapR、Gartner、微軟、AT&T、Teradata、Red Hat、Yahoo!、SAP等眾多知名機構，從技術與實踐的角度描繪了圍繞大數據處理的整個Hadoop生態圈。

Hadoop市場態勢

Allied Market Research調查報告顯示，2013至2020，全球Hadoop市場份額將以58.2%的復合年增 長率，從20億美元增長至502億美元，增長幅度超25倍。其中大數據分析需求是整個Hadoop市場的主要驅動力，也吸引了眾多IT淘金者參與。縱觀本 次Hadoop峰會，筆者盤點了3個代表性事件，這里給大家分享。

1. IT傳統巨頭和新貴聯合，Hadoop生態圈烽火再燃

微軟SQL Server市場推廣總經理Eron Kelly與Hortonworks戰略營銷副總裁John Kreisa宣布了微軟與Hortonworks的合作關系，并表示微軟將與Hortonworks一起打造用戶熟悉的Hadoop數據處理工具。

Kelly表示，在數據解決方案不停演變的過程中，微軟一直追求著利用Windows工具實現數據訪問，旨在降低解決方案中的專有特性。在專有與Hadoop之間，微軟選擇了Hadoop并與Hortonworks合作。

Kreisa同樣贊成了微軟期望使用Excel就可以處理大數據的愿景，愿意與微軟一起將Hadoop這項技術帶入主流的IT市場。

2.傳統行業駐足，Hadoop生態圈活力倍增

Hadoop峰會期間，Hortonworks主持召開了一個分析師會議，旨在聽取他們的實踐經驗，在這個會議上，讓他們驚訝的是一些老牌公司已經擁抱了Hadoop。

• British Gas是一個250年歷史的老牌公司，他們正在給百萬家庭安裝智能電表
• TrueCar也在積極擁抱Hadoop，雖然他們并沒有任何Hadoop使用經驗和傳統
• 取代技術層面，Sprint的Hadoop之旅開始于業務和分析師，他們一起負責收集大量數據，找出可能的藝術

Hortonworks戰略副總裁Shaun Connelly指出，時代在變遷，市場在變化，在許多年前你根本不會想到IBM、Cisc、Sprint等公司會簽署支持開源平臺的協議。Hadoop的真正價值在于實踐以及將它作為推進業務本身變革的工具，就像從British Gas朋友描述的愿景來猜測，你根本不可能想到這是一個燃氣公司。

Hadoop生態圈的衍變

就像Hortonworks戰略副總裁Shaun所說，時代在變遷，市場在變化，在企業業務需求的刺激下，Hadoop生態圈也在不停的衍變，這里我們主要從Hadoop Summit 2014大會上展現的3個大變化入手。

1.  從技術到應用，消除特定類型人才的依賴

歷經數年的發展，各大解決方案供應商已開始關注非技術人員的使用體驗及挖掘數據的有效性。Pentaho公司指出，如今數據科學家需要把80%多的工作時間用在錯誤過濾、解決一致性以及兼容性處理上，當下已經有眾多解決方案提供商開始關注這個點，比如Pentaho和Talent。

除下進一步提高平臺的生產力，消除技術方案對于特定類型人才的高度依賴也是亟待解決的問題之一，而Actian和Altoscale正是致力于此的兩家公司。前者致力于降低數據科學家在提取價值過程中所占的比重，后者則是致力解決非技術人員使用平臺的難度。

2.  安全挑戰，跨數據中心的數據傳輸

Hadoop的發展一直受貨幣化、多競爭對手、技術差距、安全等眾多因素掣肘，數據安全無疑是最重要的一環。為了提供一個安全的數據傳輸環境，各個公司可謂是絞盡腦汁——Hortonworks收購安全初創公司XA Secure，Cloudera捕獲Gazzang。

WANdisco CTO Jagane Sundar指出，隨著機構建立更多的數據中心，跨數據中心的數據傳輸已成為必然趨勢，在高可用性保證之上，各個機構還需要切實的保障用戶數據安全，WANdisco通過單HDFS和單點認證解決。

3. 成果為王，敏捷、用戶體驗必不可少

Teradata公司軟件業務高級副總裁Oliver Ratzesberger表示，企業需要掌握新型市場與新型客戶的實際需求，如果無法真正從數據及分析中獲取價值，所有的努力都是無用功。他認為，在價值 提取的過程中，敏捷是重中之重，如果無法在最短的時間內得到切實、有效的信息，平臺將會被用戶拋棄。在被問及敏捷基礎設施打造時，Oliver表示， CIO是敏捷化的發起者，CMO，CEO，甚至董事會的決策至關重要。

頂級碰撞：Hortonworks vs. Cloudera

在會議上，WANdisco CTO Jagane曾指出，雖然Cloudera和Hortonworks是這個市場上兩個最強大的玩家，但是關注點的不同，注定這個領域會有兩個最大的贏家。 其中Cloudera更關注企業本身，而Hortonworks更關注開源。同時，受歡迎的發行版也絕對不止是這兩家公司，上百公司的創新無疑讓 Hadoop生態圈更加繁榮。

然而在市場的成熟、競爭白熱化的當下，情況卻并非如此。在Hadoop Summit上，Cloudera收購一家專注于Hadoop安全事務的企業Gazzang無疑就是一次針尖對麥芒的戰略。

Wikibon分析師Jeff Kelly指出，兩個收購直指Hadoop業務重點所在，也就企業級需求的滿足。一旦Hadoop運行在敏感數據環境中，安全上所做的任何舉措都有可能是成敗的關鍵，而他們這么做只是為了抵消優勢。

Kelly還表示，雖然未來有著502億美元的市場，但是新的大數據市場同樣極為殘酷，兩家公司最后的結局必然以收購或被收購結束。而在這個過程中，雙方持有的資金，與各個領域巨頭的合作將左右結果的發展。

寫在最后

在這個多金的市場，各個解決方案提供商可謂是“八仙過海，各顯神通”，白熱化的競爭確實描繪出了一個令人興奮的積極態勢，然而如果這個市場可以容納多個巨頭，那么更關注市場的需求和用戶的體驗，未來似乎更加令人向往。

By