在短短幾年里，大數(shù)據(jù)技術從炒作的概念變?yōu)樾聰?shù)字時代的核心破壞者。2014年，公司里越來越多的大數(shù)據(jù)舉措從測試步入生產(chǎn)。2015年，大數(shù)據(jù)將在企業(yè)里進一步推進，使用更多的用例(特別是實時用例)，Hadoop分布式專家MapR的聯(lián)合創(chuàng)始人兼CEO John Schroeder說。

Schroeder說：“今年，機構將覆蓋之前的初次批量實現(xiàn)，進行大數(shù)據(jù)實時部署。現(xiàn)有的行業(yè)領導者和那些后起之秀已經(jīng)付出了巨大努力，它們通過將新的大數(shù)據(jù)平臺合并到‘動態(tài)’數(shù)據(jù)分析中來影響業(yè)務，這些實現(xiàn)將驅動行業(yè)的發(fā)展。”

Schroeder說五大發(fā)展將會主導2015。

1.數(shù)據(jù)敏捷性成為焦點

對于許多需求來說，遺留的數(shù)據(jù)庫和數(shù)據(jù)倉庫的處理過程過于緩慢和僵化，因此數(shù)據(jù)敏捷性是大數(shù)據(jù)技術發(fā)展的驅動力之一。在2015年，Schroeder認為，隨著機構將他們的注意力從捕獲和管理數(shù)據(jù)轉換到使用它們，數(shù)據(jù)敏捷性將會更加集中。

他說：“遺留的數(shù)據(jù)庫和數(shù)據(jù)倉庫如此昂貴，以至于需要DBA對數(shù)據(jù)進行全面綜合和結構化。前期的DBA成本推遲了對新數(shù)據(jù)源的訪問，而隨著時間的推移，這剛性的結構也很難改變。最終的結果就是，遺留數(shù)據(jù)庫不夠敏捷，不能滿足今天多數(shù)組織的需要。”

他補充說：“最初的數(shù)據(jù)項目集中在目標數(shù)據(jù)源的存儲。機構將會把自己的注意力轉移到數(shù)據(jù)敏捷性上，而不是關心正在管理著多少數(shù)據(jù)。執(zhí)行和分析數(shù)據(jù)的能力又是如何影響操作的?當用戶偏好、市場條件、競爭行為和操作狀態(tài)發(fā)生變化時，如何才能快速適應和響應?這些問題將會在2015年指引大數(shù)據(jù)的投資和規(guī)模。”

2.機構從數(shù)據(jù)湖泊轉移到數(shù)據(jù)處理平臺

從某種程度上來說，2014年是數(shù)據(jù)湖泊(或者數(shù)據(jù)中心)的一年。基于對象的存儲倉庫以其原生格式(無論是結構化的、非機構化的或半結構化的)保存著原始數(shù)據(jù)，直到可以使用。數(shù)據(jù)湖泊有著強烈的價值主張，它們代表著一個可伸縮的基礎結構，這樣的結構經(jīng)濟(降低了成本)又敏捷。

Schroeder認為，隨著處理數(shù)據(jù)的多計算和執(zhí)行引擎就位，數(shù)據(jù)湖泊將會在2015年繼續(xù)發(fā)展。它不僅會更有效，它還會創(chuàng)建一個單點管理和一個單點安全。

“在2015年，隨著機構從批處理轉移到實時處理，將Hadoop、數(shù)據(jù)庫和基于文件的引擎集成到他們的大規(guī)模處理平臺，數(shù)據(jù)湖泊將會有所發(fā)展”，他說。 “換句話說，它并不是關于數(shù)據(jù)湖泊中支持大量查詢和報告的大規(guī)模存儲。2015年的大趨勢是，圍繞事件和數(shù)據(jù)的實時持續(xù)訪問和處理，以此來獲取穩(wěn)定的狀態(tài)和及時采取行動。”

3.自助服務大數(shù)據(jù)成為主流

大數(shù)據(jù)工具和服務的進步意味著，在2015年，商業(yè)用戶和數(shù)據(jù)科學家訪問數(shù)據(jù)的瓶頸將逐漸緩解，Schroeder說。

2015年，IT將會擁抱自助服務大數(shù)據(jù)，允許商業(yè)用戶使用大數(shù)據(jù)自助服務，他說。“自助服務授權開發(fā)者、數(shù)據(jù)科學家和數(shù)據(jù)分析師直接控制對數(shù)據(jù)的探索。”

“之前，需要IT技術來建立集中的數(shù)據(jù)結構”，他補充道。“這是一種耗時和昂貴的做法。對于一些用例，Hadoop已經(jīng)使得企業(yè)適應了‘結構準備好’。高級一點的機構將會轉移到執(zhí)行上的數(shù)據(jù)綁定，遠離中心結構，以此來滿足持續(xù)的需求。自助服務加快機構利用新數(shù)據(jù)源以及回應機會和威脅。”

4.Hadoop供應商整合：新商業(yè)模式的發(fā)展

早在2013年，因特爾引入了它自己的Hadoop版本，聲稱這個版本將會與原版有所不同，它采用一種增強的方法，將Hadoop直接置入到因特爾的機器中。但是一年后，因特爾放棄了它自己的版本，然后重磅推出Hadoop發(fā)行版供應商Cloudera。

當時，因特爾注意到，客戶們都在觀望Hadoop市場如何打開。Hadoop的選擇實在是太多了。Schroeder相信，Hadoop供應商的整合在2015年將會繼續(xù)，而失敗者將會停止它們的發(fā)行版，將注意力轉移到其它地方。

“現(xiàn)在，我們已經(jīng)貢獻開源代碼20年了，它為市場提供了巨大的價值”，Schroeder說。“技術處于成熟階段。技術生命周期始于創(chuàng)新和高度差異化產(chǎn)品的創(chuàng)造，止于產(chǎn)品最終商業(yè)化。[Edgar F.] Codd于1969年使用創(chuàng)新而建立了關系數(shù)據(jù)庫概念，1986年也導致了Oracle IPO，而起始于1995年的第一個MySQL版本。所以歷史上，數(shù)據(jù)庫平臺技術成熟之前，為了看到商業(yè)化，它花了26年時間的創(chuàng)新。”

“在技術成熟周期中，Hadoop是比較早的，自Google發(fā)布萌芽的MapReduce白皮書起，僅僅只有十年的時間”，他補充道。“在初級概念發(fā)布僅10年后，Hadoop在全球被采用，超越以往任何其它數(shù)據(jù)平臺。Hadoop正在創(chuàng)新階段，所以供應商誤采用‘Red Hat for Hadoop’策略已經(jīng)在市場上出現(xiàn)了，尤其是因特爾和最近的EMC。”

Schroeder相信，2015將會見到一個嶄新的、更微妙的開源軟件的發(fā)展，它們會結合深度創(chuàng)新和社區(qū)開發(fā)。

“開源社區(qū)對于建立標準和共識是至關重要的”，他說。“競爭是催化劑，它將Hadoop從最初的批分析處理器轉換成一個全功能數(shù)據(jù)平臺。”

5.企業(yè)架構師不再炒作大數(shù)據(jù)

2015年將會看到，企業(yè)架構師會成為焦點，因他們對Hadoop技術的深入理解，得到定義更好和更成熟的大數(shù)據(jù)應用需求說明，包括像高可用性和業(yè)務連續(xù)性等元素。

“在數(shù)據(jù)中心中，隨著機構快速從試驗轉移到實際應用，企業(yè)架構師將前臺和中心轉移到實際應用”，Schroeder說。“IT領導在決定適應SLA的基礎架構、提供高可用性、業(yè)務連續(xù)性和適應關鍵業(yè)務需求上就很重要了。在2014年，圍繞Hadoop蓬勃發(fā)展的生態(tài)系統(tǒng)，擁有大量的應用、工具和組件。在 2015年，市場將集中在將Hadoop集成到數(shù)據(jù)中心，并交付業(yè)務結果所需的跨平臺差異和架構上。”

來源：Sanesee翻譯  作者：Thor Olavsrud