Hadoop生態圈以及各組成部分的簡介

---

1.Hadoop是什么?

適合的分布式存儲與計算平臺

HDFS: Distributed File System分布式文件系統

MapReduce：并行計算框架

2.Hadoop生態圈

①HBase

Google Bigtable的開源實現

列式數據庫

可集群化

可以使用shell、web、api等多種方式訪問

適合高讀寫(insert)的場景

HQL查詢語言

NoSQL的典型代表產品

②Hive

數據倉庫工具。可以把Hadoop下的原始結構化數據變成Hive中的表

支持一種與SQL幾乎完全相同的語言HiveQL。除了不支持更新、索引和事務，幾乎SQL的其它特征都能支持

可以看成是從SQL到Map-Reduce的映射器

提供shell、JDBC/ODBC、Thrift、Web等接口

③Zookeeper

Google Chubby的開源實現

用于協調分布式系統上的各種服務。例如確認消息是否準確到達，防止單點失效，處理負載均衡等

應用場景：Hbase，實現Namenode自動切換

工作原理：領導者，跟隨者以及選舉過程

④Sqoop

用于在Hadoop和關系型數據庫之間交換數據

通過JDBC接口連入關系型數據庫

⑤Chukwa

架構在Hadoop之上的數據采集與分析框架

主要進行日志采集和分析

通過安裝在收集節點的“代理”采集最原始的日志數據

代理將數據發給收集器

收集器定時將數據寫入Hadoop集群

指定定時啟動的Map-Reduce作業隊數據進行加工處理和分析

⑥Pig

Hadoop客戶端

使用類似于SQL的面向數據流的語言Pig Latin

Pig Latin可以完成排序，過濾，求和，聚組，關聯等操作，可以支持自定義函數

Pig自動把Pig Latin映射為Map-Reduce作業上傳到集群運行，減少用戶編寫Java程序的苦惱

⑦Avro

數據序列化工具，由Hadoop的創始人Doug Cutting主持開發 ?

用于支持大批量數據交換的應用。支持二進制序列化方式，可以便捷，快速地處理大量數據 ?

動態語言友好，Avro提供的機制使動態語言可以方便地處理 Avro數據。 ?

Thrift接口

⑧Cassandra

NoSQL，分布式的Key-Value型數據庫，由Facebook貢獻

與Hbase類似，也是借鑒Google Bigtable的思想體系

只有順序寫，沒有隨機寫的設計，滿足高負荷情形的性能需求

3.Hadoop生態圈流程圖

慧都控件網超級促銷月，全場6折起，豪禮搶不停>>>

截止時間：2016年11月30日

詳情請咨詢！

客服熱線：023-66090381