基于Hadoop的越來越多地被企業(yè)所采用。但是，如何進(jìn)行合理地規(guī)劃和配置Hadoop平臺(tái)是很多用戶頭痛的事情。在我們接觸或合作的很大一部分客戶，他們?cè)诮oHadoop配置硬件的時(shí)候，通常沒有考慮到對(duì)大數(shù)據(jù)處理的特性，造成后續(xù)Hadoop集群的性能無法滿足要求。典型的配置問題包括：

• 數(shù)據(jù)節(jié)點(diǎn)的CPU和內(nèi)存配置很高，但磁盤數(shù)量很少（少于6塊磁盤）
• 按容量考慮而選擇單盤容量非常大的磁盤（大于8TB），但磁盤數(shù)量偏少
• 數(shù)據(jù)接收速度和查詢性能要求高，但配置的是1GbE網(wǎng)絡(luò)
• 高可用性要求高場(chǎng)景下管理節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)混合在一起，或者管理節(jié)點(diǎn)數(shù)量偏少（少于4個(gè)）

本文通過三種不同場(chǎng)景的Hadoop集群方案，對(duì)其配置進(jìn)行說明以便為用戶提供參考。

方案一：低成本的互聯(lián)網(wǎng)分析（IA）

該方案是為互聯(lián)網(wǎng)分析（Internet Analysis，縮寫成IA）或一般非結(jié)構(gòu)化數(shù)據(jù)處理而設(shè)計(jì)的Hadoop集群，具有以下特點(diǎn)：

支持非結(jié)構(gòu)化數(shù)據(jù)的接收和分析

• WebServer日志文件，點(diǎn)擊流量，Twitter或Facebook的流入
• 支持使用DataClick、BigInsights或Scoop進(jìn)行數(shù)據(jù)注入
• 運(yùn)行Map/Reduce作業(yè)

數(shù)據(jù)的臨時(shí)存儲(chǔ)或輕量存儲(chǔ)的要求

• 432 TB 裸存儲(chǔ)
• 超過100 TB 可用存儲(chǔ)空間（數(shù)據(jù)非壓縮）
• 靈活的壓縮選項(xiàng)（文件格式類型）

1 Gb 以太網(wǎng)數(shù)據(jù)網(wǎng)絡(luò)

• 結(jié)合數(shù)據(jù)和管理網(wǎng)絡(luò)
• 單獨(dú)的監(jiān)控網(wǎng)絡(luò)支持xCat

可靠的硬件，無需硬件冗余的成本

• HDFS數(shù)據(jù)復(fù)制機(jī)制實(shí)現(xiàn)數(shù)據(jù)保護(hù)
• 支持xCat快速部署

方案二：通用型的數(shù)據(jù)落地區(qū)或數(shù)據(jù)湖（LZ）

該方案是為通用型的數(shù)據(jù)落地區(qū)（Landing Zone，縮寫成LZ）或數(shù)據(jù)湖而設(shè)計(jì)，主要特點(diǎn)如下：

非結(jié)構(gòu)化數(shù)據(jù)的快速接收、分析和存儲(chǔ)

• ETL 工作負(fù)載，包括 DataStage, Informatica
• DataClick, BigInsights Console 和Scoop
• 運(yùn)行Map/Reduce 和Hive作業(yè)
• 每GB數(shù)據(jù)的成本低且數(shù)據(jù)完全保護(hù)

數(shù)據(jù)的長(zhǎng)期存儲(chǔ)和企業(yè)級(jí)的保護(hù)

• 每個(gè)機(jī)架1.344 PB裸存儲(chǔ)!
• 超過400 TB 可用存儲(chǔ)空間（數(shù)據(jù)非壓縮）
• 壓縮和加密選項(xiàng)
• 靈活的存儲(chǔ)框架 – HDFS 或GPFS

靈活的網(wǎng)絡(luò)和安全選項(xiàng)

• 完全冗余的路由或私有網(wǎng)絡(luò)
• 10/40 Gb 混合的以太網(wǎng)數(shù)據(jù)網(wǎng)絡(luò)

基于硬件和軟件冗余的可靠構(gòu)造

• OS、電源、網(wǎng)絡(luò)和Name Node服務(wù)
• HDFS數(shù)據(jù)復(fù)制機(jī)制實(shí)現(xiàn)數(shù)據(jù)保護(hù)

方案三：強(qiáng)大的NoSQL或復(fù)雜分析（NS/CA）

該方案支持NoSQL或復(fù)雜分析（Complex Analysis），對(duì)可靠性、性能等要求比前面兩個(gè)方案更高。它具有以下特點(diǎn)：

非結(jié)構(gòu)化數(shù)據(jù)的快速接收、分析和查詢

• 使用BigSQL代替DW & RDBMS
• Hbase, Accumulo, Hive 和 Map/Reduce 作業(yè)
• BigR, R 或SPSS數(shù)據(jù)挖掘
• 每GB數(shù)據(jù)的成本低且數(shù)據(jù)完全保護(hù)

數(shù)據(jù)的長(zhǎng)期存儲(chǔ)和企業(yè)級(jí)的保護(hù)

• 每個(gè)機(jī)架896 TB裸存儲(chǔ)!
• 超過300 TB 可用存儲(chǔ)空間（數(shù)據(jù)非壓縮）
• 壓縮和加密選項(xiàng)
• 靈活的存儲(chǔ)框架 – HDFS 或GPFS

靈活的網(wǎng)絡(luò)和安全選項(xiàng)

• 完全冗余的路由或私有網(wǎng)絡(luò)
• 10/40 Gb 混合的以太網(wǎng)數(shù)據(jù)網(wǎng)絡(luò)

基于硬件和軟件冗余的可靠構(gòu)造

• OS、電源、網(wǎng)絡(luò)和Name Node服務(wù)
• HDFS數(shù)據(jù)復(fù)制機(jī)制實(shí)現(xiàn)數(shù)據(jù)保護(hù)

根據(jù)不同的方案類型，IBM建議的配置參考如下：

集群總體指標(biāo)

數(shù)據(jù)節(jié)點(diǎn)詳細(xì)指標(biāo)

管理節(jié)點(diǎn)詳細(xì)指標(biāo)

網(wǎng)絡(luò)詳細(xì)指標(biāo)

結(jié)束語

上述內(nèi)容是IBM根據(jù)實(shí)踐經(jīng)驗(yàn)推薦的配置參考模型，用戶在實(shí)踐使用時(shí)可以數(shù)據(jù)量進(jìn)行增刪數(shù)據(jù)節(jié)點(diǎn)，服務(wù)器和網(wǎng)絡(luò)設(shè)備也可用換成類似性能其它廠商的產(chǎn)品。

詳情請(qǐng)咨詢“”！

客服熱線：023-66090381