這篇博客文章是CDP中Cloudera的操作數(shù)據(jù)庫(kù)（OpDB）系列文章的一部分。每篇文章都會(huì)詳細(xì)介紹新功能。從本系列的開(kāi)頭以CDP中的Operational Database開(kāi)始。這篇博客文章概述了Cloudera OpDB的高可用性配置功能。

Cloudera的Operational DB（OpDB）是基于集群的軟件，開(kāi)箱即用地配置了High Availability（HA）。這將導(dǎo)致節(jié)點(diǎn)之間的無(wú)縫自動(dòng)故障轉(zhuǎn)移，并使配置路徑對(duì)故障轉(zhuǎn)移也具有彈性，這意味著可以在不關(guān)閉OpDB的情況下將其恢復(fù)。

HA可以通過(guò)以下功能進(jìn)一步擴(kuò)展：

• 異步復(fù)制：在本地，跨數(shù)據(jù)中心，在數(shù)據(jù)中心和云之間以及以地理分布的方式。
• 延伸群集配置：帶有網(wǎng)絡(luò)延遲（建議鏈接延遲小于20毫秒）。 距離可能會(huì)有所不同，具體取決于網(wǎng)絡(luò)負(fù)載延遲和帶寬。
• 只讀副本：它們?cè)跀?shù)據(jù)庫(kù)中提供了額外的彈性。

在線重組和配置更改

Cloudera的OpDB允許數(shù)據(jù)庫(kù)重組，而無(wú)需關(guān)閉OpDB。這是因?yàn)槊臻g大致等同于DB，并且可以在不關(guān)閉集群的情況下將它們分配給集群中的不同服務(wù)器集。

可以在區(qū)域中的節(jié)點(diǎn)之間移動(dòng)名稱空間，也可以通過(guò)區(qū)域服務(wù)器組將名稱空間限制為節(jié)點(diǎn)的子集，而不必考慮節(jié)點(diǎn)在集群中的物理位置，或者集群是否跨越擴(kuò)展集群配置中的數(shù)據(jù)中心。

還支持索引重組。大多數(shù)索引（例如近實(shí)時(shí)索引）都可以在實(shí)時(shí)系統(tǒng)中創(chuàng)建，修改或刪除。 其他索引可以在線創(chuàng)建或刪除，但不能修改。

也可以在不停止OpDB的情況下更改配置。 可以在實(shí)時(shí)系統(tǒng)中添加和刪除節(jié)點(diǎn)，表和列，還可以在不停機(jī)的情況下添加SQL引擎和輔助組件。

還支持不關(guān)閉同一數(shù)據(jù)庫(kù)上多個(gè)實(shí)例的配置更改。例如，可以在“列族”中添加新列，也可以將應(yīng)用程序更改為使用該新列。

升級(jí)
Cloudera Manager通過(guò)發(fā)行版和維護(hù)補(bǔ)丁來(lái)自動(dòng)化升級(jí)OpDB中各種組件的過(guò)程。Cloudera Manager以自動(dòng)化方式處理以下流程：

• 安裝發(fā)行或維護(hù)補(bǔ)丁
• 管理配置
• 每個(gè)受影響的組件的重新啟動(dòng)過(guò)程

Cloudera的OpDB產(chǎn)品是基于集群的產(chǎn)品，因此升級(jí)和修補(bǔ)程序都跨越多個(gè)節(jié)點(diǎn)。還支持無(wú)停機(jī)的應(yīng)用程序升級(jí)。升級(jí)用戶應(yīng)用程序時(shí)，無(wú)需關(guān)閉任何存儲(chǔ)引擎。

復(fù)寫
支持所有數(shù)據(jù)復(fù)制（DR）組合：

• hot-hot
• hot -warm
• hot-cold
• hot-warm-cold
• 這些配置的其他排列

數(shù)據(jù)庫(kù)在集群中至少維護(hù)三個(gè)數(shù)據(jù)副本（可以配置更多副本），以防止在熱災(zāi)難恢復(fù)環(huán)境中中斷。但是，如果需要這種方法，則提供多種機(jī)制以允許在熱環(huán)境中創(chuàng)建數(shù)據(jù)的副本：

• 快照
• 復(fù)寫
• 出口
• 復(fù)制表
• HTable API

異步復(fù)制

Cloudera的OpDB平臺(tái)支持在同一OpDB的實(shí)例之間進(jìn)行近乎實(shí)時(shí)的數(shù)據(jù)異步復(fù)制，而對(duì)性能的影響最小。

異步復(fù)制具有兩種一致性模式：最終一致和時(shí)間軸一致

有多種方法可以實(shí)現(xiàn)異步復(fù)制。

基于存儲(chǔ)層的方法

基于存儲(chǔ)層的異步復(fù)制方法是在多個(gè)集群之間異步復(fù)制數(shù)據(jù)。

群集復(fù)制使用主動(dòng)推送方法。 群集可以是源群集（也稱為主動(dòng)群集，這意味著它寫入新數(shù)據(jù)），目標(biāo)群集（也稱為被動(dòng)群集，這意味著它使用復(fù)制來(lái)接收數(shù)據(jù)），或者可以同時(shí)履行這兩個(gè)角色。

這種異步群集復(fù)制是指使用源群集的預(yù)寫日志（WAL）傳播一個(gè)更改，從而使一個(gè)群集狀態(tài)與另一個(gè)群集的狀態(tài)保持同步。

以列族的粒度啟用復(fù)制。列族是在表創(chuàng)建時(shí)定義的列分組，與在表創(chuàng)建時(shí)不必定義的列形成對(duì)照，因?yàn)樗鼈兛梢栽诓迦霑r(shí)動(dòng)態(tài)創(chuàng)建。

當(dāng)數(shù)據(jù)從一個(gè)群集復(fù)制到另一個(gè)群集時(shí)，將使用群集ID（屬于元數(shù)據(jù)的一部分）跟蹤數(shù)據(jù)的原始來(lái)源。 還跟蹤所有已經(jīng)使用了數(shù)據(jù)的群集。 這樣可以防止復(fù)制循環(huán)。

常見(jiàn)的復(fù)制技術(shù)：

• 中央源群集可以將更改傳播到多個(gè)目標(biāo)群集，以進(jìn)行故障轉(zhuǎn)移或由于地理分布。
• 源群集可以將更改推送到目標(biāo)群集，目標(biāo)群集也可以將自己的更改推送回原始群集。
• 許多不同的低延遲群集可以將更改推送到一個(gè)集中式群集，以進(jìn)行備份或資源密集型數(shù)據(jù)分析作業(yè)。然后，可以將處理后的數(shù)據(jù)復(fù)制回低延遲群集。

可以將多個(gè)級(jí)別的復(fù)制鏈接在一起，以滿足您的需求。

雙重寫范例

實(shí)現(xiàn)異步復(fù)制的另一種方法是使用雙重寫入范例，其中客戶端可以將數(shù)據(jù)寫入我們的持久消息隊(duì)列，然后將其寫入數(shù)據(jù)庫(kù)的兩個(gè)實(shí)例。這種方法適用于某些最終一致性足以滿足編寫要求的用例。
同步復(fù)制

Cloudera的OpDB支持在同一群集的節(jié)點(diǎn)之間進(jìn)行數(shù)據(jù)的同步復(fù)制，這是非可選的默認(rèn)設(shè)置。每次寫入均被復(fù)制到最少三個(gè)節(jié)點(diǎn)，然后再確認(rèn)回客戶端。 您可以配置將寫操作復(fù)制到的節(jié)點(diǎn)數(shù)。

異構(gòu)復(fù)制

異構(gòu)OpDB復(fù)制允許OpDB在不同的OpDB供應(yīng)商之間進(jìn)行復(fù)制。 當(dāng)組織中使用多個(gè)不同的OpDB引擎或在向新OpDB平臺(tái)的遷移過(guò)程中使用此引擎時(shí)，這一點(diǎn)很重要。

Cloudera提供了多種工具來(lái)支持異構(gòu)OpDB復(fù)制，而無(wú)需額外費(fèi)用。 例如，提供Nifi來(lái)啟用流式接收，并從任何關(guān)系DBMS導(dǎo)出到Cloudera的OpDB。

只讀副本

可以創(chuàng)建只讀副本，這意味著它不支持對(duì)象的更新，刪除或創(chuàng)建。 這種類型的副本適用于只讀工作負(fù)載分配和業(yè)務(wù)連續(xù)性計(jì)劃。

您可以通過(guò)兩種不同的方式創(chuàng)建只讀版本：

• 將數(shù)據(jù)庫(kù)復(fù)制到標(biāo)記為只讀的第二個(gè)群集。
• 使用“只讀副本”功能，客戶端將請(qǐng)求發(fā)送到托管數(shù)據(jù)副本（包括主副本）的所有RegionServer。 客戶端接受第一個(gè)響應(yīng)，包括它是來(lái)自主要還是輔助RegionServer。

讀取和寫入操作讀取/寫入副本

讀/寫RrReplicas支持讀和寫操作，作為具有沖突解決方案的雙活群集的一部分。當(dāng)使用復(fù)制以雙向方式同步兩個(gè)不同的群集時(shí)，這種類型的副本非常有用。這使兩個(gè)群集都可以在雙活配置中寫入。

在單個(gè)群集的范圍內(nèi)，所有寫入均以分布式方式完成，從而確保在確認(rèn)客戶端之前，在多個(gè)節(jié)點(diǎn)上至少寫入三個(gè)副本。這是通過(guò)解決沖突來(lái)完成的，以確保為客戶端提供強(qiáng)大的一致性。

錯(cuò)誤保護(hù)

OpDB還可以防止用戶錯(cuò)誤。Cloudera的兩個(gè)存儲(chǔ)引擎都提供了此功能。

如果用戶錯(cuò)誤是“我不是要?jiǎng)h除此記錄”之類的錯(cuò)誤，則用戶可以在使用setTimeRange刪除之前檢索記錄記錄。

此外，定期執(zhí)行增量備份或快照使用戶可以回滾到上一個(gè)保存的恢復(fù)點(diǎn)。

結(jié)論

在此博客文章中，我們研究了如何在OpDB中配置和使用高可用性功能。在下一篇文章中，我們將介紹CDP中OpDB的數(shù)據(jù)完整性功能。

關(guān)于Cloudera

在 Cloudera，我們相信數(shù)據(jù)可以使今天的不可能，在明天成為可能。我們使人們能夠?qū)?fù)雜的數(shù)據(jù)轉(zhuǎn)換為清晰而可行的洞察力。Cloudera 為任何地方的任何數(shù)據(jù)從邊緣到人工智能提供企業(yè)數(shù)據(jù)云平臺(tái)服務(wù)。在開(kāi)源社區(qū)不懈創(chuàng)新的支持下， Cloudera推動(dòng)了全球最大型企業(yè)的數(shù)字化轉(zhuǎn)型歷程。了解更多，請(qǐng)聯(lián)系。

慧都大數(shù)據(jù)專業(yè)團(tuán)隊(duì)為企業(yè)提供Cloudera大數(shù)據(jù)平臺(tái)搭建，免費(fèi)業(yè)務(wù)咨詢，定制開(kāi)發(fā)等完整服務(wù)，快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業(yè)的大數(shù)據(jù)團(tuán)隊(duì)，為您提供免費(fèi)大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢！