Google BigQuery是一個具有成本效益、高度可擴(kuò)展的無服務(wù)器數(shù)據(jù)倉庫，專為業(yè)務(wù)敏捷性而設(shè)計。該平臺管理所有的資源，自動擴(kuò)展并高度可用。因此，倉庫管理員不必花時間做典型的實施決策，如CPU大小或最大存儲分配。

Google BigQuery支持兩種不同的SQL方言。

• 標(biāo)準(zhǔn)SQL：標(biāo)準(zhǔn)SQL符合SQL 2011標(biāo)準(zhǔn)，是查詢數(shù)據(jù)的首選方言。
• 傳統(tǒng)SQL：BigQuery的第一個版本就支持這種方言。

為什么用 Qlik 自動化 Google BigQuery？

• 改進(jìn)初始數(shù)據(jù)加載
• 減少人工SQL編碼倉庫管理
• 自動更新數(shù)據(jù)倉庫
• 減少為下游分析準(zhǔn)備和提供數(shù)據(jù)所需的時間

事實上，我們可以通過Qlik Data Integration (QDI)平臺實現(xiàn)這些領(lǐng)域和更多領(lǐng)域的自動化。最新發(fā)布的QDI解決方案針對Google BigQuery進(jìn)行了優(yōu)化，并將BigQuery操作的許多方面自動化。例如，可以使用Qlik Replicate進(jìn)行近乎實時的變化數(shù)據(jù)捕獲（CDC），使用Qlik Compose for Data Warehouses來構(gòu)建內(nèi)部數(shù)據(jù)倉庫結(jié)構(gòu)和提供數(shù)據(jù)集。

適用于 Google BigQuery 的 Qlik 數(shù)據(jù)集成

以下段落介紹了專門為數(shù)據(jù)倉庫自動化而創(chuàng)建和優(yōu)化的功能。這些特點如下：

• 數(shù)據(jù)倉庫模型生成
• 自動生成映射
• 數(shù)據(jù)倉庫ETL生成
• 數(shù)據(jù)市場ETL生成
• 工作流生成和協(xié)調(diào)

數(shù)據(jù)倉庫模型的生成

Qlik Compose for Data Warehouses通過連接到源數(shù)據(jù)，并對元數(shù)據(jù)進(jìn)行內(nèi)省，以產(chǎn)生符合第三種正常形式（3NF）/Data Vault方法論的模型，使得從源數(shù)據(jù)生成邏輯模型變得非常容易。Qlik還提供了在邏輯模型中分配Type1/Type2歷史屬性的支持，改善了BigQuery數(shù)據(jù)集表的數(shù)據(jù)加載過程。

自動生成映射
Qlik Compose for Data Warehouses將創(chuàng)建BigQuery數(shù)據(jù)集表，并為完整和CDC ETL集生成映射。在ETL集中，Compose將自動生成BigQuery數(shù)據(jù)倉庫數(shù)據(jù)集表的登陸區(qū)域列和暫存列之間的表映射。最終，這減少了開發(fā)生命周期的時間。

數(shù)據(jù)倉庫ETL生成

Qlik會自動生成和協(xié)調(diào)在BigQuery中執(zhí)行ETL過程所需的SQL語法，以完成數(shù)據(jù)倉庫中表的全部加載。Qlik還能自動生成和協(xié)調(diào)將CDC數(shù)據(jù)加載到BigQuery數(shù)據(jù)集中所需的SQL語法。

數(shù)據(jù)市場ETL生成

Qlik提供了一個數(shù)據(jù)向?qū)В梢岳肂igQuery數(shù)據(jù)倉庫數(shù)據(jù)集自動創(chuàng)建一個事務(wù)性數(shù)據(jù)集。Qlik的自動化功能可以刷新BigQuery數(shù)據(jù)集市中的數(shù)據(jù)，而無需復(fù)雜的手動轉(zhuǎn)換或腳本。

工作流生成和協(xié)調(diào)

你也可以使用Qlik生成一個完整的和CDC工作流，任務(wù)是加載BigQuery數(shù)據(jù)倉庫和數(shù)據(jù)集市表。加載CDC數(shù)據(jù)的工作流可以通過Qlik或從第三方調(diào)度工具進(jìn)行調(diào)度。

Google BigQuery 自動化的六個步驟

只需要六個步驟，就可以用Qlik自動完成Google Big Query，具體步驟如下：

• 步驟1：自動化數(shù)據(jù)攝取和更新

配置Qlik Replicate任務(wù)，使用Google BigQuery作為端點。Qlik Replicate將在BigQuery中創(chuàng)建來自幾乎任何數(shù)據(jù)源的數(shù)據(jù)集，無論是在內(nèi)部還是在云端。一旦Qlik Replicate完成全部數(shù)據(jù)加載，任務(wù)就會過渡到CDC模式，以近乎實時的方式復(fù)制源數(shù)據(jù)變化。

• 步驟2：Qlik Compose Source和數(shù)據(jù)倉庫配置

配置一個Qlik Compose for Data Warehouses項目登陸和數(shù)據(jù)倉庫連接。數(shù)據(jù)倉庫連接將提供目標(biāo)數(shù)據(jù)倉庫和數(shù)據(jù)集的詳細(xì)信息。登陸連接指定了BigQuery數(shù)據(jù)集，該數(shù)據(jù)集將用于數(shù)據(jù)模型內(nèi)的集成。

• 步驟3：自動生成倉庫數(shù)據(jù)模型

模型面板用于智能發(fā)現(xiàn)邏輯和物理數(shù)據(jù)倉庫模型的表元數(shù)據(jù)。管理模型控制哪些屬性變化和歷史類型可以應(yīng)用到數(shù)據(jù)倉庫模型。

• 步驟4：生成數(shù)據(jù)倉庫自動化指令

數(shù)據(jù)倉庫面板選擇將在數(shù)據(jù)倉庫數(shù)據(jù)集中創(chuàng)建為Google BigQuery表的表。將創(chuàng)建表映射，以管理BigQuery表中的登陸列和暫存列之間的關(guān)系。一旦完成，ETL過程代碼就會生成并準(zhǔn)備在BigQuery上執(zhí)行。

• 步驟5：創(chuàng)建交易數(shù)據(jù)集市

數(shù)據(jù)集市面板提供了一個 "新星型模式 "向?qū)韯?chuàng)建事務(wù)星型模式。該向?qū)紫纫竽銖臄?shù)據(jù)倉庫數(shù)據(jù)集中選擇一個事實表。然后選擇所選事實表的父維表。您還選擇一個屬性作為模式的事務(wù)日期。一旦模式向?qū)瓿桑蜁刹?zhí)行BigQuery語法來加載創(chuàng)建和加載數(shù)據(jù)倉庫表。

• 步驟6：編排倉庫工作流程

當(dāng)設(shè)置了數(shù)據(jù)倉庫CDC ETL后，在Qlik Compose監(jiān)控界面中，一個任務(wù)被創(chuàng)建并添加到默認(rèn)的CDC工作流中。一個數(shù)據(jù)集市任務(wù)也被添加到默認(rèn)的CDC工作流中。

結(jié)論

Google BigQuery是市場上領(lǐng)先的云數(shù)據(jù)倉庫，在操作大型數(shù)據(jù)集進(jìn)行分析工作負(fù)載時，可以提供卓越的性能。雖然BigQuery提供了幾乎不需要動手的管理，但當(dāng)與Google平臺一起使用時，Qlik的數(shù)據(jù)倉庫自動化解決方案將為您節(jié)省大量的開發(fā)時間。請下載Qlik云端試用版體驗！聯(lián)系在線客服，還可請求獲得Qlik的Domo演示。