數(shù)據(jù)工程師和架構(gòu)師被要求對(duì)企業(yè)數(shù)據(jù)進(jìn)行比以往更多的處理。然而，企業(yè)想要用數(shù)據(jù)做什么和如何實(shí)現(xiàn)數(shù)據(jù)之間的知識(shí)差距日益擴(kuò)大——特別是考慮到當(dāng)今的人工智能炒作周期。面對(duì)市場(chǎng)上的喧囂，很容易看出組織如何努力跟上創(chuàng)新的步伐。 Qlik 和 Databricks 合作，通過提供一些真正的解決方案來幫助縮小這一差距，幫助架構(gòu)師和工程師滿足不斷增長(zhǎng)的業(yè)務(wù)需求。

免費(fèi)試用Qlik

本博客總結(jié)了我們的最佳實(shí)踐技術(shù)指南中的關(guān)鍵見解，該指南提供了實(shí)用的技巧和技術(shù)，可幫助您從 Databricks 投資中獲得更多收益，并改進(jìn)數(shù)據(jù)在分析和 AI 計(jì)劃中的交付和轉(zhuǎn)換。

1. 大規(guī)模自動(dòng)捕獲變更數(shù)據(jù)。
   通過跨不同數(shù)據(jù)源自動(dòng)執(zhí)行變更數(shù)據(jù)捕獲 (CDC)，公司可以消除手動(dòng)數(shù)據(jù)提取，并通過架構(gòu)演進(jìn)和轉(zhuǎn)換功能簡(jiǎn)化數(shù)據(jù)實(shí)時(shí)移動(dòng)到 Databricks Lakehouse 平臺(tái)，從而為原始源數(shù)據(jù) AI 做好準(zhǔn)備。

2. 性能優(yōu)化：文件大小配置。
   借助 Qlik Replicate、Change Data Capture，組織可以在將數(shù)據(jù)加載到表中之前調(diào)整數(shù)據(jù)復(fù)制的最大文件大小（以 MB 為單位）。配置文件大小可以提高初始完全加載期間的性能。然后，Databricks 用戶可以嘗試持續(xù)復(fù)制文件大小并根據(jù)特定用例進(jìn)行微調(diào)。

3.對(duì)大型表進(jìn)行分區(qū)可最大限度地提高 Databricks 的性能價(jià)值。
Databricks 提供了對(duì) Delta 表進(jìn)行分區(qū)的功能。建議對(duì)可能成為應(yīng)用程序流程瓶頸的大表進(jìn)行分區(qū)。

集群利用率——未分區(qū)

集群利用率 – 分區(qū)

1. 自動(dòng)優(yōu)化選項(xiàng)。
   通過配置集群以獲得最佳性能，使用 Qlik 和 Databricks 微調(diào)效率。禁用 autoCompact 并啟用 optimizeWrite。此配置可防止延遲問題并最大限度地提高 Delta Lake 內(nèi)的數(shù)據(jù)查詢速度。安排定期優(yōu)化以進(jìn)一步提高查詢速度并保持峰值性能。

2. 動(dòng)態(tài)工作負(fù)載卷的自動(dòng)縮放。
   通過監(jiān)控集群性能并根據(jù)實(shí)時(shí)使用和測(cè)試調(diào)整集群配置來自動(dòng)縮放動(dòng)態(tài)工作負(fù)載量。這確保了最佳的資源分配和效率。這種自適應(yīng)方法可以擴(kuò)大或縮小規(guī)模，以有效地滿足數(shù)據(jù)集成任務(wù)的需求。

3. 使用 Qlik 定制 SQL 倉庫。
   Qlik 根據(jù)特定要求（例如網(wǎng)絡(luò)拓?fù)洹⒀舆t、表結(jié)構(gòu)、更新頻率和驅(qū)動(dòng)程序版本）提供配置 SQL 倉庫的定制建議。

這些只是 Qlik 和 Databricks 可以為您的集成提供的一些免費(fèi)屬性。下載 Qlik Cloud Data Integration with Databricks Best Practices Guide，了解如何實(shí)施上面分享的見解。從將 ETL 流程轉(zhuǎn)換為 ELT、配置集群以實(shí)現(xiàn)最高效率以及利用自動(dòng)擴(kuò)展功能，本指南展示了您今天可以采取的實(shí)際步驟，以從 Databricks 投資中獲得更多收益。

Qlik是一家私有SaaS公司，提供端到端實(shí)時(shí)數(shù)據(jù)集成和分析云平臺(tái)，以縮小數(shù)據(jù)，洞察力和行動(dòng)之間的差距。通過將數(shù)據(jù)轉(zhuǎn)換為Active Intelligence，企業(yè)可以制定更好的決策，提高收入和盈利能力并優(yōu)化客戶關(guān)系。Qlik在100多個(gè)國(guó)家/地區(qū)開展業(yè)務(wù)，為全球50,000多個(gè)客戶提供服務(wù)。

作為Qlik官方的中國(guó)合作伙伴，我們?yōu)镼lik的中國(guó)用戶提供產(chǎn)品授權(quán)與實(shí)施、定制分析方案、技術(shù)培訓(xùn)等服務(wù)，歡迎。我們旨在讓中國(guó)企業(yè)的每個(gè)Qlik用戶都能探索出數(shù)據(jù)的價(jià)值，讓企業(yè)形成分析文化。