翻譯|其它|編輯:陳津勇|2019-10-11 11:19:07.150|閱讀 442 次
概述:本文主要介紹現(xiàn)在通過Visual Studio Code擴(kuò)展進(jìn)行PySpark作業(yè)時可運(yùn)用的一些功能,和可實(shí)現(xiàn)的更便捷的操作。
# 界面/圖表報表/文檔/IDE等千款熱門軟控件火熱銷售中 >>
近日,微軟宣布Visual Studio Code支持SQL Server 2019大數(shù)據(jù)群集PySpark開發(fā)和查詢。它為Azure Data Studio提供了補(bǔ)充功能,可供數(shù)據(jù)工程師在數(shù)據(jù)科學(xué)家的數(shù)據(jù)探索和試驗之后編寫和生產(chǎn)PySpark作業(yè)。Visual Studio Code Apache Spark和Hive擴(kuò)展使您可以享受跨平臺和增強(qiáng)的輕量級Python編輯功能,它涵蓋了有關(guān)Python編寫、調(diào)試、Jupyter Notebook集成以及類似于交互式查詢的筆記型計算機(jī)的場景。
通過Visual Studio Code擴(kuò)展,您可以享受本機(jī)Python編程體驗,比如linting、調(diào)試支持、語言服務(wù)等。您可以為PY文件運(yùn)行當(dāng)前行、運(yùn)行選定的代碼行或全部運(yùn)行,可以導(dǎo)入和導(dǎo)出一個.ipynb筆記本,并執(zhí)行類似于“運(yùn)行單元格”、“在上方運(yùn)行”或“在下方運(yùn)行”的查詢筆記本,可以享受像筆記本電腦一樣的交互式體驗,其中包括您的源代碼和標(biāo)記注釋以及運(yùn)行結(jié)果和輸出,可以在交互式結(jié)果窗口中刪除不需要的部分、輸入注釋或鍵入其他代碼。此外,您還可以通過matplotlib(如Jupyter Notebook)以圖形格式可視化結(jié)果。
與SQL Server 2019大數(shù)據(jù)集群的集成使您能夠快速向大數(shù)據(jù)集群提交PySpark批處理作業(yè)并監(jiān)視作業(yè)進(jìn)度。
點(diǎn)擊下載Microsoft SQL Server正式版
主要功能亮點(diǎn)
您可以鏈接到SQL Server。該工具包使您可以連接PySpark作業(yè)并將其提交到SQL Server 2019大數(shù)據(jù)群集。
Python編輯。開發(fā)具有本地Python創(chuàng)作支持(例如IntelliSense、自動格式、錯誤檢查等)的PySpark應(yīng)用程序。
Jupyter Notebook集成。導(dǎo)入和導(dǎo)出.ipynb文件。
PySpark交互式。運(yùn)行選定的代碼行,或運(yùn)行諸如PySpark單元格之類的筆記本,以及交互式可視化。
PySpark批處理。將PySpark應(yīng)用程序提交到SQL Server 2019大數(shù)據(jù)群集。
PySpark監(jiān)視。與Apache Spark歷史記錄服務(wù)器集成以查看作業(yè)歷史記錄、調(diào)試和診斷Spark作業(yè)。
如何安裝或更新
首先,安裝Visual Studio Code,然后下載適用于Linux或Mac的Mono4.2.x。然后轉(zhuǎn)到Visual Studio Code擴(kuò)展存儲庫或Visual Studio Code市場并搜索Spark,獲取最新的Apache Spark和Hive工具。
慧都網(wǎng)·1024程序員節(jié),DevExpress、MyEclipse、Axure RP、Aspose、FastReport等產(chǎn)品限時放“價”,給你專屬寵愛!點(diǎn)擊下方圖片查看活動詳情↓↓↓
本站文章除注明轉(zhuǎn)載外,均為本站原創(chuàng)或翻譯。歡迎任何形式的轉(zhuǎn)載,但請務(wù)必注明出處、不得修改原文相關(guān)鏈接,如果存在內(nèi)容上的異議請郵件反饋至chenjj@ke049m.cn
文章轉(zhuǎn)載自: