請按這裡觀看 2021 年 Next 大會講座:在 Google Cloud 中使用 Spark。

跳至

在 Google Cloud 中使用 Spark

業界首屈一指的無伺服器 Spark,可自動調度資源,並與出色的 Google 原生和開放原始碼工具整合。視需求在任何用途中開發及執行 Spark,包括 ETL、數據資料學和探索。

優點

提高開發人員的生產力,並更快取得資料深入分析結果

透過無伺服器 Spark 簡化作業流程

編寫自動調度資源的 Spark 應用程式和管道,完全不須手動佈建或調整基礎架構。

讓所有資料使用者都能順暢使用 Spark

Spark 已與 BigQueryVertex AIDataplex 整合,因此您不必自訂整合就可以從這些介面中輕鬆編寫和執行 Spark,適用於 ETL、資料探索、數據分析和機器學習。

靈活用量

沒有一種方案可以滿足所有的需求。您可以為 Spark 應用程式選擇無伺服器、Kubernetes 叢集和運算叢集。

主要功能與特色

只要按幾下滑鼠,即可選擇要從哪個介面執行自動調度資源的 Spark 工作

無伺服器 Spark (即將推出正式發布版)

開發人員可以將所有時間花在程式碼和邏輯方面的工作,並使用所選介面提交 Spark 工作,以便自動步健及自動調整資源配置。

透過 BigQuery 使用 Spark (不公開預先發布版)

整合式 SQL 和 Spark 體驗:讓資料倉儲使用者能夠在 BigQuery 資料中輕鬆撰寫及執行 Spark,不需要匯出,也不需要管理基礎架構。

透過 Vertex AI 使用 Spark (不公開預先發布版)

數據資料學家只要按一下滑鼠就能發揮 Spark 的功能:數據資料學家可以使用 Spark 輕鬆在 Vertex AI Workbench 中進行開發作業,且享有內建的安全防護措施。Spark 已與 Vertex AI 的機器學習運作功能相互整合,可讓使用者透過與 Vertex AI 管道整合的筆記本執行工具執行 Spark 程式碼。

透過 Dataplex 執行 Spark (不公開預先發布版)

只要按一下滑鼠即可存取 SparkSQL、Notebooks 或 PySpark,透過單一介面對 Google Cloud 中的資料執行自動調整資源配置的 Spark。此外,運用儲存、共用、搜尋筆記本和指令碼與資料,以及跨資料湖泊內建的管理機制,您也能更輕鬆協同合作。

靈活的用量方案

除了無伺服器 Spark 的免人工管理部署作業之外,統一使用 Kubernetes 執行基礎架構管理的客戶還可在 Google Kubernetes Engine (不公開預先發布版) 上執行 Spark 來改善資源使用率,並簡化基礎架構管理作業。需要 Hadoop 樣式基礎架構管理的客戶可以在 Compute Engine (正式發布版) 上執行 Spark。


準備好開始使用了嗎?聯絡我們

最新資訊

隨時掌握在 Google Cloud 上使用 Spark 的最新消息、網誌和活動

如要申請搶先體驗在 Google Cloud 中使用 Spark 的新解決方案,請按這裡提出申請