跳至

在 Google Cloud 中使用 Spark

業界首屈一指的無伺服器 Spark,可自動調度資源,並與出色的 Google 原生和開放原始碼工具整合。視需求在任何用途中開發及執行 Spark,包括 ETL、數據資料學和探索。

優點

提高開發人員的生產力,並更快取得資料深入分析結果

透過無伺服器 Spark 簡化作業

編寫自動調度資源的 Spark 應用程式和管道,完全不須手動佈建或調整基礎架構。

讓所有資料使用者都能順暢使用 Spark

Spark 已與 BigQueryVertex AIDataplex 整合,因此您不必自訂整合就可以從這些介面中輕鬆編寫和執行 Spark,適用於 ETL、資料探索、數據分析和機器學習。

靈活選擇

不同的需求,需要不同的做法。您可以針對自家的 Spark 應用程式選用無伺服器、Kubernetes 或運算叢集。

主要功能與特色

只要按幾下滑鼠,即可選擇要從哪個介面執行自動調度資源的 Spark 工作

無伺服器 Spark (正式發布版)

開發人員可以將所有時間花在程式碼和邏輯方面的工作,並使用所選介面提交 Spark 工作,以便自動步健及自動調整資源配置。詳情請參閱這篇文章

Apache Spark 適用的 BigQuery 外部程序 (不公開預先發布版)

統合 SQL 與 Spark 體驗:直接從 BigQuery 建立及執行以 Python 編寫的 Apache Spark 程式碼。接著,您可以使用 Google 標準 SQL 查詢,在 BigQuery 中執行及排定這些儲存的程序,原理類似執行 SQL 儲存程序註冊即可搶先試用。

透過 Vertex AI 使用 Spark (不公開預先發布版)

一鍵即可執行數據資料學的 Spark:數據資料學家可使用 Spark 從 Vertex AI Workbench 順暢執行開發作業,且內建安全防護機制。Spark 已與 Vertex AI 的機器學習運作功能相互整合,使用者可透過與 Vertex AI Pipelines 整合的筆記本執行程式來執行 Spark 程式碼。

透過 Dataplex 使用 Spark

只要按一下滑鼠即可存取 SparkSQL、Notebooks 或 PySpark,透過單一介面對 Google Cloud 中的資料執行自動調整資源配置的 Spark。此外,運用儲存、共用、搜尋筆記本和指令碼與資料,以及跨資料湖泊內建的管理機制,您也能更輕鬆協同合作。

靈活的用量方案

除了無伺服器 Spark 的免人工管理部署作業之外,統一使用 Kubernetes 執行基礎架構管理的客戶還可在 Google Kubernetes Engine (正式發布版) 上執行 Spark 來改善資源使用率,並簡化基礎架構管理作業。需要 Hadoop 樣式基礎架構管理的客戶可以在 Compute Engine (正式發布版) 上執行 Spark。


準備好開始使用了嗎?聯絡我們

合作夥伴

最新資訊

隨時掌握在 Google Cloud 上使用 Spark 的最新消息、網誌和活動

如要申請搶先體驗在 Google Cloud 中使用 Spark 的新解決方案,請按這裡提出申請