請按這裡觀看 2021 年 Next 大會講座:在 Google Cloud 中使用 Spark。

跳至

在 Google Cloud 中使用 Spark

業界首屈一指的無伺服器 Spark,可自動調度資源,並與出色的 Google 原生和開放原始碼工具整合。視需求在任何用途中開發及執行 Spark,包括 ETL、數據資料學和探索。

優點

提高開發人員的生產力,並更快取得資料深入分析結果

透過無伺服器 Spark 簡化作業

編寫自動調度資源的 Spark 應用程式和管道,完全不須手動佈建或調整基礎架構。

為所有資料使用者提供順暢的 Spark

Spark 已與 BigQueryVertex AIDataplex 整合,因此您不必自訂整合就可以從這些介面中輕鬆編寫和執行 Spark,適用於 ETL、資料探索、數據分析和機器學習。

靈活用量

單一尺寸無法套用至全部。您可以為 Spark 應用程式選擇無伺服器、Kubernetes 叢集和運算叢集。

主要功能與特色

只要按幾下滑鼠,即可選擇要從哪個介面執行自動調度資源的 Spark 工作

無伺服器 Spark (即將推出正式發布版)

開發人員可以投注所有時間編寫程式碼和邏輯,並使用自己選擇的介面提交自動佈建和自動調整資源配置的 Spark 工作。

透過 BigQuery 使用 Spark (不公開預先發布版)

整合 SQL 和 Spark 經驗:讓資料倉儲使用者輕鬆在 BigQuery 資料上編寫並執行 Spark,不必匯出。而且不需要管理基礎架構。

透過 Vertex AI 使用 Spark (不公開預先發布版)

按一下滑鼠即可執行數據資料學適用的 Spark:數據資料學家可使用 Spark 從 Vertex AI Workbench 順暢執行開發作業,且具備內建安全防護機制。Spark 已與 Vertex AI 的機器學習運作功能相互整合,可讓使用者透過與 Vertex AI 管道整合的筆記本執行工具執行 Spark 程式碼。

透過 Dataplex 執行 Spark (不公開預先發布版)

只要按一下滑鼠即可存取 SparkSQL、Notebooks 或 PySpark,透過單一介面對 Google Cloud 中的資料執行自動調整資源配置的 Spark。此外,運用儲存、共用、搜尋筆記本和指令碼與資料,以及跨資料湖泊內建的管理機制,您也能更輕鬆協同合作。

靈活的用量方案

除了無伺服器 Spark 的免人工管理部署作業之外,統一使用 Kubernetes 執行基礎架構管理的客戶還可在 Google Kubernetes Engine (不公開預先發布版) 上執行 Spark 來改善資源使用率,並簡化基礎架構管理作業。需要 Hadoop 樣式基礎架構管理的客戶可以在 Compute Engine (正式發布版) 上執行 Spark。


準備好開始使用了嗎?聯絡我們

最新資訊

隨時掌握在 Google Cloud 上使用 Spark 的最新消息、網誌和活動

如要申請搶先體驗在 Google Cloud 中使用 Spark 的新解決方案,請按這裡提出申請