在 Google Cloud 中使用 Spark
業界首屈一指的無伺服器 Spark,可自動調度資源,並與出色的 Google 原生和開放原始碼工具整合。視需求在任何用途中開發及執行 Spark,包括 ETL、數據資料學和探索。
主要功能與特色
只要按幾下滑鼠,即可選擇要從哪個介面執行自動調度資源的 Spark 工作
無伺服器 Spark (正式發布版)
開發人員可以將所有時間花在程式碼和邏輯方面的工作,並使用所選介面提交 Spark 工作,以便自動步健及自動調整資源配置。詳情請參閱這篇文章。
透過 Vertex AI 使用 Spark (不公開預先發布版)
一鍵即可執行數據資料學的 Spark:數據資料學家可使用 Spark 從 Vertex AI Workbench 順暢執行開發作業,且內建安全防護機制。Spark 已與 Vertex AI 的機器學習運作功能相互整合,可讓使用者透過與 Vertex AI 管道整合的筆記本執行程式來執行 Spark 程式碼。註冊即可搶先試用。
透過 Dataplex 使用 Spark
只要按一下滑鼠即可存取 SparkSQL、Notebooks 或 PySpark,透過單一介面對 Google Cloud 中的資料執行自動調整資源配置的 Spark。此外,運用儲存、共用、搜尋筆記本和指令碼與資料,以及跨資料湖泊內建的管理機制,您也能更輕鬆協同合作。
靈活的用量方案
除了無伺服器 Spark 的免人工管理部署作業之外,統一使用 Kubernetes 執行基礎架構管理的客戶還可在 Google Kubernetes Engine (正式發布版) 上執行 Spark 來改善資源使用率,並簡化基礎架構管理作業。需要 Hadoop 樣式基礎架構管理的客戶可以在 Compute Engine (正式發布版) 上執行 Spark。
相關服務
可在 Google Cloud 服務中普遍執行的 Spark
Spark 是 Apache Software Foundation 的商標。