Dataproc 是一項全代管且擴充性極高的服務,可執行 Apache Hadoop、Apache Spark、Apache Flink、Presto 和 30 多種開放原始碼工具和架構。使用 Dataproc 大規模進行資料湖泊翻新、ETL 和安全數據資料學作業,與 Google Cloud 整合且成本極低。
優點
無論您需要 VM 或 Kubernetes、Presto 的額外記憶體,甚至是 GPU,Dataproc 都可以透過專門建構 (隨選) 或無伺服器的環境,協助您加快資料和數據分析作業的處理速度。
透過 Dataproc、BigLake 和 Dataplex 強制執行精細的資料列和資料欄層級存取權控管機制。使用現有的 Kerberos 和 Apache Ranger 政策管理和強制執行使用者授權和驗證。
主要功能與特色
無伺服器部署、記錄和監控功能可讓您專心處理資料和數據分析工作,不必費心處理基礎架構。最多可讓 Apache Spark 管理作業的總持有成本降低 54%。與 Vertex AI Workbench 相互整合,讓數據資料學家和工程師建構及訓練模型的速度加快 5 倍。Dataproc Jobs API 能讓您輕鬆將大數據資料處理作業整合至自訂應用程式,而 Dataproc Metastore 則可讓您不必執行自己的 Hive 中繼存放區或目錄服務。
透過 Kubernetes 上的 Dataproc 建構 Apache Spark 工作,以便使用 Dataproc 搭配 Google Kubernetes Engine (GKE) 來提供工作移轉和區隔功能。
當您建立 Dataproc 叢集時,可新增安全性設定,以便透過 Kerberos 啟用 Hadoop 安全模式。Dataproc 也可搭配某些常見的 Google Cloud 專屬安全性功能使用,其中包括預設靜態資料加密、OS 登入、VPC Service Controls 以及客戶自行管理的加密金鑰 (CMEK)。
Dataproc 可讓您輕鬆地將目前採用的開放原始碼工具、演算法和程式設計語言運用於雲端規模的資料集上。同時,Dataproc 也與 Google Cloud 數據分析、資料庫和 AI 生態系統的其他部分整合,可讓您立即使用相關功能。數據資料學家和工程師可快速存取資料並建構資料應用程式,將 Dataproc 連結至 BigQuery、Vertex AI、Cloud Spanner、Pub/Sub 或 Data Fusion。
客戶
最新消息
無伺服器 Spark 現已正式發布。申請試用 Google Cloud 服務上的其他 Spark 預先發布版。
說明文件
使用案例
為控管成本並發揮彈性擴充的優勢,企業紛紛將現有地端部署的 Apache Hadoop 和 Spark 叢集遷移至 Dataproc。企業可透過 Dataproc 啟動全代管的專用叢集。這類叢集可自動調度資源來支援各種資料或數據分析處理工作。
您可以啟動專用 Dataproc 叢集,藉此打造理想的數據資料學環境。將 Apache Spark、NVIDIA RAPIDS 和 Jupyter 筆記本等開放原始碼軟體整合至 Google Cloud AI 服務和 GPU,即可加快機器學習和 AI 的開發作業。
所有功能與特色
無伺服器 Spark | 部署會自動調度資源的 Spark 應用程式和管道,完全不必手動佈建或調整基礎架構。 |
叢集可調整大小 | 建立叢集後,您不但能快速調度資源,還可指定各種虛擬機器類型、磁碟大小、節點數和網路選項。 |
自動調度叢集資源 | Dataproc 的自動調度資源機制可讓您以自動化的模式管理叢集資源,進而自動新增及移除叢集工作站 (節點)。 |
整合式雲端 | 內建 Cloud Storage、BigQuery、Dataplex、Vertex AI、Composer、Cloud Bigtable、Cloud Logging 和 Cloud Monitoring 的整合功能,為您提供更完善穩固的資料平台。 |
版本管理 | 映像檔版本設定方便您切換不同版本的 Apache Spark、Apache Hadoop 和其他工具。 |
排定刪除叢集 | 只要使用 Dataproc 的排定刪除作業功能,即可避免閒置的叢集產生費用。您可以選擇在達到一段指定的閒置時間後刪除叢集,也可以指定在特定的時間點或時間範圍後刪除叢集。 |
自動設定或手動設定 | Dataproc 會自動設定軟硬體,但您也可以選擇手動控管設定。 |
開發人員工具 | 提供多種叢集管理方式,包括簡單易用的網頁版使用者介面、Cloud SDK、符合 REST 樣式的 API 和 SSH 存取權。 |
初始化動作 | 建立叢集後,您可以執行初始化動作,視需求安裝或自訂設定和程式庫。 |
選用元件 | 您可以使用選用元件安裝及設定叢集中的其他元件。選用元件可與 Dataproc 元件整合,並針對 Zeppelin、Presto 和其他與 Apache Hadoop 及 Apache Spark 生態系統相關的開放原始碼軟體元件,提供完成設定的環境。 |
自訂容器和映像檔 | Dataproc 無伺服器 Spark 可透過自訂 Docker 容器佈建。您可以透過含有預先安裝 Linux 作業系統套件的自訂映像檔佈建 Dataproc 叢集。 |
靈活有彈性的虛擬機器 | |
元件閘道與筆記本存取權限 | 透過 Dataproc 元件閘道,您只要按一下滑鼠,就能輕易存取在叢集中執行的 Dataproc 預設和選用元件網頁介面,而且不必擔心安全性問題。 |
工作流程範本 | Dataproc 工作流程範本提供靈活易用的工作流程管理與執行機制。工作流程範本是可重複使用的工作流程設定,其中所定義的工作圖含有要在哪裡執行工作的資訊。 |
自動化政策管理 | 將安全性、費用及基礎架構政策標準化,對整批叢集採取一致的做法。您可以在專案層級針對資源管理、安全性或網路建立政策,同時也能讓使用者輕鬆使用正確的映像檔、元件、中繼存放區和其他周邊服務,以便您日後管理大批叢集和無伺服器 Spark 政策。 |
智慧型快訊 | Dataproc 建議的快訊可讓客戶調整預先設定的快訊門檻,以便在叢集、工作處於閒置或失控狀態、叢集使用率過高等情況收到快訊。客戶能進一步自訂這些快訊,甚至是建立進階的叢集和工作管理功能。這些功能可讓客戶大規模管理機群。 |
Dataproc Metastore | 可用性高的全代管 Hive 中繼存放區 (HMS),提供精細的存取權控管功能,並與 BigQuery 中繼存放區、Dataplex 和 Data Catalog 相整合。 |
定價
Dataproc 定價取決於 vCPU 數和叢集執行的時間長度。雖然顯示的定價為每小時費率,但 Dataproc 實際上是以秒計費,因此可讓您用多少就付多少。
例如:搭載 4 個 CPU 的 6 個叢集 (1 個主要執行個體 + 5 個工作站) 各執行了 2 小時,費用為 $0.48 美元。Dataproc 費用 = vCPU 數量 * 小時數 * Dataproc 定價 = 24 * 2 * $0.01 美元 = $0.48 美元
詳情請參閱定價頁面。