瞭解機構如何運用數據分析湖倉,為新出現的資料經濟做好萬全準備。請按這裡報名。
跳至
Dataproc

Dataproc

Dataproc 是一項全代管且擴充性極高的服務,可執行 Apache Hadoop、Apache Spark、Apache Flink、Presto 和 30 多種開放原始碼工具和架構。使用 Dataproc 大規模進行資料湖泊翻新、ETL 和安全數據資料學作業,與 Google Cloud 整合且成本極低。

  • 開放:大規模執行開放原始碼資料分析作業,提供企業級的安全性

  • 富有彈性:運用無伺服器模型,或是在 Google Compute 和 Kubernetes 上管理叢集

  • 智慧化:透過整合 Vertex AIBigQueryDataplex 為資料使用者提供必要功能

  • 安全:設定進階安全防護機制,例如 Kerberos、Apache Ranger 和個人叢集驗證

  • 符合成本效益:以秒計費,總持有成本比內部部署資料湖泊少 54%

優點

翻新開放原始碼資料處理方式

無論您需要 VM 或 Kubernetes、Presto 的額外記憶體,甚至是 GPU,Dataproc 都可以透過專門建構 (隨選) 或無伺服器的環境,協助您加快資料和數據分析作業的處理速度。

融合智慧技術且流暢整合的 OSS,適用於數據資料學

BigQueryDataplexVertex AI 原生整合,讓數據資料學家和資料分析師能夠順暢地執行數據資料學工作。

先進的安全防護、法規遵循與管理機制

透過 Dataproc、BigLakeDataplex 強制執行精細的資料列和資料欄層級存取權控管機制。使用現有的 KerberosApache Ranger 政策管理和強制執行使用者授權和驗證。

主要功能與特色

主要功能與特色

全代管的自動化大數據開放原始碼軟體

無伺服器部署、記錄和監控功能可讓您專心處理資料和數據分析工作,不必費心處理基礎架構。最多可讓 Apache Spark 管理作業的總持有成本降低 54%。與 Vertex AI Workbench 相互整合,讓數據資料學家和工程師建構及訓練模型的速度加快 5 倍。Dataproc Jobs API 能讓您輕鬆將大數據資料處理作業整合至自訂應用程式,而 Dataproc Metastore 則可讓您不必執行自己的 Hive 中繼存放區或目錄服務。

使用 Kubernetes 將 Apache Spark 工作容器化

透過 Kubernetes 上的 Dataproc 建構 Apache Spark 工作,以便使用 Dataproc 搭配 Google Kubernetes Engine (GKE) 來提供工作移轉和區隔功能。

與 Google Cloud 相互整合的企業安全防護機制

當您建立 Dataproc 叢集時,可新增安全性設定,以便透過 Kerberos 啟用 Hadoop 安全模式。Dataproc 也可搭配某些常見的 Google Cloud 專屬安全性功能使用,其中包括預設靜態資料加密、OS 登入、VPC Service Controls 以及客戶自行管理的加密金鑰 (CMEK)。

將最棒的開放原始碼與最出色的 Google Cloud 技術搭配使用

Dataproc 可讓您輕鬆地將目前採用的開放原始碼工具、演算法和程式設計語言運用於雲端規模的資料集上。同時,Dataproc 也與 Google Cloud 數據分析、資料庫和 AI 生態系統的其他部分整合,可讓您立即使用相關功能。數據資料學家和工程師可快速存取資料並建構資料應用程式,將 Dataproc 連結至 BigQueryVertex AICloud SpannerPub/SubData Fusion

查看所有功能與特色

說明文件

說明文件

Google Cloud 基本資訊

無伺服器 Spark

提交會自動佈建和自動調整資源配置的 Spark 工作。歡迎透過下方的快速入門導覽課程連結瞭解詳情。
API 與程式庫

Dataproc 初始化動作

透過預先建構的初始化動作,將其他 OSS 專案新增至您的 Dataproc 叢集中。
API 與程式庫

開放原始碼連接器

可與 Apache Hadoop 互通整合的程式庫和工具。
API 與程式庫

Dataproc Workflow 範本

Dataproc WorkflowTemplates API 提供靈活易用的工作流程管理與執行機制。

找不到所需資訊嗎?

使用案例

使用案例

用途
將 Hadoop 和 Spark 叢集移轉至雲端

為控管成本並發揮彈性擴充的優勢,企業紛紛將現有地端部署的 Apache Hadoop 和 Spark 叢集遷移至 Dataproc。企業可透過 Dataproc 啟動全代管的專用叢集。這類叢集可自動調度資源來支援各種資料或數據分析處理工作。

所有功能與特色

所有功能與特色

無伺服器 Spark
部署會自動調度資源的 Spark 應用程式和管道,完全不必手動佈建或調整基礎架構。
叢集可調整大小
建立叢集後,您不但能快速調度資源,還可指定各種虛擬機器類型、磁碟大小、節點數和網路選項。
自動調度叢集資源
Dataproc 的自動調度資源機制可讓您以自動化的模式管理叢集資源,進而自動新增及移除叢集工作站 (節點)。
整合式雲端
內建 Cloud Storage、BigQuery、Dataplex、Vertex AI、Composer、Cloud Bigtable、Cloud Logging 和 Cloud Monitoring 的整合功能,為您提供更完善穩固的資料平台。
版本管理
映像檔版本設定方便您切換不同版本的 Apache Spark、Apache Hadoop 和其他工具。
排定刪除叢集
只要使用 Dataproc 的排定刪除作業功能,即可避免閒置的叢集產生費用。您可以選擇在達到一段指定的閒置時間後刪除叢集,也可以指定在特定的時間點或時間範圍後刪除叢集。
自動設定或手動設定
Dataproc 會自動設定軟硬體,但您也可以選擇手動控管設定。
開發人員工具
提供多種叢集管理方式,包括簡單易用的網頁版使用者介面、Cloud SDK、符合 REST 樣式的 API 和 SSH 存取權。
初始化動作
建立叢集後,您可以執行初始化動作,視需求安裝或自訂設定和程式庫。
選用元件
您可以使用選用元件安裝及設定叢集中的其他元件。選用元件可與 Dataproc 元件整合,並針對 Zeppelin、Presto 和其他與 Apache Hadoop 及 Apache Spark 生態系統相關的開放原始碼軟體元件,提供完成設定的環境。
自訂容器和映像檔
Dataproc 無伺服器 Spark 可透過自訂 Docker 容器佈建。您可以透過含有預先安裝 Linux 作業系統套件的自訂映像檔佈建 Dataproc 叢集。
靈活有彈性的虛擬機器
叢集可以使用自訂機器類型先占虛擬機器提供您需要的大小。
元件閘道與筆記本存取權限
透過 Dataproc 元件閘道,您只要按一下滑鼠,就能輕易存取在叢集中執行的 Dataproc 預設和選用元件網頁介面,而且不必擔心安全性問題。
工作流程範本
Dataproc 工作流程範本提供靈活易用的工作流程管理與執行機制。工作流程範本是可重複使用的工作流程設定,其中所定義的工作圖含有要在哪裡執行工作的資訊。
自動化政策管理
將安全性、費用及基礎架構政策標準化,對整批叢集採取一致的做法。您可以在專案層級針對資源管理、安全性或網路建立政策,同時也能讓使用者輕鬆使用正確的映像檔、元件、中繼存放區和其他周邊服務,以便您日後管理大批叢集和無伺服器 Spark 政策。
智慧型快訊
Dataproc 建議的快訊可讓客戶調整預先設定的快訊門檻,以便在叢集、工作處於閒置或失控狀態、叢集使用率過高等情況收到快訊。客戶能進一步自訂這些快訊,甚至是建立進階的叢集和工作管理功能。這些功能可讓客戶大規模管理機群。
Dataproc Metastore
可用性高的全代管 Hive 中繼存放區 (HMS),提供精細的存取權控管功能,並與 BigQuery 中繼存放區、Dataplex 和 Data Catalog 相整合。

定價

定價

Dataproc 定價取決於 vCPU 數和叢集執行的時間長度。雖然顯示的定價為每小時費率,但 Dataproc 實際上是以秒計費,因此可讓您用多少就付多少。

例如:搭載 4 個 CPU 的 6 個叢集 (1 個主要執行個體 + 5 個工作站) 各執行了 2 小時,費用為 $0.48 美元。Dataproc 費用 = vCPU 數量 * 小時數 * Dataproc 定價 = 24 * 2 * $0.01 美元 = $0.48 美元

詳情請參閱定價頁面。

合作夥伴

合作夥伴

Dataproc 已與重要合作夥伴的產品相互整合,可以為您強化現有的投資項目與技能組合。

展開下一步行動

運用價值 $300 美元的免費抵免額和超過 20 項一律免費的產品,開始在 Google Cloud 中建構產品與服務。