Dataproc
Dataproc 是一項全代管且擴充性極高的服務，可執行 Apache Hadoop、Apache Spark、Apache Flink、Presto 和 30 多種開放原始碼工具和架構。使用 Dataproc 大規模進行資料湖泊翻新、ETL 和安全數據資料學作業，與 Google Cloud 整合且成本極低。
優點
翻新開放原始碼資料處理方式
無論您需要 VM 或 Kubernetes、Presto 的額外記憶體，甚至是 GPU，Dataproc 都可以透過專門建構 (隨選) 或無伺服器的環境，協助您加快資料和數據分析作業的處理速度。
先進的安全防護、法規遵循與管理機制
透過 Dataproc、BigLake 和 Dataplex 強制執行精細的資料列和資料欄層級存取權控管機制。使用現有的 Kerberos 和 Apache Ranger 政策管理和強制執行使用者授權和驗證。
主要功能與特色
主要功能與特色
全代管的自動化大數據開放原始碼軟體
無伺服器部署、記錄和監控功能可讓您專心處理資料和數據分析工作，不必費心處理基礎架構。最多可讓 Apache Spark 管理作業的總持有成本降低 54%。與 Vertex AI Workbench 相互整合，讓數據資料學家和工程師建構及訓練模型的速度加快 5 倍。Dataproc Jobs API 能讓您輕鬆將大數據資料處理作業整合至自訂應用程式，而 Dataproc Metastore 則可讓您不必執行自己的 Hive 中繼存放區或目錄服務。
使用 Kubernetes 將 Apache Spark 工作容器化
透過 Kubernetes 上的 Dataproc 建構 Apache Spark 工作，以便使用 Dataproc 搭配 Google Kubernetes Engine (GKE) 來提供工作移轉和區隔功能。
與 Google Cloud 相互整合的企業安全防護機制
當您建立 Dataproc 叢集時，可新增安全性設定，以便透過 Kerberos 啟用 Hadoop 安全模式。Dataproc 也可搭配某些常見的 Google Cloud 專屬安全性功能使用，其中包括預設靜態資料加密、OS 登入、VPC Service Controls 以及客戶自行管理的加密金鑰 (CMEK)。
將最棒的開放原始碼與最出色的 Google Cloud 技術搭配使用
Dataproc 可讓您輕鬆地將目前採用的開放原始碼工具、演算法和程式設計語言運用於雲端規模的資料集上。同時，Dataproc 也與 Google Cloud 數據分析、資料庫和 AI 生態系統的其他部分整合，可讓您立即使用相關功能。數據資料學家和工程師可快速存取資料並建構資料應用程式，將 Dataproc 連結至 BigQuery、Vertex AI、Cloud Spanner、Pub/Sub 或 Data Fusion。
客戶
客戶經驗談：使用 Dataproc
最新消息
最新消息
無伺服器 Spark 現已正式發布。申請試用 Google Cloud 服務上的其他 Spark 預先發布版。
說明文件
說明文件
找不到所需資訊嗎？
使用案例
使用案例
將 Hadoop 和 Spark 叢集移轉至雲端
為控管成本並發揮彈性擴充的優勢，企業紛紛將現有地端部署的 Apache Hadoop 和 Spark 叢集遷移至 Dataproc。企業可透過 Dataproc 啟動全代管的專用叢集。這類叢集可自動調度資源來支援各種資料或數據分析處理工作。
Dataproc 中的數據資料學
您可以啟動專用 Dataproc 叢集，藉此打造理想的數據資料學環境。將 Apache Spark、NVIDIA RAPIDS 和 Jupyter 筆記本等開放原始碼軟體整合至 Google Cloud AI 服務和 GPU，即可加快機器學習和 AI 的開發作業。
所有功能與特色
所有功能與特色
| 無伺服器 Spark | 部署會自動調度資源的 Spark 應用程式和管道，完全不必手動佈建或調整基礎架構。 |
| 叢集可調整大小 | 建立叢集後，您不但能快速調度資源，還可指定各種虛擬機器類型、磁碟大小、節點數和網路選項。 |
| 自動調度叢集資源 | Dataproc 的自動調度資源機制可讓您以自動化的模式管理叢集資源，進而自動新增及移除叢集工作站 (節點)。 |
| 整合式雲端 | 內建 Cloud Storage、BigQuery、Dataplex、Vertex AI、Composer、Cloud Bigtable、Cloud Logging 和 Cloud Monitoring 的整合功能，為您提供更完善穩固的資料平台。 |
| 版本管理 | 映像檔版本設定方便您切換不同版本的 Apache Spark、Apache Hadoop 和其他工具。 |
| 排定刪除叢集 | 只要使用 Dataproc 的排定刪除作業功能，即可避免閒置的叢集產生費用。您可以選擇在達到一段指定的閒置時間後刪除叢集，也可以指定在特定的時間點或時間範圍後刪除叢集。 |
| 自動設定或手動設定 | Dataproc 會自動設定軟硬體，但您也可以選擇手動控管設定。 |
| 開發人員工具 | 提供多種叢集管理方式，包括簡單易用的網頁版使用者介面、Cloud SDK、符合 REST 樣式的 API 和 SSH 存取權。 |
| 初始化動作 | 建立叢集後，您可以執行初始化動作，視需求安裝或自訂設定和程式庫。 |
| 選用元件 | 您可以使用選用元件安裝及設定叢集中的其他元件。選用元件可與 Dataproc 元件整合，並針對 Zeppelin、Presto 和其他與 Apache Hadoop 及 Apache Spark 生態系統相關的開放原始碼軟體元件，提供完成設定的環境。 |
| 自訂容器和映像檔 | Dataproc 無伺服器 Spark 可透過自訂 Docker 容器佈建。您可以透過含有預先安裝 Linux 作業系統套件的自訂映像檔佈建 Dataproc 叢集。 |
| 靈活有彈性的虛擬機器 | |
| 元件閘道與筆記本存取權限 | 透過 Dataproc 元件閘道，您只要按一下滑鼠，就能輕易存取在叢集中執行的 Dataproc 預設和選用元件網頁介面，而且不必擔心安全性問題。 |
| 工作流程範本 | Dataproc 工作流程範本提供靈活易用的工作流程管理與執行機制。工作流程範本是可重複使用的工作流程設定，其中所定義的工作圖含有要在哪裡執行工作的資訊。 |
| 自動化政策管理 | 將安全性、費用及基礎架構政策標準化，對整批叢集採取一致的做法。您可以在專案層級針對資源管理、安全性或網路建立政策，同時也能讓使用者輕鬆使用正確的映像檔、元件、中繼存放區和其他周邊服務，以便您日後管理大批叢集和無伺服器 Spark 政策。 |
| 智慧型快訊 | Dataproc 建議的快訊可讓客戶調整預先設定的快訊門檻，以便在叢集、工作處於閒置或失控狀態、叢集使用率過高等情況收到快訊。客戶能進一步自訂這些快訊，甚至是建立進階的叢集和工作管理功能。這些功能可讓客戶大規模管理機群。 |
| Dataproc Metastore | 可用性高的全代管 Hive 中繼存放區 (HMS)，提供精細的存取權控管功能，並與 BigQuery 中繼存放區、Dataplex 和 Data Catalog 相整合。 |
定價
定價
Dataproc 定價取決於 vCPU 數和叢集執行的時間長度。雖然顯示的定價為每小時費率，但 Dataproc 實際上是以秒計費，因此可讓您用多少就付多少。
例如：搭載 4 個 CPU 的 6 個叢集 (1 個主要執行個體 + 5 個工作站) 各執行了 2 小時，費用為 $0.48 美元。Dataproc 費用 = vCPU 數量 * 小時數 * Dataproc 定價 = 24 * 2 * $0.01 美元 = $0.48 美元
詳情請參閱定價頁面。
