Dataproc

以更快速簡單、經濟實惠的方式執行 Apache Spark 和 Apache Hadoop

免費試用

雲端原生的 Apache Hadoop 和 Apache Spark

Dataproc 是一項運作快速又簡單易用的全代管雲端服務，可讓您以更輕鬆且更具成本效益的方式，執行 Apache Spark 和 Apache Hadoop 叢集。過去需要數小時或數天處理的作業，現在只要幾分鐘或幾秒就能完成，而且您只需要為實際使用的資源付費 (以秒計費)。Dataproc 還能輕鬆與其他 Google Cloud Platform (GCP) 服務整合，讓您透過功能強大且完善的平台來進行資料處理、分析和機器學習工作。

快速且可擴充的資料處理效能

您不僅能快速建立 Dataproc 叢集，還能隨時調整大小 (三至數百個節點)，因此不必擔心叢集無法容納資料管道。每個叢集動作平均花費的時間不到 90 秒，管理基礎架構更省時，讓您得以集中精力探究深入分析資訊。

價格實惠

Dataproc 採用和 Google Cloud Platform 相同的定價原則， 價格實惠且結構清晰易懂，讓您根據實際用量按秒計費。不僅如此，Dataproc 叢集可加入費用低廉的先占執行個體，並提供承諾使用折扣與續用折扣，進一步降低總使用成本，同時保有強大的叢集系統。

開放原始碼生態系統

您可以搭配 Dataproc 使用 Spark 和 Hadoop 工具、程式庫和說明文件。 Dataproc 會經常針對 Spark、Hadoop、Pig 和 Hive 的原生版本進行更新，開發人員不必學習新工具或 API 即可開始使用，還可以直接移動現有的專案或 ETL 管道，不必再重新進行開發作業。

Dataproc 功能

Dataproc 是 Apache Spark 和 Apache Hadoop 的代管服務，不僅介面簡單易用、執行快速，而且費用低廉。

自動化叢集管理: 部署、記錄和監控作業均受管理，您只要專注於資料本身即可，不必為叢集煩惱。Dataproc 叢集不但穩定快速，且兼具擴充性。
叢集可調整大小: 建立叢集之後，不但能快速擴充，還可指定各種虛擬機器類型、磁碟大小、節點數和網路選項。
自動調度叢集的資源配置: Cloud Dataproc 的自動調度資源機制可讓您以自動化的模式管理叢集資源，進而自動新增及移除叢集工作站 (節點)。
整合式雲端: 內建 Cloud Storage、BigQuery、Bigtable、Stackdriver Logging、Stackdriver Monitoring 和 AI Hub 的整合功能，為您提供完善而穩固的資料平台。
版本管理: 映像檔版本管理功能方便您切換不同版本的 Apache Spark、Apache Hadoop 和其他工具。
高可用性: 叢集可透過高可用性模式與多個主要節點搭配執行，並設定工作失敗時重新啟動，為您的叢集和工作確保高可用性。
企業安全性: 當您建立 Cloud Dataproc 叢集時，可以一併新增安全性設定，並透過 Kerberos 啟用 Hadoop 安全模式。GCP 和 Dataproc 也備有其他安全性功能，可保護資料免於威脅侵擾。Dataproc 也可搭配部分 GCP 特定的安全性功能使用，最常用的包括預設靜態資料加密、OS 登入、VPC Service Controls 以及客戶管理的加密金鑰 (CMEK)
排定刪除叢集: 只要使用 Cloud Dataproc 的排定刪除功能，即可避免閒置的叢集產生額外費用。您可以選擇要在指定的閒置期過後刪除叢集，也可指定在特定時間點或時間範圍後再進行刪除。

自動設定或手動設定: Dataproc 會自動設定軟硬體，但您也可以手動控制設定。
開發人員工具: 提供多種叢集管理方式，包括簡單易用的網路 UI、Cloud SDK、符合 REST 樣式的 API 和 SSH 存取權。
初始化動作: 建立叢集後，您可以執行初始化動作，視需求安裝或自訂設定和資料庫。
選用元件: 您可以使用選用元件安裝及設定叢集上的其他元件。選用元件可與 Dataproc 元件整合，並針對 Zeppelin、Druid、Presto 和其他與 Apache Hadoop 及 Apache Spark 生態系統相關的開放原始碼軟體元件，提供完成設定的環境。
自訂映像檔: Dataproc 叢集可使用包含預先安裝 Linux 作業系統套件的自訂映像檔進行佈建。
彈性的虛擬機器: 叢集可以使用自訂機器類型和先占虛擬機器提供您需要的大小。
元件閘道與筆記本存取權限: 透過 Dataproc 元件閘道，使用者只要按一下，就能輕易存取在叢集上執行的 Dataproc 預設和選用元件網頁介面，而且不必擔心安全性問題。
工作流程範本: Dataproc 工作流程範本提供靈活且容易使用的機制，可用來管理和執行工作流程。工作流程範本是可重複使用的工作流程設定，其中所定義的工作圖含有要在哪裡執行工作的資訊。

Dataproc 定價

叢集中使用的 Compute Engine 執行個體每增加一個虛擬 CPU，Dataproc 的費用就會微幅增加r¹。

免費試用

精選網誌

歡迎參閱最新網誌，進一步瞭解雲端環境的開放原始碼資料處理程序

成功執行 Apache Hadoop 和 Spark 的最快捷徑：在雲端原生架構上使用限定工作的叢集

結合啟動速度快、以秒計費和雲端原生架構等優勢，協助企業主推動轉型作業

運用 Cloud Dataproc 建立長時間執行叢集的 10 個小訣竅

Cloud Dataproc 團隊曾與無數客戶合作，這些客戶建立叢集後，往往會用於特定用途。然而，如果是暫時限定工作的叢集模式，便無法妥善為所有 Hadoop 和 Spark 工作負載提供服務。Cloud Dataproc 團隊的目標，旨在確保每位客戶都能將產品用於所需用途。為此，我們很高興能夠提供以下提示和建議，協助您以非暫時性模式使用 Cloud Dataproc。

Cloud Dataproc 具備絕佳的使用彈性，效能也易於預測，可讓您輕鬆處理 Apache Spark 和 Apache Hadoop 工作負載

近年來的市場變化在在突顯了使用 Cloud Dataproc 等雲端原生代管 Spark 和服務的優勢，這類服務不僅可以降低不確定性，也能提供更多使用彈性

透過 Google Cloud Dataproc 工作 ID 與標籤輕鬆與 Apache Spark 和 Hadoop 進行整合

使用者所指定的工作 ID 功能和以 Cloud Dataproc 標籤為基礎的設計模式，對於開發過程相當有助益，但很多使用者卻渾然不知。我們會在這篇網誌文章中介紹一些最佳做法，讓您以效率絕佳的方式使用這些功能整合應用程式與服務。

HDFS 與 Cloud Storage：優缺點比較和相關遷移提示

HDFS 曾是 Hadoop 堆疊的典型元件；如果大眾持續廣泛使用 Apache Hadoop 和 Apache Spark，HDFS 這種技術真的會走入歷史嗎？歡迎閱讀本篇網誌來瞭解這個問題

Cloud Dataproc 新一代的開放原始碼工具，可以處理雲端規模的資料

在這篇文章中，我們會快速介紹 2019 年 Cloud Next 大會公布的最新 Cloud Dataproc 功能。本文列出的所有功能目前皆已公開發布，歡迎立即試用。

利用 Presto 選用元件擴充 Cloud Dataproc 叢集的 SQL 功能

Presto 查詢可以有效處理多個來源的資料，不論資料是來自 HDFS、Cloud Storage、MySQL、Cassandra，或甚至是 Kafka 都沒問題。這個方法的支援完善，可執行聯合查詢；如果是需要連結其他系統的個案式查詢分析，這項工具也十分適用。在這篇文章中，我們是以開放大眾存取的芝加哥計程車資料為例

7 個在實際工作環境中執行 Cloud Dataproc 的最佳做法

請參考我們彙整的七大最佳做法，開發使用 Cloud Dataproc 的生產環境流程，並確保高度相依和穩定性。您可以藉此提升資料處理速度，取得更實用的深入分析資料和結果。

Google Cloud 緩慢執行 Hadoop/Spark 工作的問題說明：與 Hadoop 和 Spark 叢集效能有關的 10 個問題

許多使用者首次在雲端使用 Hadoop 時，常常都會詢問一個尖銳的問題：預期效能就只有這樣嗎？有時，客戶會部署概念驗證，或將首個資料集遷移到 Cloud Storage，試圖啟動 Hadoop 和 Spark 工作，卻發現效能遠遠低於預期。不過通常都有辦法復原部署成效，而且方法迅速又有效

全新報告：檢視 Cloud Dataproc Spark 和 Hadoop 代管解決方案的經濟價值

企業策略集團 (ESG) 最近發布了一篇網誌和一份由 Google 委託製作的經濟價值驗證 (EVV) 報告，並在報告中檢視 Cloud Dataproc 的價值。ESG 的資深分析師 Mike Leone 指出，如果將內部部署的 Hadoop 和 Spark 環境與 Cloud Dataproc 中託管的相同基礎架構相互比較，「利用 Google Cloud Dataproc 可比使用內部部署環境節省 57% 的費用，與 Amazon EMR 相比則可省 32%」

Cloud Dataproc 的進階安全性選項現已全面推出

Cloud Dataproc 的全新安全性設定是兩全其美的絕佳選擇：不僅可以讓您使用首屈一指的現代化安全性功能和基礎架構，也能讓您繼續使用先前針對 Hadoop 和 Spark 環境開發的控管功能

Cloud Dataproc 中的 SparkR 工作類型

使用 R 語言的 GCP 可為您避免基礎架構的障礙問題，排除解讀資料時的種種限制。舉例來說，選擇要做為樣本的資料集時，可排除計算或資料大小的限制。另外，您也能透過 GCP 建立大型模型來分析資料集。您先前可能需要預先投入大量資源來採用高效能運算基礎架構，接著才能分析大型資料集，不過現在只要使用 GCP 就能輕鬆辦到

2019 年 Next 大會精華片段

觀看影片，瞭解客戶如何透過 Dataproc 降低營運成本，並在機構中制定資料導向的決策

Cloud Dataproc 的最新功能

瞭解客戶如何從 Hadoop 遷移至 Google Cloud Platform

讓 Dataproc 更加普及

瞭解詳情並著手實作

第一次使用 GCP 嗎？我們提供您 $300 美元的額度，歡迎免費體驗 GCP 產品。

免費試用

需要進一步協助嗎？

我們的專家會協助您打造合適的解決方案，或是為您找到符合需求的合作夥伴。

本頁所列的產品目前仍處於 Alpha/Beta 測試階段，或是以搶先體驗版的形式提供。如要進一步瞭解產品推出的各個階段，請參閱這個網頁。

Cloud AI 產品符合這個頁面所列的服務水準協議政策。這些產品的延遲時間或可用性保證可能與其他 Google Cloud 服務不同。