Hadoop 和 Spark 管理化服務
使用 Google Cloud Dataproc ( Apache Hadoop、Apache Spark、Apache Pig 和 Apache Hive 服務) 處理大型資料集不僅簡便，花費的成本也十分低廉。您可以快速建立大小不限的管理化叢集，並且在用完後立即關閉，輕鬆控制成本。Cloud Dataproc 整合了多項 Google Cloud Platform 產品，是一款功能強大而完善的資料處理平台。
速度與彈性兼具的資料處理能力
您不僅能快速建立 Cloud Dataproc 叢集，還能隨時調整大小 (三至數百個節點)，因此不必擔心叢集無法容納資料處理流程。每個叢集動作平均花費的時間不到 90 秒，管理基礎架構更省時，讓您得以集中精力來探究分析資訊。
價格實惠
Cloud Dataproc 採用 Google Cloud Platform 的定價原則，價格結構簡單明瞭，依照實際用量以分鐘計費，十分經濟實惠。不僅如此，Cloud Dataproc 叢集可加入費用低廉的先佔執行個體，進一步降低總體使用成本，同時保有強大的叢集系統。
開放原始碼生態系統
Cloud Dataproc 可與 Spark 和 Hadoop 生態系統提供的多種工具、程式庫和說明文件搭配使用。我們會提供 Spark、Hadoop、Pig 和 Hive 的原生版本並經常更新。開發人員不必學習新的工具或 API 即可開始使用，還可以直接移動現有的專案或 ETL 管線，省下重新開發的工夫。
您考慮過嗎？
從處理重要資料和分析的角度來看，Cloud Platform的規模、效率和簡便性都遠優於其他同類型的產品。如果您在 Hadoop (或 SparkSQL) 上使用 Hive，不妨考慮使用 Google BigQuery；這項 SQL 分析服務不僅可依您的需求調整，效能也十分出色。如果您透過 Spark 或 MapReduce 來處理資料轉換管線，則可考慮使用 Google Cloud Dataflow；這項全方位管理的服務不像其他工具必須處理許多工作，還能執行各式各樣的資料處理模式，例如 ETL、批次和串流運算。
Cloud Dataproc 的特色
Google Cloud Dataproc 是管理化的 Spark 和 Hadoop 服務，不僅介面簡單易用、執行快速，而且費用低廉。
- 自動化叢集管理
- 部署、記錄和監控作業均受管理，您只要專注於資料本身即可，不必為叢集煩惱。您的叢集具有穩定性與擴充性，而且執行迅速。
- 叢集可調整大小
- 建立叢集之後，可以快速進行擴充，並可指定各種虛擬機器類型、磁碟大小、節點數和網路選項。
- 整合性
- 內建 Cloud Storage、BigQuery、Bigtable、Stackdriver Logging 和 Stackdriver Monitoring 的整合功能，為您提供完善而實用的資料平台。
- 版本設定
- 映像檔版本設定方便您切換不同版本的 Apache Spark、Apache Hadoop 和其他工具。
- 開發人員工具
- 提供多種叢集管理方式，包括簡單易用的網頁使用介面、Google Cloud SDK、RESTful API 和 SSH。
- 初始化動作
- 建立叢集後，可以執行初始化動作，視需求安裝及調整設定和程式庫。
- 自動設定或手動設定
- Cloud Dataproc 會自動為您設定叢集上的硬體和軟體，您也可以手動控制叢集設定。
- 彈性的虛擬機器
- 叢集可以使用自訂機器類型和先佔虛擬機器，提供您所需的大小。
Cloud Dataproc 定價
叢集1 中使用的 Compute Engine 執行個體每增加一個虛擬 CPU，Cloud Dataproc 的費用就會微幅增加。
| 機器類型 | 價格 |
|---|---|
|
標準機器 1 至 64 個虛擬 CPU |
|
|
大量記憶體機器 2 至 64 個虛擬 CPU |
|
|
高效率 CPU 機器 2 至 64 個虛擬 CPU |
|
|
自訂機器 視 vCPU 和記憶體使用量而定 |
1 Cloud Dataproc 的費用是依照叢集執行時的狀態計算，叢集中使用的 Compute Engine 執行個體每增加一個虛擬 CPU，就會增加些許費用。Cloud Dataproc 用到的其他資源 (例如 Compute Engine 網路、BigQueryCloud Bigtable 等) 則是按使用量計費。如需詳細的定價資訊，請參閱定價指南。