Cloud Dataproc

Spark 和 Hadoop 管理化服務不但又快又好用,成本也十分低廉

免費試用

Hadoop 和 Spark 管理化服務

使用 Google Cloud Dataproc ( Apache HadoopApache SparkApache PigApache Hive 服務) 處理大型資料集不僅簡便,花費的成本也十分低廉。您可以快速建立大小不限的管理化叢集,並且在用完後立即關閉,輕鬆控制成本。Cloud Dataproc 整合了多項 Google Cloud Platform 產品,是一款功能強大而完善的資料處理平台。

Managed Hadoop and Spark

速度與彈性兼具的資料處理能力

您不僅能快速建立 Cloud Dataproc 叢集,還能隨時調整大小 (三至數百個節點),因此不必擔心叢集無法容納資料處理流程。每個叢集動作平均花費的時間不到 90 秒,管理基礎架構更省時,讓您得以集中精力來探究分析資訊。

Fast and Scalable Data Processing

價格實惠

Cloud Dataproc 採用 Google Cloud Platform 的定價原則,價格結構簡單明瞭,依照實際用量以分鐘計費,十分經濟實惠。不僅如此,Cloud Dataproc 叢集可加入費用低廉的先佔執行個體,進一步降低總體使用成本,同時保有強大的叢集系統。

Affordable Pricing

開放原始碼生態系統

Cloud Dataproc 可與 Spark 和 Hadoop 生態系統提供的多種工具、程式庫和說明文件搭配使用。我們會提供 Spark、Hadoop、Pig 和 Hive 的原生版本並經常更新。開發人員不必學習新的工具或 API 即可開始使用,還可以直接移動現有的專案或 ETL 管線,省下重新開發的工夫

Open Source Ecosystem

您考慮過嗎?

從處理重要資料和分析的角度來看,Cloud Platform的規模、效率和簡便性都遠優於其他同類型的產品。如果您在 Hadoop (或 SparkSQL) 上使用 Hive,不妨考慮使用 Google BigQuery;這項 SQL 分析服務不僅可依您的需求調整,效能也十分出色。如果您透過 Spark 或 MapReduce 來處理資料轉換管線,則可考慮使用 Google Cloud Dataflow;這項全方位管理的服務不像其他工具必須處理許多工作,還能執行各式各樣的資料處理模式,例如 ETL、批次和串流運算。

Google Cloud Dataflow

Cloud Dataproc 的特色

Google Cloud Dataproc 是管理化的 Spark 和 Hadoop 服務,不僅介面簡單易用、執行快速,而且費用低廉。

自動化叢集管理
部署、記錄和監控作業均受管理,您只要專注於資料本身即可,不必為叢集煩惱。您的叢集具有穩定性與擴充性,而且執行迅速。
叢集可調整大小
建立叢集之後,可以快速進行擴充,並可指定各種虛擬機器類型、磁碟大小、節點數和網路選項。
整合性
內建 Cloud Storage、BigQuery、Bigtable、Stackdriver Logging 和 Stackdriver Monitoring 的整合功能,為您提供完善而實用的資料平台。
版本設定
映像檔版本設定方便您切換不同版本的 Apache Spark、Apache Hadoop 和其他工具。
開發人員工具
提供多種叢集管理方式,包括簡單易用的網頁使用介面、Google Cloud SDK、RESTful API 和 SSH。
初始化動作
建立叢集後,可以執行初始化動作,視需求安裝及調整設定和程式庫。
自動設定或手動設定
Cloud Dataproc 會自動為您設定叢集上的硬體和軟體,您也可以手動控制叢集設定。
彈性的虛擬機器
叢集可以使用自訂機器類型先佔虛擬機器,提供您所需的大小。

Cloud Dataproc 定價

叢集1 中使用的 Compute Engine 執行個體每增加一個虛擬 CPU,Cloud Dataproc 的費用就會微幅增加。

愛荷華州 奧勒岡州 北維吉尼亞州 南卡羅來納州 比利時 倫敦 雪梨 台灣 東京
機器類型 價格
標準機器
1 至 64 個虛擬 CPU
大量記憶體機器
2 至 64 個虛擬 CPU
高效率 CPU 機器
2 至 64 個虛擬 CPU
自訂機器
視 vCPU 和記憶體使用量而定

1 Cloud Dataproc 的費用是依照叢集執行時的狀態計算,叢集中使用的 Compute Engine 執行個體每增加一個虛擬 CPU,就會增加些許費用。Cloud Dataproc 用到的其他資源 (例如 Compute Engine 網路、BigQueryCloud Bigtable 等) 則是按使用量計費。如需詳細的定價資訊,請參閱定價指南

隨時隨地監控你的資源

下載 Google Cloud Console 應用程式,管理專案更加得心應手。