Cloud Dataproc

高速で使いやすく、低コストな Spark と Hadoop のマネージド サービス

無料トライアル

マネージド型 Hadoop と Spark

Google Cloud Dataproc は、Apache HadoopApache SparkApache PigApache Hive のサービスであり、これを使って大きいデータセットを低コストで簡単に処理できます。あらゆる規模のマネージド クラスタをすばやく作成でき、作業が終了したらクラスタをオフにできるので、余分な費用がかかりません。Cloud Dataproc は Google Cloud Platform のプロダクトと統合されており、強力かつ包括的なデータ処理プラットフォームとなります。

マネージド型 Hadoop と Spark

高速かつスケーラブルなデータ処理

Cloud Dataproc クラスタは迅速に作成できるうえ、いつでもサイズ変更が可能で、3 個から数百個までのノードを使用できます。そのため、データ パイプラインの成長にクラスタが追いつかないことを心配する必要はありません。クラスタの各操作には平均で 90 秒もかかりません。インフラストラクチャにかかる時間を少なくして分析に集中する時間を増やすことができます。

高速でスケーラブルなデータ処理

手頃な料金

Google Cloud Platform の課金方式のもと、Cloud Dataproc は低コストかつ分単位の従量制で、実際に使った分しか料金はかかりません。しかも、Cloud Dataproc クラスタには安価なプリエンプティブル インスタンスを含めることができ、総コストを低く抑えながら強力なクラスタを使用できます。

手頃な料金

オープンソース エコシステム

Spark および Hadoop エコシステムにより、Cloud Dataproc で利用できるツール、ライブラリ、ドキュメントが提供されています。 Spark、Hadoop、Pig、Hive の更新頻度の高いネイティブ バージョンを提供しており、新しいツールや API を学ばなくても使い始めることができます。既存のプロジェクトや ETL パイプラインは、再開発を行うことなく移行することが可能です

オープンソース エコシステム

ご検討のお客様へ

Cloud Platform は、重要なデータ処理および分析シナリオのスケーリング、効率性、簡便性をさらに高めることができます。 Hadoop(または SparkSQL)で Hive をお使いの場合は、Google BigQuery をご検討ください。このオンデマンドの SQL アナリティクス サービスは、優れたパフォーマンスを発揮します。Spark や MapReduceIf でデータ変換パイプラインをプログラミングしている場合は、Google Cloud Dataflow をご検討ください。このフルマネージド型サービスにより、他のツールで必要な多忙な作業を減らし、ETL、バッチ、ストリーミング計算などのさまざまなデータ処理パターンを実行できます。

Google Cloud Dataflow

Cloud Dataproc の特長

Google Cloud Dataproc は高速で使いやすく、低コストな Spark と Hadoop のマネージド サービスです。

自動クラスタ管理
デプロイ、ロギング、モニタリングが管理されるため、クラスタではなくデータに集中することができます。安定かつスケーラブルで高速なクラスタが提供されます。
サイズ変更可能なクラスタ
クラスタは迅速な作成とスケーリングが可能で、仮想マシンの種類、ディスクサイズ、ノード数、ネットワーキング方法も選べます。
統合
Cloud Storage、BigQuery、Bigtable、Stackdriver Logging、Stackdriver Monitoring との統合が組み込まれており、包括的で堅牢なデータ プラットフォームが提供されます。
バージョニング
イメージのバージョニングで、Apache Spark、Apache Hadoop、他のツールのバージョンを切り替えることができます。
デベロッパー ツール
使いやすいウェブ UI、Google Cloud SDK、RESTful API、SSH アクセスなど、さまざまな方法でクラスタを管理できます。
初期化操作
クラスタの作成時に、初期化操作を実行して必要な設定とライブラリをインストールまたはカスタマイズできます。
自動または手動構成
Cloud Dataproc はクラスタ上にハードウェアとソフトウェアを自動的に構成しますが、手動で管理することも可能です。
柔軟な仮想マシン
クラスタでは、カスタム マシンタイププリエンプティブル仮想マシンを使用できるため、ニーズに合わせたサイズにできます。

Cloud Dataproc の料金

Cloud Dataproc では、クラスタで使用される Compute Engine インスタンスの仮想 CPU ごとに少額の従量料金がかかります1

アイオワ オレゴン サウスカロライナ ベルギー 台湾 東京
マシンタイプ 料金
標準マシン
1~64 仮想 CPU
ハイメモリ マシン
2~64 仮想 CPU
ハイ CPU マシン
2~64 仮想 CPU
カスタムマシン
仮想 CPU 数とメモリ容量に基づく

1 Google Cloud Dataproc では、クラスタの稼働時にクラスタで使用される Compute Engine インスタンスの仮想 CPU ごとに少額の従量料金がかかります。Cloud Dataproc で使用される Compute Engine ネットワーク、BigQuery、Cloud Bigtable などのリソースについても、使った分だけ課金されます。詳しい料金情報については、料金ガイドをご覧ください。

外出先でもリソースをモニタリング

Google Cloud Console アプリを入手して、プロジェクトの管理にお役立てください。