Dataproc は、オープンソースのデータツールを利用してバッチ処理、クエリ実行、ストリーミング、機械学習を行えるマネージド Apache Spark / Apache Hadoop サービスです。Dataproc の自動化機能を利用すると、クラスタを速やかに作成し、簡単に管理し、必要ないときには無効にして費用を節約できます。管理にかかる時間と費用が削減されるので、自分の仕事とデータに集中できます。詳細

ガイド

リファレンス

関連情報

トレーニングとチュートリアル

Google Cloud Skills Boost で Dataproc のチュートリアル、コース、セルフペース トレーニングをお試しください。

チュートリアル

Google Kubernetes Engine で Spark ジョブを実行する

Dataproc Jobs API から稼働中の Google Kubernetes Engine クラスタに Spark ジョブを送信します。

詳細  
トレーニング

Cloud Dataproc の概要: Google Cloud における Hadoop と Spark

このコースでは、講義、デモ、ハンズオンラボを組み合わせて、Dataproc クラスタの作成、Spark ジョブの送信、クラスタのシャットダウンを行います。

詳細  
トレーニング

Dataproc で Spark を使用した機械学習

このコースでは、講義、デモ、ハンズオンラボを組み合わせて、Dataproc クラスタで実行する Apache Spark の機械学習ライブラリを使用してロジスティック回帰を実装し、多変数データセットのデータ用のモデルを作成します。

詳細  

ユースケース

ユースケース、リファレンス アーキテクチャ、ホワイトペーパー、ベスト プラクティス、業界向けソリューションをご覧ください。

ソリューション

ワークフロー スケジューリング ソリューション

Google Cloud でワークフローをスケジュールします。

詳細  
使用例

オンプレミスから Google Cloud への HDFS データの移行

オンプレミスの Hadoop 分散ファイル システム（HDFS）から Google Cloud にデータを移動する方法。

詳細  
ベスト プラクティス

Apache Spark に関する Java と Scala の依存関係の管理

Dataproc クラスタに Spark ジョブを送信する際に依存関係を含めるうえで推奨される方法を紹介します。

詳細  
ベスト プラクティス

Dataproc での Apache Hive の使用

Dataproc で Apache Hive を効率的かつ柔軟に使用するために、Hive データを Cloud Storage に保存し、Hive メタストアを Cloud SQL 上の MySQL データベースでホストします。

詳細  

コードサンプル

Google Cloud サービスの使い方と接続方法について、コードサンプルを使いながら学習します。

github

Python API サンプル

Python から Dataproc API を呼び出します。

GitHub を開く

github

Java API のサンプル

Java から Dataproc API を呼び出します。

GitHub を開く

github

Node.js API のサンプル

Node.js から Dataproc API を呼び出します。

GitHub を開く

github

Go API のサンプル

Go から Dataproc API を呼び出します。

GitHub を開く

動画