チュートリアル

Apache Hadoop

• BigQuery コネクタを使用した MapReduce ジョブの書き込み

  コードの例に沿って操作してください。この例では、Apache Hadoop 用の BigQuery コネクタを使用して MapReduce ジョブを書き込む方法を紹介しています。

Apache Hive

• Kafka トピックを Hive にストリーミングする

  Dataproc クラスタを使用して Kafka トピックを Cloud Storage の Apache Hive テーブルにストリーミングし、ストリーミング データをクエリします。

• Dataproc での Apache Hive の使用

  Apache Hive のワークロードを Dataproc に効率的にデプロイする方法を学習します。

Apache Kafka

• Kafka トピックを Hive にストリーミングする

  Dataproc クラスタを使用して Kafka トピックを Cloud Storage の Apache Hive テーブルにストリーミングし、ストリーミング データをクエリします。

Apache Spark

• Dataproc と Apache Spark を使用した Monte Carlo メソッド

  Dataproc と Apache Spark で Python と Scala の Monte Carlo シミュレーションを実行します。

• 機械学習に BigQuery と Spark ML を使用する

  機械学習に Dataproc、BigQuery、Apache Spark ML を使用します。

• BigQuery コネクタと Apache Spark の併用

  コードの例に沿って操作してください。この例では、Apache Hadoop 用の BigQuery コネクタを Apache Spark とともに使用しています。

• Spark Spanner コネクタと Apache Spark の併用

  コードの例に沿って操作してください。この例では、Apache Hadoop 用の Spark Spanner コネクタを Apache Spark とともに使用しています。

• Cloud Storage コネクタと Apache Spark の併用

  コードの例に沿って操作してください。この例では、Apache Hadoop 用の Cloud Storage コネクタを Apache Spark とともに使用しています。

• Spark Scala ジョブの作成と実行

  Dataproc で Spark Scala ジョブを作成し、送信します。

コネクタ

• BigQuery コネクタと Apache Spark の併用

  コードの例に沿って操作してください。この例では、Apache Hadoop 用の BigQuery コネクタを Apache Spark とともに使用しています。

• Spark Spanner コネクタと Apache Spark の併用

  コードの例に沿って操作してください。この例では、Apache Hadoop 用の Spark Spanner コネクタを Apache Spark とともに使用しています。

• Cloud Storage コネクタと Apache Spark の併用

  コードの例に沿って操作してください。この例では、Apache Hadoop 用の Cloud Storage コネクタを Apache Spark とともに使用しています。

• BigQuery コネクタを使用した MapReduce ジョブの書き込み

  コードの例に沿って操作してください。この例では、Apache Hadoop 用の BigQuery コネクタを使用して MapReduce ジョブを書き込む方法を紹介しています。

言語

• Dataproc Python 環境を設定する

  Dataproc クラスタで PySpark ジョブを実行する Python を構成します。

• Python 用の Cloud クライアント ライブラリの使用

  Python API 用の Cloud クライアント ライブラリを使用して、Dataproc とプログラムでやり取りします。

• Spark Scala ジョブの作成と実行

  Dataproc で Spark Scala ジョブを作成し、送信します。

ノートブック

• Dataproc Hub の概要

  Dataproc Hub の基本を把握します。

• Dataproc Hub の構成

  単一ユーザーの Dataproc クラスタで JupyterLab UI を開くために Dataproc Hub を構成します。

• Dataproc Hub の使用

  Dataproc Hub インスタンスを使用して、単一ユーザーの Dataproc クラスタで JupyterLab UI を開きます。

• Jupyter ノートブックのインストールと実行

  Dataproc クラスタで Jupyter ノートブックをインストールして実行し、アクセスします。

• Dataproc の JupyterLab ノートブックでゲノム解析を実行する

  Dataproc クラスタでホストされている JupyterLab ノートブックで、Dask、NVIDIA RAPIDS、GPU を使用してシングルセル ゲノム解析を実行します。

Trino

• Dataproc で Trino を使用する

  Trino（以前の Presto）をインストールして Dataproc で使用します。

Workflows

• Cloud Composer を使用するワークフロー

  Cloud Composer を使用してワークフロー テンプレートをトリガーします。

• Cloud Functions を使用するワークフロー

  Cloud Functions の関数を使用してワークフロー テンプレートをトリガーします。

• Cloud Scheduler を使用するワークフロー

  ワークフロー Cloud Scheduler をトリガーします。