Apache Hadoop
Apache Hive
Apache Spark
-
Dataproc と Apache Spark を使用した Monte Carlo メソッド
Dataproc と Apache Spark で Python と Scala の Monte Carlo シミュレーションを実行します。
-
機械学習に BigQuery と Spark ML を使用する
機械学習に Dataproc、BigQuery、Apache Spark ML を使用します。
-
BigQuery コネクタと Apache Spark の併用
コードの例に沿って操作してください。この例では、Apache Hadoop 用の BigQuery コネクタを Apache Spark とともに使用しています。
-
Cloud Storage コネクタと Apache Spark の併用
コードの例に沿って操作してください。この例では、Apache Hadoop 用の Cloud Storage コネクタを Apache Spark とともに使用しています。
-
Spark Scala ジョブの作成と実行
Dataproc で Spark Scala ジョブを作成し、送信します。
コネクタ
-
BigQuery コネクタと Apache Spark の併用
コードの例に沿って操作してください。この例では、Apache Hadoop 用の BigQuery コネクタを Apache Spark とともに使用しています。
-
Cloud Storage コネクタと Apache Spark の併用
コードの例に沿って操作してください。この例では、Apache Hadoop 用の Cloud Storage コネクタを Apache Spark とともに使用しています。
-
BigQuery コネクタを使用した MapReduce ジョブの書き込み
コードの例に沿って操作してください。この例では、Apache Hadoop 用の BigQuery コネクタを使用して MapReduce ジョブを書き込む方法を紹介しています。
言語
-
Dataproc Python 環境を設定する
Dataproc クラスタで PySpark ジョブを実行する Python を構成します。
-
Python 用の Cloud クライアント ライブラリの使用
Python API 用の Cloud クライアント ライブラリを使用して、Dataproc とプログラムでやり取りします。
-
Spark Scala ジョブの作成と実行
Dataproc で Spark Scala ジョブを作成し、送信します。
ノートブック
-
Dataproc Hub の概要
Dataproc Hub の基本を把握します。
-
Dataproc Hub の構成
単一ユーザーの Dataproc クラスタで JupyterLab UI を開くために Dataproc Hub を構成します。
-
Dataproc Hub の使用
Dataproc Hub インスタンスを使用して、単一ユーザーの Dataproc クラスタで JupyterLab UI を開きます。
-
Jupyter ノートブックのインストールと実行
Dataproc クラスタで Jupyter ノートブックをインストールして実行し、アクセスします。
-
Dataproc クラスタで Vertex AI Workbench ノートブックを実行する
Dataproc クラスタでマネージド インスタンスのノートブック ファイルを実行します。
-
Dataproc の JupyterLab ノートブックでゲノム解析を実行する
Dataproc クラスタでホストされている JupyterLab ノートブックで、Dask、NVIDIA RAPIDS、GPU を使用してシングルセル ゲノム分析を実行します。