コアなタスクと一般的なタスク
-
Dataproc に対する認証
Dataproc への認証方法について説明します。
-
クラスタを作成
Google Cloud コンソールまたは Google Cloud CLI を使用してクラスタを作成します。
-
部分的なクラスタを作成する
プライマリ ワーカーの最小数を含む部分的なクラスタを作成します。
-
カスタム イメージの作成
カスタム イメージを作成して Dataproc クラスタにインストールする方法について学習します。
-
ラベルを作成、管理する
Dataproc ユーザーラベルを作成し、管理します。
-
Spark に関する Java と Scala の依存関係の管理
Java と Scala の依存関係を管理する方法を学び、Apache Spark アプリケーションに関する競合を解決します。
-
クラスタの管理
クラスタを更新またはシャットダウンします。
-
Dataproc クラスタで Vertex AI Workbench ノートブックを実行する
Dataproc クラスタでマネージド インスタンスのノートブック ファイルを実行します。
-
プロジェクトの設定
Dataproc を使用する新しいプロジェクトを設定します。
-
クラスタの開始と停止
Dataproc クラスタを起動および停止します。
-
ジョブの送信
Google Cloud コンソール、Google Cloud CLI を使用するか、クラスタ インスタンスに SSH 接続して、さまざまなジョブタイプを送信します。
Dataproc on GKE
-
Dataproc on GKE の概要
Dataproc on GKE の概要。
-
クイックスタート: Dataproc on GKE で Spark ジョブを実行する
Dataproc on GKE 仮想クラスタを作成して、その仮想クラスタで Spark ジョブを実行します。
-
Dataproc on GKE 仮想クラスタを再作成して更新する
Dataproc on GKE 仮想クラスタを再作成して更新します。
-
Dataproc on GKE 仮想クラスタを削除する
Dataproc on GKE 仮想クラスタを削除します。
-
カスタム Dataproc on GKE コンテナ イメージ
Dataproc on GKE コンテナ イメージを作成する方法。
-
Dataproc on GKE クラスタを診断する
Dataproc on GKE クラスタを診断する方法。
-
Dataproc on GKE の IAM ロールと ID
Dataproc on GKE の IAM 権限。
-
Dataproc on GKE のロギング
Dataproc on GKE のログを表示します。
-
Dataproc on GKE ノードプール
Dataproc on GKE ノードプールを管理します。
-
Dataproc on GKE のリリース バージョン
Dataproc on GKE のリリース バージョン情報
-
Dataproc on GKE クラスタをスケールする
Dataproc on GKE クラスタをスケールする方法。
Dataproc Hub
Dataproc ノードグループ
Dataproc テンプレート
-
Dataproc テンプレート
Dataproc テンプレートを使用して、Dataproc のワークロードとジョブを設定、実行します。
-
Dataproc のログ
Cloud Logging を使用して Dataproc クラスタとジョブのログを表示します。
-
Dataproc ジョブの出力とログ
Dataproc ジョブ出力を構成して表示します。
-
Dataproc の監査ログを表示する
Dataproc の監査ログを表示する方法。
-
Cloud Monitoring
Cloud Monitoring を使用して Dataproc クラスタの指標を表示します。
-
Dataproc 指標アラートを作成する
Dataproc クラスタとジョブ指標のアラートを作成します。
-
Cloud Profiler
Cloud Profiler を使用して Spark と Hadoop ジョブの CPU 使用量とメモリ割り当てを視覚的に表示します。