Dataproc クラスタの停止と起動

作成されたクラスタを停止することも、停止されたクラスタを必要に応じて再起動することもできます。アイドル状態のクラスタを停止することで、料金が発生することを回避できます。また、アイドル状態のクラスタを削除してから、同じ構成でクラスタを作成する必要もなくなります。

機能に関する注意事項:

  • クラスタの起動 / 停止機能は、次の Dataproc イメージ バージョン以降でのみサポートされています。
    • 1.4.35-debian10/ubuntu18
    • 1.5.10-debian10/ubuntu18
    • 2.0.0-RC6-debian10/ubuntu18
  • 個々のクラスタノードを停止することはおすすめしません。停止した VM のステータスはクラスタ ステータスと同期していないため、エラーが発生する可能性があります。

クラスタの停止

クラスタを停止すると、すべてのクラスタ Compute Engine VM が停止します。停止中の VM には課金されません。ただし、永続ディスクなどの関連するクラスタ リソースは引き続き課金されます。

注:

  • 実行中のオペレーション: クラスタでオペレーション(更新や診断オペレーションなど)が実行されている場合、停止リクエストは失敗します。
  • 実行中のジョブ: クラスタで実行中のジョブがある場合、停止リクエストが成功し、VM が停止され、実行中のジョブは失敗します。
  • レスポンスの停止: 停止リクエストによってレスポンスでユーザーまたは呼び出し元に停止オペレーションが返されると、クラスタは STOPPING 状態になり、それ以降ジョブを送信できなくなります(SubmitJob リクエストは失敗します)。
  • 自動スケーリング: 自動スケーリングが有効になっているクラスタを停止すると、Dataproc オートスケーラーはクラスタのスケーリングを停止します。クラスタのスケーリングは、再起動後に再開されます。停止したクラスタで自動スケーリングを有効にする場合、自動スケーリング ポリシーはクラスタの再開後に有効になります。

停止オペレーションのモニタリング

gcloud dataproc operations describe operation-id を実行して、長時間実行クラスタの停止オペレーションをモニタリングできます。また、gcloud dataproc clusters describe cluster-name コマンドを使用して、クラスタのステータス変化(RUNNING > STOPPING > STOPPED)をモニタリングすることもできます。

制限事項

クラスタの起動

  • 停止したクラスタを起動するとき、初期化アクションは再実行されません。初期化アクションは、クラスタの作成時と、クラスタのスケールアップ時にノードが追加されるときにのみ実行されます。

  • 起動オペレーションが完了したら、すぐにジョブをクラスタに送信できます。ただし、HDFS と YARN が動作するように、これらのジョブの実行は遅延(約 30 秒)できます。

停止 / 起動の使用

gcloud CLI またはDataproc API を使用してクラスタを停止および起動することができます。

gcloud コマンド

クラスタを停止する

gcloud dataproc clusters stop cluster-name \
    --region=region

クラスタを起動する

gcloud dataproc clusters start cluster-name \
    --region=region

REST API

クラスタを停止する

clusters.stop リクエストを送信します。

クラスタを起動する

clusters.start リクエストを送信します。

コンソール

Google Cloud コンソールで Dataproc の [クラスタ] ページでクラスタ名をクリックします。[STOP] をクリックしてクラスタの停止を、[START] をクリックしてクラスタの起動を行います。