Dataproc クラスタの停止と起動

作成されたクラスタを停止することも、停止されたクラスタを必要に応じて再起動することもできます。アイドル状態のクラスタを停止することで、料金が発生することを回避できます。また、アイドル状態のクラスタを削除してから、同じ構成でクラスタを作成する必要もなくなります。

機能に関する注意事項:

クラスタの起動 / 停止機能は、次の Dataproc イメージバージョン以降でのみサポートされています。
- 1.4.35-debian10/ubuntu18
- 1.5.10-debian10/ubuntu18
- 2.0.0-RC6-debian10/ubuntu18
個々のクラスタノードを停止することはおすすめしません。停止した VM のステータスはクラスタステータスと同期していないため、エラーが発生する可能性があります。

クラスタの停止

クラスタを停止すると、すべてのクラスタ Compute Engine VM が停止します。停止中の VM には課金されません。ただし、永続ディスクなどの関連するクラスタリソースは引き続き課金されます。

注:

実行中のオペレーション: クラスタでオペレーション（更新や診断オペレーションなど）が実行されている場合、停止リクエストは失敗します。
実行中のジョブ: クラスタで実行中のジョブがある場合、停止リクエストが成功し、VM が停止され、実行中のジョブは失敗します。
レスポンスの停止: 停止リクエストによってレスポンスでユーザーまたは呼び出し元に停止オペレーションが返されると、クラスタは STOPPING 状態になり、それ以降ジョブを送信できなくなります（SubmitJob リクエストは失敗します）。
自動スケーリング: 自動スケーリングが有効になっているクラスタを停止すると、Dataproc オートスケーラーはクラスタのスケーリングを停止します。クラスタのスケーリングは、再起動後に再開されます。停止したクラスタで自動スケーリングを有効にする場合、自動スケーリングポリシーはクラスタの再開後に有効になります。

gcloud dataproc operations describe operation-id を実行して、長時間実行クラスタの停止オペレーションをモニタリングできます。また、gcloud dataproc clusters describe cluster-name コマンドを使用して、クラスタのステータス変化（RUNNING > STOPPING > STOPPED）をモニタリングすることもできます。

以下を停止することはできません。
- セカンダリワーカーがあるクラスタ
- ローカル SSD があるクラスタ
クラスタの停止後は、次のことができません。
- クラスタを更新する
- クラスタにジョブを送信する
- Dataproc コンポーネントゲートウェイを使用してクラスタ上のノートブックにアクセスする

停止したクラスタを起動するとき、初期化アクションは再実行されません。初期化アクションは、クラスタの作成時と、クラスタのスケールアップ時にノードが追加されるときにのみ実行されます。
起動オペレーションが完了したら、すぐにジョブをクラスタに送信できます。ただし、HDFS と YARN が動作するように、これらのジョブの実行は遅延（約 30 秒）できます。

gcloud CLI またはDataproc API を使用してクラスタを停止および起動することができます。

クラスタを停止する

gcloud dataproc clusters stop cluster-name \
    --region=region

クラスタを起動する

gcloud dataproc clusters start cluster-name \
    --region=region

クラスタを停止する

clusters.stop リクエストを送信します。

クラスタを起動する

clusters.start リクエストを送信します。

Google Cloud コンソールで Dataproc の [クラスタ] ページでクラスタ名をクリックします。[STOP] をクリックしてクラスタの停止を、[START] をクリックしてクラスタの起動を行います。