クラスタのスケジュール設定された削除

非アクティブなクラスタに対する Google Cloud Platform の課金を回避するには、クラスタの作成時に Cloud Dataproc のクラスタのスケジュール設定された削除機能を使用します。この機能には、クラスタを削除するためのオプションがあります。

  • 指定したクラスタ アイドル期間の経過後
  • 指定した将来の時刻
  • クラスタ作成リクエストの送信時点から始まる、指定した期間の経過後

クラスタのスケジュール設定された削除の使用

gcloud コマンド

クラスタのスケジュール設定された削除機能を使用してクラスタを作成するには、次に示すスケジュール設定された削除フラグを /sdk/gcloud/reference/beta/dataproc/clusters/create コマンドに渡します。

フラグ説明最も細かい粒度最小値最大値
--max-idle1クラスタがアイドル状態になってからクラスタの削除を開始するまでの期間。期間は IntegerUnit 形式で指定します。単位は「s、m、h、d」(それぞれ秒、分、時間、日)のいずれかにできます。たとえば、「30m」または「1d」(クラスタがアイドル状態になってから 30 分または 1 日)とします。1 秒10 分14 日間
--expiration-time2クラスタの削除を開始する時点を ISO 8601 の日付時刻形式で指定します。正しい形式の日時を生成する簡単な方法として、Timestamp Generator を使用することがあげられます。たとえば、「2017-08-22T13:31:48-08:00」は UTC -8:00 のタイムゾーンの 13:21:48 を有効期限として設定します。1 秒現時点から 10 分現時点から 14 日間
--max-age2クラスタ作成リクエストを送信してから、クラスタの削除が開始されるまでの期間。期間は IntegerUnit 形式で指定します。単位は「s、m、h、d」(それぞれ秒、分、時間、日)のいずれかにできます。たとえば、「30m」(今から 30 分間)、「1d」(今から 1 日)のようにします。1 秒10 分14 日間
gcloud beta dataproc clusters create cluster-name \
    ‑‑max-idle=duration \
    ‑‑expiration-time=time \
    ... other args ...

スケジュール設定された削除機能を使用して作成されたクラスタを更新し、この機能の設定を変更または削除するには、次に示すスケジュール設定された削除フラグを gcloud beta dataproc clusters update コマンドに渡します(他のクラスタ更新フラグとスケジュール設定された削除フラグは併用できません)。

フラグ説明最も細かい粒度最小値最大値
--max-idle1クラスタがアイドル状態になってからクラスタの削除を開始するまでの期間。期間は IntegerUnit 形式で指定します。単位は「s、m、h、d」(それぞれ秒、分、時間、日)のいずれかにできます。たとえば、「30m」または「1d」(クラスタがアイドル状態になってから 30 分または 1 日)とします。1 秒10 分14 日間
--no-max-idlemax-idle フラグで以前に設定したクラスタ アイドル期間によるクラスタ自動削除をキャンセルします。なしなしなし
--expiration-time2クラスタの削除を開始する時点を ISO 8601 の日付時刻形式で指定します。正しい形式の日時を生成する簡単な方法として、Timestamp Generator を使用することがあげられます。たとえば、「2017-08-22T13:31:48-08:00」は UTC -8:00 のタイムゾーンの 13:21:48 を有効期限として設定します。1 秒現在の時刻から 10 分であり、新しい時刻は以前に設定された時刻より早くしないでください。現時点から 14 日間
--max-age2クラスタ更新リクエストを送信してから、クラスタの削除が開始されるまでの期間。期間は IntegerUnit 形式で指定します。単位は「s、m、h、d」(それぞれ秒、分、時間、日)のいずれかにできます。たとえば、「30m」(今から 30 分間)、「1d」(今から 1 日)のようにします。1 秒10 分であり、更新後のスケジュール設定された削除時間(更新時間 + 新しい最長期間)は以前に設定されたクラスタ削除時刻より早くしないでください。14 日間
--no-max-agemax-age フラグまたは expiration-time フラグで以前に設定した最長クラスタ存続期間によるクラスタ自動削除をキャンセルします。なしなしなし
gcloud beta dataproc clusters update cluster-name \
    ‑‑max-idle=duration \
    --no-max-age

REST API

スケジュール設定された削除を使用したクラスタの作成

GceClusterConfig.ClusterLifecycleConfig をご覧ください。

cluster.create リクエストまたは cluster.patch リクエストの ClusterLifecycleConfig で、次の項目を設定できます。

フラグ 説明 最も細かい粒度 最小値 最大値
idleDeleteTtl1 クラスタがアイドル状態になってからクラスタの削除を開始するまでの期間。秒単位の期間を小数点以下 9 桁までの値で指定し、末尾に「s」を付加します。例: 「3.5s」 1 秒 クラスタの作成時または更新時から 10 分。クラスタを更新する場合、新しい値は以前に設定した値よりも大きくする必要があります。以前に設定した idleDeleteTtl 値をキャンセルするには、空の期間を指定した cluster.patch リクエストを送信します。 14 日間
autoDeleteTime2 クラスタの削除を開始する時間。RFC 3339 UTC「Zulu」形式のタイムスタンプを、ナノ秒単位の精度で指定します。例: 「2014-10-02T15:01:23.045123456Z」。 1 秒 現時点から 10 分。クラスタを更新する場合、新しい時刻は以前に設定した時刻よりも後にする必要があります。 現時点から 14 日間
autoDeleteTtl2 クラスタ作成リクエストまたはクラスタ更新リクエストを送信してから、クラスタの削除が開始されるまでの期間。秒単位の期間を小数点以下 9 桁までの値で指定し、末尾に「s」を付加します。例: 「3.5s」 1 秒 10 分。クラスタを更新する場合、新しいスケジュール設定された削除時間(更新時間 + 新しい最長期間)は以前に設定されたクラスタ削除時刻よりも後にする必要があります。以前に設定した autoDeleteTtl 値をキャンセルするには、空の期間を指定した cluster.patch リクエストを送信します。 14 日間

Console

現在、クラスタのスケジュール設定された削除は Google Cloud Platform Console ではサポートされていません。

スケジュール設定された削除のクラスタ設定の表示

gcloud コマンド

gcloud beta clusters list コマンドを使用すると、クラスタでスケジュールされた削除が有効になっているか確認できます。

 gcloud beta dataproc clusters list
...
NAME         WORKER_COUNT ... SCHEDULED_DELETE
cluster-id   number       ... enabled
...

gcloud beta clusters describe コマンドを使用すると、クラスタのスケジュールされた削除の LifecycleConfig 設定を確認できます。

gcloud beta dataproc clusters describe cluster-name
...
lifecycleConfig:
  autoDeleteTime: '2018-11-28T19:33:48.146Z'
  idleDeleteTtl: 1800s
  idleStartTime: '2018-11-28T18:33:48.146Z'
...

autoDeleteTimeidleDeleteTtl は、そのクラスタでユーザーによって設定済みになっているスケジュール設定された削除の構成値です。Cloud Dataproc では idleStartTime 値が生成されます。この値は、クラスタのアイドル状態が開始された時刻の最新値です。クラスタがアイドル状態のままの時間が idleStartTime + idleDeleteTtl を超えると、そのクラスタは Cloud Dataproc によって削除されます。

REST API

クラスタでスケジュール設定された削除が有効になっているか確認するには、clusters.list リクエストを行います。

Console

現在、クラスタのスケジュール設定された削除は Google Cloud Platform Console ではサポートされていません。

このページは役立ちましたか?評価をお願いいたします。

フィードバックを送信...

Cloud Dataproc ドキュメント
ご不明な点がありましたら、Google のサポートページをご覧ください。