Cloud Composer 1 はメンテナンス後モードです。Google は、Airflow の新しいバージョン、バグの修正、セキュリティアップデートなど、Cloud Composer 1 への今後のアップデートはリリースしません。 Cloud Composer 2 への移行の計画をおすすめします。

スケジュールされたスナップショットを構成する

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

このページでは、スケジュールに沿ってスナップショットを保存するように環境を構成する方法について説明します。

環境スナップショットの仕組みとスナップショットを手動で保存する方法について詳しくは、スナップショットの保存と読み込みをご覧ください。

スケジュールされたスナップショットの仕組み

スケジュールされたスナップショットを有効にすると、Cloud Composer によって、環境のスナップショットが Cloud Storage バケットに定期的に保存されます。

スナップショットを手動で作成すると、Cloud Composer は、デフォルトでは環境のバケットにスナップショットを保存します。スケジュール設定されたスナップショットの場合は、スナップショットを別のバケットに保存することをおすすめします。このような方法で、このバケットの権限とライフサイクルを設定できます。1 つのバケットには、複数の環境のスナップショットを保持できます。また、リージョン間で冗長なバケットを作成することもできます。

始める前に

スナップショットの要件と制限事項の詳細については、スナップショットの保存と読み込みをご覧ください。
Cloud Composer では、2.0.32 以降のバージョンでスケジュール設定されたスナップショットをサポートしています。環境スナップショットは、2.0.9 以降のバージョンでサポートされています。

スケジュールされたスナップショットのバケットを作成する

スケジュールされたスナップショットのバケットを作成する環境スナップショットの使用方法を検討します。災害復旧計画の一部である場合は、リージョン間で冗長なバケットまたは別のリージョンのバケットを使用します。これにより、リージョンが完全に停止してもデータにアクセスできます。それ以外の場合は、環境と同じリージョンにあるバケットの方が適している場合があります。この場合、リージョン間でのデータ転送コストを削減できます。

バケットの権限を構成する

次の権限を構成します。

環境のサービスアカウントには、このバケットに対する読み取り権限と書き込み権限が必要です。たとえば、ストレージオブジェクト管理者のロールにはそのような権限があります。
Google Cloud コンソールからバケットのコンテンツを表示する場合を除き、ユーザーアカウントにバケットからスナップショットを読み込むための追加の権限は必要ありません。この場合、ユーザーアカウントにバケットに対する読み取り権限が必要です。

バケットのライフサイクル構成を設定する

ストレージ費用を節約するために、一定の期間が経過した後に環境のスナップショットを削除するルールを構成できます。

たとえば、30 日を超える期間が経過したスナップショットを自動的に削除するには、次のコマンドを実行します。

バケットのライフサイクル構成を設定します。
オブジェクトを削除するアクションを指定します。
[期間] と [30 日] を条件として選択します。

環境のスナップショットスケジュールを有効にする

コンソール

Google Cloud Console で [環境] ページに移動します。

[環境] に移動
環境のリストで、ご利用の環境の名前をクリックします。[環境の詳細] ページが開きます。
[環境の設定] タブに移動します。
[復元構成] > [スナップショットスケジュール] で、[編集] をクリックします。[スナップショットスケジュール] ペインが開きます。
[スナップショットスケジュール] ペインで、[指定したスケジュールに沿って、スナップショットを定期的に作成する] を選択します。
[スケジュール頻度] プルダウンリストで、スナップショットの日次、週次、またはカスタム期間を選択します。

カスタムスケジュールは unix-cron 形式で指定できます。たとえば、30 分ごとにスナップショットを保存するには、*/30 * * * * を指定します。

重要: 割り当て上限により、単一の環境で 1 日あたり最大 52 件のスナップショット保存オペレーションを実行できます。スケジュール設定されたスナップショットを定期的に取得する場合は、スナップショットの間隔を 30 分以上にする必要があります。
[スナップショットのロケーション] フィールドで、スナップショットを保存するバケットフォルダを選択します。

gcloud

環境構成を更新します。次の引数は、スケジュール設定されたスナップショットのパラメータを定義します。

--enable-scheduled-snapshot-creation は、スケジュール設定されたスナップショットを有効にします。
--snapshot-location は、スナップショットを保存するバケットフォルダを指定します。
--snapshot-creation-schedule は、環境スナップショットを取得する頻度を unix-cron 形式で指定します。たとえば、30 分ごとにスナップショットを作成するには、*/30 * * * * を指定します。

重要: 割り当て上限により、単一の環境で 1 日あたり最大 52 件のスナップショット保存オペレーションを実行できます。スケジュール設定されたスナップショットを定期的に取得する場合は、スナップショットの間隔を 30 分以上にする必要があります。
--snapshot-schedule-timezone はスケジュールのタイムゾーンを定義します。この値は時間オフセットであり、夏時間の変更は考慮されません。有効な値は UTC-12 ～ UTC+12 です。例: UTC, UTC-01, UTC+03。

gcloud beta composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --enable-scheduled-snapshot-creation \
    --snapshot-location "gs://SNAPSHOTS_FOLDER" \
    --snapshot-creation-schedule "CRON_EXPRESSION" \
    --snapshot-schedule-timezone "TIME_ZONE"

以下のように置き換えます。

ENVIRONMENT_NAME を環境の名前にする。
LOCATION は、環境が配置されているリージョン。
SNAPSHOTS_FOLDER は、スナップショットを保存するバケットフォルダの URI に置き換えます。
CRON_EXPRESSION は、unix-cron 形式のスケジュールに置き換えます。
TIME_ZONE は、スケジュールのタイムゾーンに置き換えます。

例（毎日 4 時、UTC+01）:

gcloud beta composer environments update example-environment \
    --location us-central1 \
    --enable-scheduled-snapshot-creation \
    --snapshot-location "gs://example-bucket/environment_snapshots" \
    --snapshot-creation-schedule "0 4 * * *" \
    --snapshot-schedule-timezone "UTC+01"

API

environments.patch API リクエストを作成します。

このリクエストで次のように操作します。

updateMask パラメータで、config.recoveryConfig.scheduledSnapshotsConfig マスクを指定して、既存のスケジュール設定されたスナップショット構成を置き換えます。

リクエスト本文で、スナップショットの構成を指定します。

{
  "config": {
    "recoveryConfig": {
      "scheduledSnapshotsConfig": {
        "enabled": true,
        "snapshot_location": "gs://SNAPSHOTS_FOLDER",
        "snapshot_creation_schedule": "CRON_EXPRESSION",
        "time_zone": "TIME_ZONE"
      }
    }
  }
}

以下のように置き換えます。

SNAPSHOTS_FOLDER は、スナップショットを保存するバケットフォルダの URI に置き換えます。
CRON_EXPRESSION は、unix-cron 形式のスケジュールに置き換えます。

重要: 割り当て上限により、単一の環境で 1 日あたり最大 52 件のスナップショット保存オペレーションを実行できます。スケジュール設定されたスナップショットを定期的に取得する場合は、スナップショットの間隔を 30 分以上にする必要があります。
TIME_ZONE は、スケジュールのタイムゾーンに置き換えます。この値は時間オフセットであり、夏時間の変更は考慮されません。有効な値は UTC-12 ～ UTC+12 です。例: UTC、UTC-01、UTC+03。

例（毎日 4 時、UTC+01）:

  // PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
  // locations/us-central1/environments/example-environment?updateMask=
  // config.recoveryConfig.scheduledSnapshotsConfig
    {
      "config": {
        "recoveryConfig": {
          "scheduledSnapshotsConfig": {
            "enabled": true,
            "snapshot_location": "gs://example-bucket/environment_snapshots",
            "snapshot_creation_schedule": "0 4 * * *",
            "time_zone": "UTC+01"
          }
        }
      }
    }

Terraform

recovery_config ブロックの scheduled_snapshots_config は、スケジュール設定されたスナップショットのパラメータを定義します。

enabled は、スケジュール設定されたスナップショットを有効にします。
snapshot_location は、スナップショットを保存するバケットフォルダを指定します。
snapshot_creation_schedule は、環境スナップショットを取得する頻度を unix-cron 形式で指定します。たとえば、30 分ごとにスナップショットを作成するには、*/30 * * * * を指定します。

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  recovery_config {
    scheduled_snapshots_config {
      enabled = true
      snapshot_location = "gs://SNAPSHOTS_FOLDER"
      snapshot_creation_schedule = "CRON_EXPRESSION"
      time_zone = "TIME_ZONE"
    }
  }
}

以下のように置き換えます。

SNAPSHOTS_FOLDER は、スナップショットを保存するバケットフォルダの URI に置き換えます。
CRON_EXPRESSION は、unix-cron 形式のスケジュールに置き換えます。

重要: 割り当て上限により、単一の環境で 1 日あたり最大 52 件のスナップショット保存オペレーションを実行できます。スケジュール設定されたスナップショットを定期的に取得する場合は、スナップショットの間隔を 30 分以上にする必要があります。
TIME_ZONE は、スケジュールのタイムゾーンに置き換えます。この値は時間オフセットであり、夏時間の変更は考慮されません。有効な値は UTC-12 ～ UTC+12 です。例: UTC、UTC-01、UTC+03。

例（毎日 4 時、UTC+01）:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  recovery_config {
    scheduled_snapshots_config {
      enabled = true
      snapshot_location = "gs://example-bucket/environment_snapshots"
      snapshot_creation_schedule = "0 4 * * *"
      time_zone = "UTC+01"
    }
  }
}

スケジュールされたスナップショットを無効にする

スケジュール設定されたスナップショットを無効にしても、すでに取得されている既存のすべてのスナップショットが変更されたり、削除されたりすることはありません。これらのスナップショットは、保存された場所に残ります。

コンソール

Google Cloud Console で [環境] ページに移動します。

[環境] に移動
環境のリストで、ご利用の環境の名前をクリックします。[環境の詳細] ページが開きます。
[環境の設定] タブに移動します。
[復元構成] > [スナップショットスケジュール] で、[編集] をクリックします。[スナップショットスケジュール] ペインが開きます。
[スナップショットスケジュール] ペインで、[スナップショットを自動的に作成しない] を選択します。

gcloud

環境構成を更新します。--disable-scheduled-snapshot-creation 引数により、スケジュール設定されたスナップショットが無効になります。

gcloud beta composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --disable-scheduled-snapshot-creation

以下のように置き換えます。

ENVIRONMENT_NAME を環境の名前にする。
LOCATION は、環境が配置されているリージョン。

例:

gcloud beta composer environments update example-environment \
    --location us-central1 \
    --disable-scheduled-snapshot-creation

API

environments.patch API リクエストを作成します。

このリクエストで次のように操作します。

updateMask パラメータで、enabled フィールドの値を置き換える config.recoveryConfig.scheduledSnapshotsConfig.enabled マスクを指定します。

リクエストの本文で、新しい値を指定します。

{
  "config": {
    "recoveryConfig": {
      "scheduledSnapshotsConfig": {
        "enabled": false
      }
    }
  }
}

例:

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.recoveryConfig.scheduledSnapshotsConfig.enabled
{
"config": {
  "recoveryConfig": {
    "scheduledSnapshotsConfig": {
      "enabled": false
    }
  }
}
}

Terraform

スケジュール設定されたスナップショットを無効にするには、scheduled_snapshots_config ブロックの enabled フィールドを false に設定します。

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  recovery_config {
    scheduled_snapshots_config {
      enabled = false
    }
  }
}

例:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  recovery_config {
    scheduled_snapshots_config {
      enabled = false
      // Other scheduled snapshots parameters
    }
  }
}

スケジュールされたスナップショットを構成する

スケジュールされたスナップショットの仕組み

始める前に

スケジュールされたスナップショットのバケットを作成する

バケットの権限を構成する

バケットのライフサイクル構成を設定する

環境のスナップショット スケジュールを有効にする

コンソール

gcloud

API

Terraform

スケジュールされたスナップショットを無効にする

コンソール

gcloud

API

Terraform

次のステップ

環境のスナップショットスケジュールを有効にする