入門ガイド

環境の作成

• Cloud Composer サービスを有効または無効にする

  プロジェクトで Cloud Composer サービスを有効または無効にします。

• 環境の作成

  Google Cloud Console、gcloud、Cloud Composer API、Terraform を使用して Cloud Composer 環境を作成します。

ネットワークを構成する

• プライベート IP ネットワークを構成する

  プライベート IP Cloud Composer 環境用のプロジェクト ネットワーキングを構成します。

• 共有 VPC ネットワークを構成する

  Cloud Composer 環境用のホストとサービスのプロジェクト ネットワーキングを構成します。

• VPC Service Controls を構成する

  VPC Service Controls の境界に環境を作成します。

• Cloud Composer 環境のための大規模なネットワークを構成する

  Cloud Composer 環境のための大規模なネットワークを整理する

• プライベートで使用されるパブリック IP 範囲を構成する

  プライベートで使用されるパブリック IP 範囲を環境で使用します。

• IP マスカレード エージェントを有効にする

  環境で IP マスカレードを使用します。

環境の構成

• 環境変数を設定する

  Apache Airflow スケジューラ、ワーカー、ウェブサーバー プロセスで使用可能な環境変数を設定します。

• Airflow 構成オプションをオーバーライドする

  Airflow 構成オプションをオーバーライドして、Airflow インスタンスをニーズと要件に合わせます。

• 環境をスケーリングする

  環境のスケールとパフォーマンス パラメータを変更します。

• Airflow 接続を管理する

  Airflow が他の API（Google Cloud プロジェクト、他のクラウド プロバイダ、サードパーティ サービスなど）との通信に使用する接続情報を保存します。

• DAG のシリアル化を有効または無効にする

  Airflow スケジューラを構成して、ウェブサーバーに送信する前に DAG ファイルを処理します。

• メンテナンスの時間枠を指定する

  Cloud Composer で環境のメンテナンスが実行できる時間枠を構成します。

• メール通知を構成する

  環境の SMTP サービスを構成します。

• 環境ラベルを管理して環境費用の内訳を調べる

  環境にラベルを割り当て、ラベルに基づいて請求額の内訳を調べます。

セキュリティとアクセス制御を構成する

• IAM によるアクセス制御

  Cloud Composer を使用するユーザー アカウントとサービス アカウントのロールと権限を付与します。

• Airflow UI のアクセス制御

  Airflow UI のアクセス制御（Airflow ロールベースのアクセス制御、Airflow RBAC）を使用して、Airflow UI 内で使用可能なアクションの権限を割り当てます。

• 顧客管理の暗号鍵の使用

  顧客管理の暗号鍵（CMEK）で環境内のデータを暗号化します。

• リソース ロケーションの制限を構成する

  指定したロケーションに Cloud Composer がデータを格納するように、リソースのロケーション制限を構成します。

• Secret Manager を構成する

  機密データを Secret Manager に保存し、環境からアクセスします。

環境の更新、アップグレード、削除

• 環境を更新する

  環境の構成を変更します。

• 環境のアップグレード

  環境を Cloud Composer と Airflow の新しいバージョンにアップグレードします

• 環境を削除する

  環境を削除します。

• 環境のスナップショットの保存と読み込み

  環境のスナップショットを使用して、環境の状態を保存し、読み込みます。

• Airflow データベースをクリーンアップする

  サイズを小さくするには、Airflow データベースから古いエントリを削除します。

• Airflow 2 に環境を移行する

  DAG、データ、構成を既存の Airflow 1.10.* 環境から Airflow 2 環境に移行します。

• 環境を Cloud Composer 2 に移行する（Airflow 2 から）

  Airflow 2 を使用する既存の Cloud Composer 1 環境から Cloud Composer 2 環境に DAG、データ、構成を移行します。

• スナップショットを使用して環境を Cloud Composer 2 に移行する（Airflow 2 から）

  環境スナップショットを使用して、Airflow 2 を使用する既存の Cloud Composer 1 環境から Cloud Composer 2 環境に DAG、データ、構成を転送します。

• 環境を Cloud Composer 2 に移行する（Airflow 1 から）

  Airflow 1 を使用する既存の Cloud Composer 1 環境から Cloud Composer 2 環境に DAG、データ、構成を移行します。

• スナップショットを使用して環境を Cloud Composer 2 に移行する（Airflow 1 から）

  環境スナップショットを使用して、Airflow 1 を使用する既存の Cloud Composer 1 環境から Cloud Composer 2 環境に DAG、データ、構成を転送します。

環境にアクセスする

• Airflow コマンドライン インターフェース

  環境で Airflow CLI コマンドを実行します。

• Airflow ウェブ インターフェース

  環境の Airflow UI にアクセスします。

• Airflow REST API

  Airflow REST API にリクエストを送信します。

• Airflow データベース

  Airflow データベースにアクセスしてクエリを実行します。

DAG を管理する

• DAG を書き込む

  DAG 定義ファイルを書き込みます。

• DAG の追加と更新

  DAG を環境のバケットにアップロードします。

• DAG のトリガー

  スケジュールに従って、手動やその他の方法で DAG をトリガーします。

• バックポート プロバイダ パッケージから演算子をインポートする

  バックポート オペレーター パッケージからそれらをインポートして、Airflow 1.10.* 環境で新しいバージョンのオペレーターを使用します。

• KubernetesPodOperator を使用する

  KubernetesPodOperator を使用して、環境のクラスタで Pod を実行します。

• GKE オペレーターを使用する

  GKE オペレーターを使用して、クラスタを管理し、それらのクラスタで Pod を実行します。

• DAG のタスクをグループ化する

  Airflow が提供するさまざまな方法を使用して、DAG 内のタスクをグループ化します。

• Cloud Functions を使用した DAG のトリガー

  Cloud Functions を使用して環境内の DAG をトリガーします。

• カスタム プラグインのインストール

  カスタム プラグインを Cloud Composer 環境にインストールします。

• Python 依存関係のインストール

  環境に Python パッケージをインストールします。

• DAG のテスト

  DAG のエラーを確認し、デプロイされた DAG の更新とテストを行います。

環境をモニタリングする

• Airflow ログを表示する

  環境の Airflow ログにアクセスして表示します。

• 監査ログの表示

  Cloud Composer の監査ログを有効にして表示します。

• 環境のモニタリング

  環境のモニタリング ダッシュボードにアクセスして使用します。

• Monitoring による環境のモニタリング

  Monitoring で環境の指標を表示し、Cloud Logging で環境ログにアクセスします。