Cloud Composer の機能

このページでは Cloud Composer の特長と機能の概要を説明します。

Cloud Composer は、ワークフローの作成、スケジュール設定、モニタリング、管理を支援する、マネージド Apache Airflow サービスです。

Airflow 環境

Cloud Composer 環境は、Apache Airflow を基盤としたラッパーです。Cloud Composer は、各環境用に次のコンポーネントを作成します。

  • ウェブサーバー: ウェブサーバーは Apache Airflow ウェブ インターフェースを実行し、Cloud Identity-Aware Proxy はそのインターフェースを保護します。詳細については、Airflow ウェブ インターフェースをご覧ください。
  • データベース: データベースは Apache Airflow のメタデータを保持します。
  • Cloud Storage バケット: Cloud Composer は Cloud Storage バケットを環境と関連付けます。関連付けられたバケットには、環境の DAGログ、カスタム プラグイン、データが保存されます。Cloud Composer のストレージ バケットに関する詳細については、Cloud Storage をご覧ください。

Airflow 管理

Airflow 環境のアクセスと管理には、次の Airflow ネイティブのツールを使用できます。

  • ウェブ インターフェース: Google Cloud Platform Console または適切な権限を持つ直接 URL から Airflow ウェブ インターフェースにアクセスできます。詳細については、Airflow ウェブ インターフェースをご覧ください。
  • コマンドライン ツール: Cloud SDK をインストールした後、gcloud composer environments コマンドを実行して Cloud Composer 環境に Airflow CLI コマンドを発行できます。詳細については、Airflow コマンドライン インターフェースをご覧ください。

ネイティブ ツールに加えて、Cloud Composer REST API または RPC API により、Airflow 環境へのプログラムでのアクセスが提供されます。詳細については、API とリファレンスをご覧ください。

Airflow 構成

一般的に、Cloud Composer が Apache Airflow 用に提供する構成は、ローカルにホストされる Airflow のデプロイと同様です。Airflow 構成は、Cloud Composer で事前構成されているため、構成プロパティを変更できません。その他の構成については、環境を作成、更新するときに指定します。詳細については、Airflow 構成をご覧ください。

Airflow DAG(ワークフロー)

Apache Airflow DAGワークフローです(追加のタスク依存関係を持つタスクの集まり)。Cloud Composer では DAG の保存に Cloud Storage を使用します。Cloud Composer 環境から DAG を追加または削除するには、その環境に関連付けられている Cloud Storage バケットから DAG を追加または削除します。Storage バケットに移動した DAG は、環境に自動的に追加、スケジュールされます。

DAG のスケジュールに加えて、DAG を手動でトリガーしたり、イベント(関連する Cloud Storage バケットで発生した変更など)に対するレスポンスとして DAG をトリガーしたりできます。詳細については、DAG のトリガーをご覧ください。

プラグイン

カスタム プラグインを Cloud Composer 環境にインストールできます(カスタムの、インハウス Apache Airflow 演算子、フック、センサー、インターフェースなど)。詳細については、Cloud Composer プラグインをご覧ください。

Python 依存関係

環境に Python Package Index から Python 依存関係をインストールした場合や、依存関係がパッケージ インデックスに存在しない場合は、プラグイン機能を使用したりできます。詳細については、Python 依存関係のインストールをご覧ください。

アクセス制御

GCP のプロジェクト レベルでセキュリティを管理し、個々のユーザーが環境を変更、作成することを防ぐ Cloud Identity and Access Management(IAM)の役割を割り当てることができます。プロジェクトへのアクセス権を持たないユーザーや適切な Cloud Composer IAM 役割を持たないユーザーは、環境のどの部分にもアクセスできません。詳細については、Cloud Composer のアクセス制御をご覧ください。

ロギングとモニタリング

Airflow ウェブ インターフェースで単一の DAG タスクに関連付けられた Airflow ログを表示したり、関連付けられた Cloud Storage バケットで logs フォルダを表示したりできます。

ストリーミング ログは Cloud Composer で利用できます。Stackdriver を使用することによって、Google Cloud Platform Console のログビューアでストリーミング ログにアクセスできます。Stackdriver の使用方法については、Cloud Composer 環境のモニタリングをご覧ください。

Cloud Composer では、監査ログ(GCP プロジェクト用の管理アクティビティ監査ログなど)も提供されます。詳細については、監査ログの表示をご覧ください。

このページは役立ちましたか?評価をお願いいたします。

フィードバックを送信...