Apache Airflow をベースに構築された、フルマネージドのワークフロー オーケストレーション サービス。
新規のお客様には、最初の 90 日間に Composer または他の Google Cloud プロダクトで使用できる無料クレジット $300 分を差し上げます。
ハイブリッドおよびマルチクラウド環境にまたがるパイプラインを作成、スケジューリング、モニタリング
Apache Airflow のオープンソースのプロジェクト上に構築され、Python を使用して運用
特定のベンダーに依存する必要がなくなり、使用も簡単
利点
Cloud Composer はフルマネージド サービスであり、Apache Airflow は互換性に優れているため、リソースのプロビジョニングに気をとられず、ワークフローの作成、スケジューリング、モニタリングに専念できます。
BigQuery、Dataflow、Dataproc、Datastore、Cloud Storage、Pub/Sub、AI Platform などの Google Cloud プロダクトとのエンドツーエンドの統合により、ユーザーはパイプラインを自由かつ完全にオーケストレートできます。
パイプラインがオンプレミスにあるか、複数のクラウドにまたがっているか、あるいは Google Cloud 内ですべて完結しているかにかかわらず、単一のオーケストレーション ツールでワークフローを作成、スケジューリング、モニタリングできます。
主な機能
オンプレミスとパブリック クラウドにまたがるワークフローをオーケストレートすることで、クラウドへの移行が容易になり、ハイブリッド データ環境を維持することもできます。 複数のクラウドにまたがってデータ接続、処理、サービスを提供するワークフローを作成し、統一的なデータ環境を提供します。
Cloud Composer は Apache Airflow で構築されています。特定のベンダーへの依存を解消し、ポータビリティをもたらします。Google も貢献しているこのオープンソース プロジェクトは、特定のベンダーに依存することなく、さまざまなプラットフォームと組み合わせて利用できます。対象のプラットフォームは、Airflow コミュニティが拡大するにつれて増えていきます。
Cloud Composer のパイプラインは、Python を使用して有向非巡回グラフ(DAG)として構成されており、あらゆるユーザーが簡単に使用できます。デプロイはワンクリックで完了するため、すぐにコネクタの豊富なライブラリにアクセスし、実行中のワークフローをさまざまな形式でグラフィカルに表示できます。これにより、トラブルシューティングが容易になります。また、有向非巡回グラフは自動的に同期されるため、ジョブをスケジュールに沿って確実に実行できます。
ドキュメント
すべての機能
マルチクラウド | 複数のクラウドにまたがってデータ接続、処理、サービスを提供するワークフローを作成し、統一的なデータ環境を提供します。 |
オープンソース | Cloud Composer は Apache Airflow で構築されています。特定のベンダーへの依存を解消し、ポータビリティをもたらします。 |
ハイブリッド | オンプレミスとパブリック クラウドにまたがるワークフローをオーケストレートすることで、クラウドへの移行が容易になり、ハイブリッド データ環境を維持することもできます。 |
統合型 | BigQuery、Dataflow、Dataproc、Datastore、Cloud Storage、Pub/Sub、AI Platform などのプロダクトとの統合が組み込まれており、Google Cloud ワークロードをエンドツーエンドでオーケストレートできます。
|
プログラミング言語に Python を採用 | 既存の Python のスキルを活用して、Cloud Composer で動的にワークフローを作成し、スケジューリングできます。 |
信頼性 | 使いやすいチャートで環境のモニタリングや問題のトラブルシューティングができるため、ワークフローの信頼性が向上します。 |
フルマネージド | Cloud Composer はフルマネージド サービスなので、リソースのプロビジョニングに気をとられず、ワークフローの作成、スケジューリング、モニタリングに専念できます。 |
ネットワークとセキュリティ | 環境の作成時、Cloud Composer には次の構成オプションが用意されています。ルートベースの GKE クラスタを持つ Cloud Composer 環境(デフォルト)、プライベート IP Cloud Composer 環境、エイリアス IP アドレスを使用する VPC ネイティブ GKE クラスタを持つ Cloud Composer 環境、共有 VPC。
|
料金
Cloud Composer は使用量に応じて課金されます。vCPU/時、GB/月、GB(転送量)/月で測定された使用量に基づいて料金が発生します。Cloud Composer では、その構成要素として複数の Google Cloud プロダクトを使用しているため、複数の料金単位が用意されています。
料金は、使用量や継続利用を問わずに一律です。 詳細については、料金のページをご覧ください。