Cloud Composer
Apache Airflow で構築された、フルマネージドのワークフロー オーケストレーション サービス。
新規のお客様には、最初の 90 日間に Composer または Google Cloud プロダクトで使用できる無料クレジット $300 分を差し上げます。
-
ハイブリッドおよびマルチクラウド環境にまたがるパイプラインを作成、スケジューリング、モニタリング
-
Apache Airflow のオープンソースのプロジェクト上に構築され、Python を使用して運用
-
特定のベンダーに依存する必要がなくなり、使用も簡単
利点
フルマネージドのワークフロー オーケストレーション
Cloud Composer はフルマネージド サービスであり、Apache Airflow は互換性に優れているため、リソースのプロビジョニングに気をとられず、ワークフローの作成、スケジューリング、モニタリングに専念できます。
他の Google Cloud プロダクトとの統合
BigQuery、Dataflow、Dataproc、Datastore、Cloud Storage、Pub/Sub、AI Platform などの Google Cloud プロダクトとのエンドツーエンドの統合により、ユーザーはパイプラインを自由かつ完全にオーケストレートできます。
ハイブリッドとマルチクラウドに対応
パイプラインがオンプレミスにあるか、複数のクラウドにまたがっているか、あるいは Google Cloud 内ですべて完結しているかにかかわらず、単一のオーケストレーション ツールでワークフローを作成、スケジューリング、モニタリングできます。
主な機能
主な機能
ハイブリッド クラウドとマルチクラウド
オンプレミスとパブリック クラウドにまたがるワークフローをオーケストレートすることで、クラウドへの移行が容易になり、ハイブリッド データ環境を維持することもできます。複数のクラウドにまたがってデータ接続、処理、サービスを提供するワークフローを作成し、統一的なデータ環境を提供します。
オープンソース
Cloud Composer は Apache Airflow で構築されています。特定のベンダーへの依存を解消し、ポータビリティをもたらします。Google も貢献しているこのオープンソース プロジェクトは、特定のベンダーに依存することなく、さまざまなプラットフォームと組み合わせて利用できます。対象のプラットフォームは、Airflow コミュニティが拡大するにしたがって増えていきます。
容易なオーケストレーション
Cloud Composer のパイプラインは、Python を使用して有向非巡回グラフ（DAG）として構成されており、あらゆるユーザーが簡単に使用できます。デプロイはワンクリックで完了するため、すぐにコネクタの豊富なライブラリにアクセスし、実行中のワークフローをさまざまな形式でグラフィカルに表示できます。これにより、トラブルシューティングが容易になります。また、有向非巡回グラフは自動的に同期されるため、ジョブをスケジュールに沿って確実に実行できます。
ドキュメント
ドキュメント
Cloud Composer の概要
Cloud Composer 環境の概要と、Apache Airflow のデプロイに使用される Google Cloud プロダクトをご覧ください。
Cloud Composer を使用したインフラストラクチャの自動化
Compute Engine 仮想マシン（VM）インスタンスの自動バックアップをスケジューリングする方法をご確認ください。
データ処理ワークフロー用の CI / CD パイプラインの設定
継続的インテグレーション / 継続的デプロイ（CI / CD）のパイプラインを設定し、Google Cloud のマネージド プロダクトでデータを処理する方法をご確認ください。
プライベート IP Cloud Composer 環境
プライベート IP Cloud Composer 環境の使用に関する情報をご確認ください。
DAG（ワークフロー）の作成
Cloud Composer 環境で実行する Apache Airflow 有向非巡回グラフ（DAG）の作成方法をご確認ください。
Google Cloud Skills Boost: Google Cloud でのデータ エンジニアリング
本コースは 4 日間のクラスルーム トレーニングで、ハンズオンを通して Google Cloud でのデータ パイプラインの設計と構築を学習します。
すべての機能
すべての機能
| マルチクラウド | 複数のクラウドにまたがってデータ接続、処理、サービスを提供するワークフローを作成し、統一的なデータ環境を提供します。 |
| オープンソース | Cloud Composer は Apache Airflow で構築されています。特定のベンダーへの依存を解消し、ポータビリティをもたらします。 |
| ハイブリッド | オンプレミスとパブリック クラウドにまたがるワークフローをオーケストレートすることで、クラウドへの移行が容易になり、ハイブリッド データ環境を維持することもできます。 |
| 統合 | BigQuery、Dataflow、Dataproc、Datastore、Cloud Storage、Pub/Sub、AI Platform などのプロダクトとの統合が組み込まれており、Google Cloud ワークロードをエンドツーエンドでオーケストレートできます。 |
| プログラミング言語に Python を採用 | 既存の Python のスキルを活用して、Cloud Composer で動的にワークフローを作成し、スケジューリングできます。 |
| 信頼性 | 使いやすいチャートで環境のモニタリングや問題のトラブルシューティングができるため、ワークフローの信頼性が改善されます。 |
| フルマネージド | Cloud Composer はフルマネージド サービスなので、リソースのプロビジョニングに気をとられず、ワークフローの作成、スケジューリング、モニタリングに専念できます。 |
| ネットワークとセキュリティ | 環境の作成時、Cloud Composer には次の構成オプションが用意されています。ルートベースの GKE クラスタを持つ Cloud Composer 環境（デフォルト）、プライベート IP Cloud Composer 環境、エイリアス IP アドレスを使用する VPC ネイティブ GKE クラスタを持つ Cloud Composer 環境、共有 VPC。 |
料金
料金
Cloud Composer は使用量に応じて課金されます。vCPU/時、GB/月、GB（転送量）/月で測定された使用量に基づいて料金が発生します。Cloud Composer では、その構成要素として複数の Google Cloud プロダクトを使用しているため、複数の料金単位が用意されています。
料金は、使用量や継続利用を問わず一律です。詳細については、料金のページをご覧ください。