Cloud Composer

Apache Airflow で構築された、フルマネージドのワークフロー オーケストレーション サービスです。

無料トライアル
  • action/check_circle_24px Sketch で作成。

    ハイブリッドおよびマルチクラウド環境にまたがるパイプラインを作成、スケジューリング、モニタリング

  • action/check_circle_24px Sketch で作成。

    Apache Airflow のオープンソースのプロジェクト上に構築され、Python を使用して運用

  • action/check_circle_24px Sketch で作成。

    特定のベンダーに依存する必要がなくなり、使用も簡単

フルマネージドのワークフロー オーケストレーション

Cloud Composer はフルマネージド サービスであり、Apache Airflow は互換性に優れているため、リソースのプロビジョニングに気をとられず、ワークフローの作成、スケジューリング、モニタリングに専念できます。

他の Google Cloud プロダクトとの統合

BigQuery、Dataflow、Dataproc、Datastore、Cloud Storage、Pub/Sub、AI Platform などの Google Cloud プロダクトとのエンドツーエンドの統合により、ユーザーはパイプラインを自由かつ完全にオーケストレートできます。

ハイブリッドとマルチクラウドに対応

パイプラインがオンプレミスにあるか、複数のクラウドにまたがっているか、あるいは Google Cloud 内ですべて完結しているかにかかわらず、単一のオーケストレーション ツールでワークフローを作成、スケジューリング、モニタリングできます。

主な特長

ハイブリッド クラウドとマルチクラウド

オンプレミスとパブリック クラウドにまたがるワークフローをオーケストレートすることで、クラウドへの移行が容易になり、ハイブリッド データ環境を維持することもできます。複数のクラウドにまたがってデータ接続、処理、サービスを提供するワークフローを作成し、統一的なデータ環境を提供します。

オープンソース

Cloud Composer は Apache Airflow で構築されています。特定のベンダーへの依存を解消し、ポータビリティをもたらします。Google も貢献しているこのオープンソース プロジェクトは、特定のベンダーに依存することなく、さまざまなプラットフォームと組み合わせて利用できます。対象のプラットフォームは、Airflow コミュニティが拡大するにしたがって増えていきます。

容易なオーケストレーション

Cloud Composer のパイプラインは、Python を使用して有向非巡回グラフ(DAG)として構成されており、あらゆるユーザーが簡単に使用できます。デプロイはワンクリックで完了するため、すぐにコネクタの豊富なライブラリにアクセスし、実行中のワークフローをさまざまな形式でグラフィカルに表示できます。これにより、トラブルシューティングが容易になります。また、有向非巡回グラフは自動的に同期されるため、ジョブをスケジュールに沿って確実に実行できます。

すべての特長を表示

導入事例

Cloud Composer には豊富な導入実績があります。
Cloud Composer には豊富な導入実績があります。
全文を読む

事例の概要

  • 新鮮な食材の配達の実現に不可欠なワークフロー

  • Cloud Composer がより信頼性の高い方法でパイプラインのオーケストレーションを支援

  • Python を使用して 1 か所から作成、スケジューリング、モニタリング

業種

ドキュメント

Google Cloud の基礎
Cloud Composer の概要

Cloud Composer 環境の概要と、Apache Airflow のデプロイに使用される Google Cloud プロダクトをご覧ください。

アーキテクチャ
Cloud Composer を使用したインフラストラクチャの自動化

Compute Engine 仮想マシン(VM)インスタンスの自動バックアップをスケジューリングする方法をご確認ください。

アーキテクチャ
データ処理ワークフロー用の CI / CD パイプラインの設定

継続的インテグレーション / 継続的デプロイ(CI / CD)のパイプラインを設定し、Google Cloud のマネージド プロダクトでデータを処理する方法をご確認ください。

パターン
プライベート IP Cloud Composer 環境

プライベート IP Cloud Composer 環境の使用に関する情報をご確認ください。

チュートリアル
DAG(ワークフロー)の作成

Cloud Composer 環境で実行する Apache Airflow 有向非巡回グラフ(DAG)の作成方法をご確認ください。

チュートリアル
Qwiklab: Google Cloud でのデータ エンジニアリング

本コースは 4 日間のクラスルーム トレーニングで、ハンズオンを通して Google Cloud でのデータ パイプラインの設計と構築を学習します。

すべての特長

マルチクラウド 複数のクラウドにまたがってデータ接続、処理、サービスを提供するワークフローを作成し、統一的なデータ環境を提供します。
オープンソース Cloud Composer は Apache Airflow で構築されています。特定のベンダーへの依存を解消し、ポータビリティをもたらします。
ハイブリッド オンプレミスとパブリック クラウドにまたがるワークフローをオーケストレートすることで、クラウドへの移行が容易になり、ハイブリッド データ環境を維持することもできます。
統合 BigQueryDataflowDataprocDatastoreCloud StoragePub/SubAI Platform などのプロダクトとの統合が組み込まれており、Google Cloud ワークロードをエンドツーエンドでオーケストレートできます。
プログラミング言語に Python を採用 既存の Python のスキルを活用して、Cloud Composer で動的にワークフローを作成し、スケジューリングできます。
信頼性 使いやすいチャートで環境のモニタリングや問題のトラブルシューティングができるため、ワークフローの信頼性が改善されます。
フルマネージド Cloud Composer はフルマネージド サービスなので、リソースのプロビジョニングに気をとられず、ワークフローの作成、スケジューリング、モニタリングに専念できます。
ネットワークとセキュリティ 環境の作成時、Cloud Composer には次の構成オプションが用意されています。ルートベースの GKE クラスタを持つ Cloud Composer 環境(デフォルト)、プライベート IP Cloud Composer 環境エイリアス IP アドレスを使用する VPC ネイティブ GKE クラスタを持つ Cloud Composer 環境共有 VPC

料金

Cloud Composer は使用量に応じて課金されます。vCPU/時、GB/月、GB(転送量)/月で測定された使用量に基づいて料金が発生します。Cloud Composer では、その構成要素として複数の Google Cloud プロダクトを使用しているため、複数の料金単位が用意されています。

料金は、使用量や継続利用を問わず一律です。詳細については、料金のページをご覧ください。