Managed Service for Apache Airflow（旧 Cloud Composer）

オンプレミスとパブリック クラウドにまたがるワークフローをオーケストレートすることで、クラウドへの移行が容易になり、ハイブリッド データ環境を維持することもできます。 複数のクラウドにまたがってデータ接続、処理、サービスを提供するワークフローを作成し、統一的なデータ環境を提供します。

Managed Service for Apache Airflow は、特定のベンダーへの依存を回避し、ポータビリティを確保できます。Google も貢献しているこのオープンソース プロジェクトは、特定のベンダーに依存することなく、さまざまなプラットフォームと組み合わせて利用できます。対象のプラットフォームは、Airflow コミュニティが拡大するにつれて増えていきます。

Managed Service for Apache Airflow のパイプラインは、Python を使用して有向非巡回グラフ（DAG）として構成されており、あらゆるユーザーが簡単に使用できます。デプロイはワンクリックで完了するため、すぐにコネクタの豊富なライブラリにアクセスし、実行中のワークフローをさまざまな形式でグラフィカルに表示できます。これにより、トラブルシューティングが容易になります。また、有向非巡回グラフは自動的に同期されるため、ジョブをスケジュールに沿って確実に実行できます。

主な機能強化には、監査性と確実なロールバックのための DAG バージョニング、履歴データの再処理を簡素化するスケジューラ主導のバックフィルなどがあります。新しいタスク実行 API と SDK は、将来の多言語サポートと分離されたタスク環境への道を開きます。ユーザーは、ナビゲーションが改善された、より高速でモダンな React ベースの UI を利用できます。計画されているイベント ドリブンなスケジューリングは、よりリアクティブで準リアルタイムのパイプラインを目指しています。Edge Executor はリモートタスクの実行を最適化し、分割された CLI（airflow/airflowctl）は開発と運用でより明確なコマンドライン エクスペリエンスを提供します。