Managed Service for Apache Airflow によるデータと AI のスケーリング

※この投稿は米国時間 2026 年 5 月 5 日に、Google Cloud blog に投稿されたものの抄訳です。

オーケストレーションとは、もはや単なるデータの移動ではなく、エンタープライズ インテリジェンスを管理することです。オープンソース ソフトウェアに対する Google の深いコミットメントと受容を反映するため、Cloud Composer が正式に Managed Service for Apache Airflow になったことを以前にお知らせしました。

オーケストレーション機能が大幅に進化し、AI 時代におけるデータチームの業務が根本的に再構築されました。Google は、4 つの主要なリリースにより、AI をワークフローに直接組み込み、アクセスを民主化し、生産性を加速させ、特に要求の厳しい MLOps を強化します。

1. Apache Airflow 3.1 の一般提供を開始

このたび、特に要求の厳しい AI と MLOps のワークロードを強化する Apache Airflow 3.1 の一般提供を発表しました。このリリースでは、Airflow 3.0 の重要な基盤と、3.1 の最新のコミュニティ イノベーションが組み合わさっています。

主な機能は次のとおりです。

• アーキテクチャの分離: Airflow システム全体と実行レイヤの明確な分離により、スケーラビリティとセキュリティが向上しています。

• DAG のバージョニング: DAG の自動バージョニングをネイティブにサポートし、過去の構造と実行履歴を保持します。

• 強力なマネージド バックフィル: バックフィル機構を刷新し、スケジューラがフルマネージドで扱う第一級の機能として再設計しました。

• イベントドリブン スケジューリングとデータアセット: アセットに基づくトリガーに加え、メッセージ キューへの到着などの外部イベントに応じてワークフローを起動できる機能を強化しています。

• 人間参加型（HITL）と期限アラート: UI を介して人間が意思決定できるように実行を一時停止し、重要なパイプラインに対して時間ベースのプロアクティブなしきい値を設定できます。

• その他多数

2. データ エンジニアリング エージェントによるエージェント型トラブルシューティング

複雑なパイプラインの管理が大幅に簡素化されました。データ エンジニアリング エージェントが Managed Airflow ダッシュボードに直接組み込まれ、ログの迅速な分析、根本原因の特定、修正の提案を行います。

• 迅速な解決: Gemini Cloud Assist Investigations1 を統合することで、AI を活用して DAG 実行の失敗をトラブルシューティングし、個別の修正案をコンソールで直接受け取ることができます。

• MTTR の短縮: エージェント型アプローチにより、手動によるログ解析が不要になり、平均修復時間（MTTR）を最小限に抑えることができます。さらに、トラブルシューティングがタスクレベルだけでなく DAG 実行レベルにまで引き上げられ、パイプラインの健全性を包括的に把握できるようになりました。

3. Orchestration Pipelines とデプロイ自動化フレームワーク

Apache Airflow のエキスパートでなくても、Apache Airflow を活用できるようになりました。Orchestration Pipelines は、新しいプロダクト横断的なデプロイ自動化フレームワークの中核となるコンポーネントです。これを使用すると、エンドツーエンドのデータ パイプラインを効率的に作成できます。

• 宣言型オーケストレーション: オーケストレーションのロジック、インフラストラクチャ構成、依存関係など、パイプライン全体を人が読めるシンプルな YAML ファイルで定義できます。

• プロダクト間のバンドル: これらの YAML 定義は、完全なバンドルとしてクラウドに簡単にデプロイできます。たとえば、Airflow の構文を知らなくても、dbt、Spark、DTS などにまたがる包括的なデータ統合パイプラインを迅速に作成してデプロイできます。

• 統合された IDE エクスペリエンス: GitHub Actions を介した検証とデプロイの自動化に加えて、Google データクラウド拡張機能により、エージェントによるオーサリングとトラブルシューティングがワークフローの中心に据えられます。強力な AI エージェントを利用して、IDE で直接パイプラインを構築してデバッグできるようになりました。また、エージェントが生成した DAG を視覚的に検査して、全体を把握することもできます。

重要なのは、この宣言型アプローチによって、高度な Python デベロッパーとデータ アナリストの間にこれまで存在したサイロが解消されることです。人が読める YAML に移行することで、よりインクルーシブなデータ文化を育み、より幅広い実務担当者が重要なデータ ワークフローを独自に作成、理解、管理できるようになります。

4. Managed Airflow 用 MCP サーバー（公開プレビュー版）

AI とオーケストレーションのギャップをさらに埋めるために、Managed Airflow MCP サーバーの公開プレビュー版をリリースします。

• エージェント ツール: このサーバーは、環境に関する重要な情報を取得するための list_environments、get_dag_run、get_task_instance などのツールを提供します。

• シームレスな統合とコンテキスト切り替えの削減: 人間とエージェントの両方がこれらのツールを使用してタスク管理を簡素化できます。最も重要なのは、これにより、デベロッパーが複雑な DAG をデバッグする際に直面するコンテキスト切り替えが大幅に減ることです。環境とタスクのデータを好みのインターフェースに直接取り込むことで、さまざまなコンソールを頻繁に切り替えることなく、迅速にトラブルシューティングができます。

データ オーケストレーションの未来を切り開く

これらのリリースにより、オーケストレーションの参入障壁が根本的に下がり、同時にパワーユーザーが達成できることの限界が引き上げられます。インフラストラクチャの負担を取り除き、ネイティブなエージェント型ツールを提供することで、データチームはボイラープレート コードとの格闘をやめ、主に分析情報の導出とビジネス価値の創出に集中できるようになります。

Managed Service for Apache Airflow は、動的な Python DAG を構築する経験豊富なデータ エンジニアにも、シンプルな YAML パイプラインを定義するデータ アナリストにも役立ちます。

今すぐ始めましょう。次世代のデータ パイプライン オーケストレーションを体験してみませんか。Google Cloud コンソールで新しい環境を作成し、Google Cloud Data Agent Kit 拡張機能を試して、未来のエージェントを築き始めましょう。

- Google、シニア プロダクト マネージャー Piotr Wieczorek

- リード エンジニアリング マネージャー Rafal Biegacz