Deutsche Bank での Cloud Composer: 金融サービス向けのワークロード自動化

※この投稿は米国時間 2022 年 7 月 27 日に、Google Cloud blog に投稿されたものの抄訳です。

多くの金融サービス会社で、時間ベースでスケジュール設定されたワークフローを実行して、ビジネス プロセスを実装することが日常的に行われています。これは Deutsche Bank にも当てはまります。Deutsche Bank では、ワークフローの実行が、民間銀行、投資銀行、企業銀行、リスク、金融、財務などの内部機能を含む、さまざまな事業部門にわたる多くのアプリケーションの基礎となっています。このようなワークフローは、多くの場合、リレーショナル データベースでスクリプトを実行し、多様な言語（Java など）でアプリケーション コードを実行して、異なるストレージ システム間でデータを移動します。また、Deutsche Bank では、ビッグデータ テクノロジーを使用して、大量のデータから分析情報を取得し、Hive、Impala、Spark で実行される抽出、変換、読み込み（ETL）のワークフローが重要な役割を果たしています。

これまで、Deutsche Bank は、サードパーティのワークフロー オーケストレーション プロダクトとオープンソース ツールの両方を使用して、ワークフローをオーケストレートしていました。しかし、複数のツールを使用すると、複雑さが増し、基盤となるインフラストラクチャおよびワークフロー ツール自体を管理するための運用上のオーバーヘッドが発生します。

一方、Cloud Composer は、お客様が単一のプロダクトですべてのワークフローをオーケストレートできるようにするフルマネージド サービスです。Deutsche Bank は、最近、Cloud Composer をアプリケーション環境に導入し始め、より多くのビジネスシーンで活用し続けています。

「Cloud Composer は、弊行の戦略的ワークロード自動化（WLA）ツールです。エンジニアリング文化をさらに高めることができ、従来のテクノロジー ソリューションを使用してきたこれまでの銀行で当然とされていた、運用重視の姿勢を意図的に変革します。その結果、本番環境のすべてのシナリオのエンジニアリングが事前に行われ、フローにおける保守的な手動による介入が必要であったプラットフォームのリスクが軽減されます。Cloud Composer は、オープンソースの Apache Airflow をベースにして構築されており、ハイブリッド マルチクラウドへの将来的な移植性、オンプレミスとクラウドベースの両方のアプリケーションの一貫したエンジニアリング エクスペリエンス、および原価基準の低減が約束されます。

私たちは、Google チームとの良好な関係を築いてきました。その結果、本番環境で Cloud Composer を使用して、スケジュール設定されたアプリケーションの多くを Google Cloud に正常に移行できました。」- Deutsche Bank、ワークロード自動化担当ディレクター Richard Manthorpe 氏

金融サービスで Cloud Composer を使用する理由

金融サービス会社は、インフラストラクチャやオーケストレーション ツールの管理ではなく、ビジネス プロセスの実装に重点を置きたいと考えています。複数のワークフロー オーケストレーション テクノロジーを 1 つに統合して、複雑さを軽減できることに加えて、企業が戦略的なワークフロー オーケストレーション プロダクトとして Cloud Composer を選ぶ理由は、他にもたくさんあります。

まず、Cloud Composer は、従来のワークフロー管理およびオーケストレーション ソリューションよりも費用対効果を大幅に向上させます。マネージド サービスとして、Google がすべての環境の構成とメンテナンス アクティビティを実行します。Cloud Composer バージョン 2 では、自動スケーリングが導入され、お客様はワークフローで使用されるリソースに対してのみ料金を支払うため、リソースの使用率を最適化し、コスト管理を改善できます。また、Cloud Composer はオープンソースの Apache Airflow ベースのため、ライセンス料はかかりません。お客様には、Cloud Composer が実行されている環境に対してのみお支払いが発生し、現在のビジネスニーズに合わせて使用量を調節できます。

金融サービスなどの厳しく規制された業界は、ドメイン固有のセキュリティおよびガバナンスのツールとポリシーに準拠する必要があります。たとえば、顧客管理の暗号鍵は、組織の同意なしでデータにアクセスできないようにし、バーチャル プライベート ネットワークの Service Control は、データの引き出しのリスクを低減します。Cloud Composer は、これらをはじめとする多くのセキュリティとガバナンスの制御をすぐに使用できるようサポートしており、規制の厳しい業界のお客様がこのようなポリシーを独自に実装しなくてもサービスを簡単に使用できるようにします。

ネイティブの Google Cloud とオンプレミスのワークフローの両方をオーケストレートできることも、Deutsche Bank が Cloud Composer を選んだもう一つの理由です。Cloud Composer は、Airflow オペレータ（外部システムとやり取りするためのコネクタ）を使用して、BigQuery、Dataproc、Dataflow、Cloud Functions などの Google Cloud サービス、およびハイブリッド ワークフローとマルチクラウド ワークフローと統合します。Airflow オペレータは、Airflow の強力なオープンソース コミュニティが提供する Oracle データベース、オンプレミス VM、sFTP ファイル サーバーなどの多くのサーバーとも統合します。

Cloud Composer を使用すると、お客様は複数のワークフロー オーケストレーション ツールを 1 つに統合できますが、それが適切でないユースケースもあります。たとえば、お客様が固定スケジュールで 1 日 1 回実行するジョブが 1 つだけある場合、cron ジョブ用の Google Cloud のマネージド サービスである Cloud Scheduler の方が適している可能性があります。それに対して、Cloud Composer は、より高度なワークフロー オーケストレーション シナリオに優れています。

最後に、オープンソース テクノロジーをベースにしたテクノロジーは、クラウドからのシンプルな出口戦略（金融サービス会社にとって重要な規制要件）も提供します。Cloud Composer を使用すると、お客様は Airflow ワークフローを Cloud Composer からセルフマネージド Airflow クラスタに簡単に移動できます。Cloud Composer は Apache Airflow と完全に互換性があるため、ワークフロー定義は、別の Airflow クラスタに移動する場合もまったく同じです。

Cloud Composer の適用

Deutsche Bank が Cloud Composer を選んだ理由を見てきました。次に、実際どのように使用しているか詳しく見ていきましょう。Apache Airflow は、一連の豊富なデータ オペレータ（コネクタ）を提供するため、ETL およびデータ エンジニアリング ワークフローに最適です。そのため、大規模なデータレイクがすでにオンプレミスに設置されている Deutsche Bank は、最新のクラウド データ プラットフォームに Cloud Composer を活用しています。その主な目的は、適切に管理されたデータのエクスチェンジとして機能させ、「データメッシュ」パターンを可能にすることです。

Deutsche Bank で Cloud Composer は、主に BigQuery ベースの Cloud Data Platform へのデータの取り込みのオーケストレーションを行います。取り込みは、イベント ドリブンな方法で行われます。たとえば、Cloud Composer は単にタイムスケジュールに基づいて、読み込みジョブを実行するのではありません。代わりに、Cloud Storage オブジェクトなどの新しいデータが、アップストリーム ソースから到着したときに、イベントに反応します。これは、いわゆる Airflow センサーを使用して行われ、新しいデータを継続的に監視します。Composer は、BigQuery にデータを読み込むだけでなく、データを変換してビジネス レポートの分析情報を引き出す ETL ワークフローのスケジュール設定も行います。

一連の豊富な Airflow オペレータにより、Cloud Composer は、非データエンジニアリング ワークフローを実行する標準の多層ビジネス アプリケーションの一部であるワークフローもオーケストレートできます。ユースケースの一つには、コモディティ、債権、株式、金利、外国為替など、さまざまなアセットクラスに関する情報を提供するスワップ レポート プラットフォームが含まれます。このアプリケーションで、Cloud Composer は、アプリケーションのビジネス ロジックを実装し、Cloud Run にデプロイされるさまざまなサービスをオーケストレートします。この場合も、すぐに使える Airflow オペレータを使用しています。

このようなユースケースは、すでに本番環境で実行されており、Deutsche Bank に価値をもたらしています。Deutsche Bank の Cloud Data Platform チームの Cloud Composer 導入に対する見解をご紹介します。

「Cloud Composer を使用すると、Data Platform チームは、基盤となるインフラストラクチャの管理ではなく、データ エンジニアリングと ETL ワークフローの作成に集中できます。Cloud Composer は、Apache Airflow を実行するため、BigQuery、Dataflow、Dataproc などのシステムにすぐに使えるコネクタを活用して、Google Cloud エコシステム全体にうまく組み込むことができます。」- Deutsche Bank ビッグデータ プラットフォーム担当ディレクター Balaji Maragalla 氏

Cloud Composer を使用して、独自のワークロードをオーケストレートする方法の詳細については、このクイックスタート ガイド、または Cloud Composer のドキュメントを今すぐご確認ください。

- グループ プロダクト マネージャー Filip Knapik