BlackRock は Google Cloud 上の統合プラットフォームでデータ運用をスケーリング

※この投稿は米国時間 2023 年 9 月 6 日に、Google Cloud blog に投稿されたものの抄訳です。

投資運用ビジネスは、かつてなくデータドリブン化が進んでいます。世界最大級の金融資産運用会社である BlackRock の Portfolio Management Group（PMG）は、投資戦略を幅広く手がけており、その業務プロセスにおいてデータを駆使しています。たとえば、投資に関する決断をはじめ、マルチアセット ポートフォリオのリスク管理や、ポートフォリオのパフォーマンス監視まで、あらゆる過程でデータを活用しています。投資業務で使用されるデータの量と種類が増えるに従って、データ運用の複雑さや課題も増し、さまざまなスキルや管理ツールが求められるようになってきています。

データ運用部門は、急速に変化する資産運用環境に対応するため、カスタマイズ可能なデータ パイプラインによりデータ処理の効率性、正確性、柔軟性を向上させ、量も種類も増え続けるデータソースから情報を的確に抽出して整理できるようにする必要があります。データソースとしては、従来の金融データセットや、新しいタイプのデータセットがあります。これらのデータを利用しやすい形にすることで、データを利用する投資部門やリサーチ部門がビジネスのスピードに合わせて的確な決断を行えるよう支援できます。

BlackRock のデータ戦略＆ソリューション部門は、独自のデータ運用ソリューションの構築を始めています。具体的には、Google Cloud を活用してデータ プロファイリングを自動化したり、データ品質の問題（欠落値や重複レコード、異常値など）を特定したりしています。このソリューションは統合型のアーキテクチャを採用しており、資産運用業界におけるデータ環境の変化に合わせた調整が可能です。結果として、投資部門やリサーチ部門が利用するデータの質、スピード、利便性が改善され続けています。

Google Cloud 上でのソリューション アーキテクチャの構築

BlackRock が構築したプラットフォーム アーキテクチャは、BigQuery をデータ ファブリックとして使用し、標準モデルに従って社内および社外のさまざまなデータソースに対応しています。さらに、Cloud Storage、Pub/Sub、Cloud Functions などの他のサービスとのシームレスなインテグレーションを通じてデータ パイプラインを自動化し、データエラーや不整合を早い段階で特定できるようにしています。アーキテクチャの概要図を以下に示します。

この統合ソリューションがなければ、データ運用部門は、フィード、データベース、アプリケーション ログやその他のデータソースをチェックしたうえで、不整合の修正を手動で行う必要があります。この方法ではヒューマン エラーが発生しやすくなります。また、アラートの優先順位付けが難しい、メンテナンスの負担が大きいという問題も起きるでしょう。その点、BlackRock のソリューションは、すべてのソースを 1 か所にまとめ、拡張可能な標準データスキームに従って BigQuery に共通データモデルとして格納しています。データ パイプラインにはカスタマイズ可能なアラート アルゴリズムが組み込まれており、このアルゴリズムはスケジュール設定されたクエリ、Cloud Functions、Compute Engine によって実行されるようになっています。この仕組みによってデータ運用担当者とデータ利用者の間のデータフローが自動化されており、データの優先順位付けとデータに基づく意思決定を従来よりもはるかに速く行えます。

この結果、ソース アプリケーションの変更が不要となっています。アラート アルゴリズムの出力を標準データモデルに一致させる必要がありますが、その条件さえ満たせば、あとは自由にオーダーメイドのアルゴリズムを作成できます。上の図に示すように、データ運用担当者は共通インターフェースを通じて各種データソースにすばやくアクセスし、潜在的な問題の検出、解決を行えます。

このプラットフォームは次のような原則にのっとっています。

• シンプルかつスケーラブル - BigQuery のサーバーレス アーキテクチャによってオーバーヘッドがなくなり、数億件におよぶ膨大なデータのクエリ パフォーマンスを予測できます。さらに、リアルタイム処理とバッチ処理の両方がネイティブでサポートされているため、データ品質の問題をリアルタイムで特定、解決することが可能です。
• 拡張性 - Cloud Storage、Pub/Sub、Cloud Functions、BigQuery をネイティブに統合できるため、新しいデータ パイプラインやワークフローを簡単に設定して、新しいデータソースに対応できます。
• 将来に対応 - BigQuery は、完全統合型のインテリジェントなデータ ファブリックであり、構造化データ、非構造化データ、空間データをサポートするのに加えて、自己最適化機能や AI/ML 機能も備えています。そのため、分散データを統合してデータ運用を自動化し、幅広い分析に活用できます。

目に見える成果を達成

BlackRock のデータ戦略＆ソリューション部門は、ひと月あたり 30,000 件以上のデータセットおよび 6,000 件以上のアラートを処理し、整合性の高い高品質データを投資部門に提供しています。そのため、投資部門が市場の変化に機敏に対応することができます。

この統合ソリューションでは、決断の手がかりとなるデータが一貫性のあるインターフェースに表示されるため、6 つのデータソースおよび 15 種類のアラート アルゴリズムの優先順位を的確に判断することができます。これにより、緊急性の高い問題への対処時間が以前に比べ 30% 短縮されています。

また、データ運用手順が改善され、新しいデータソースやアラートの追加に要する時間がこれまでの数日から数時間に短縮されました。オンボーディングの時間が 80% 短縮されたことになります。その結果、データ エンジニアは新しいデータ プロダクトやサービスの開発といった戦略的タスクに集中できるようになり、こうしたタスクに費やす時間がこれまでに比べひと月あたり 20 時間増加しました。

BlackRock は、DataOps のベスト プラクティスを取り入れることでデータの再編成に成功し、変化し続けるデータ環境に対応できるようにしました。その結果、データから短期間で価値を得られるようになり、総所有コストが最小化されています。

BlackRock のデータ戦略＆ソリューション部門は、Google Cloud 上で統合ソリューションを構築してデータの幅広い利用に対応するとともに、データの格納、処理、分析に求められる信頼性、スケーラビリティ、安全性を実現しました。このデータ処理および運用アーキテクチャは、Google Cloud に急ピッチで投入され続ける生成 AI などの新機能と簡単に統合できるため、今後も、投資機会およびリスクの見極めや、的確な投資判断など、投資部門のプロセスに大きな変革をもたらすことが期待されます。

Google Cloud の資本市場業界への貢献について詳しくは、こちらのページをご覧ください。

-BlackRock、データ戦略＆ソリューション部門バイス プレジデント Dan Wolf 氏

-Google Cloud 資本市場担当クライアント ディレクター Mohan Raghu