ゴールドマン・サックスのオープンソース データ プラットフォーム「Legend」が情報を民主化した方法

※この投稿は米国時間 2024 年 6 月 6 日に、Google Cloud blog に投稿されたものの抄訳です。

いかなる事業においても質の高いデータを保持することはビジネスを推進する上で中核となる要素ですが、金融サービスにおいては特に重視されています。

ゴールドマン・サックスでは、データを基軸としたビジネスを行っています。ここで利用するデータには、金融商品のデータ、市場のデータ、従業員のデータなどが含まれます。当社のデータ プラットフォームである Legend は、ビジネス ユーザーから技術者まで、誰もが必要なデータに安全かつ効率的にアクセスできるツールとして開発されています。

このプラットフォームは、社内のデータに関するコミュニケーションを標準化すると同時に、チーム間の情報へのアクセスをより快適なものに変えています。2020 年、当社は Legend をオープンソース化し、お客様や他の金融サービス企業にもこのプラットフォームを活用いただけるよう公開しました。

Legend とのインテグレーションで広がる可能性

Google Cloud や他の組織と連携することで、Legend の機能をより多くのお客様に提供できることは喜ばしいことです。Legend は、BigQuery や BigLake をはじめとした、Google Cloud のさまざまなデータサービスと統合可能です。これらのツールを利用することで、業界は次のようなメリットを得られるだろうと考えています。

データ モデリングと分析: Legend データモデル + BigQuery / BigLake

統合データ プラットフォームにより、データ プロデューサーは膨大なデータセットを保存でき、データ利用者は Legend を使用することで、ビジネスですぐに使えるよう標準化された情報を表示できるようになります。つまり、BigQuery に保存されたデータは Legend データモデルを使用して簡単に呼び出すことができるため、ユーザーは論理データモデルの恩恵を受けながら、BigQuery のデータ マネジメント機能も活用できるのです。

データ共有: Legend Lambda + Analytics Hub

Legend Lambda は、Legend 言語を使用して論理データクエリを表現する簡潔な方法です。これらの Lambda は、BigQuery などの物理データ プラットフォームにプッシュダウンしたり、Analytics Hub などのデータ共有サービスを経由して共有できます。これにより、Legend データモデルのガバナンス機能を使用しながら、Google Cloud エコシステム全体でのデータ共有が可能になります。

データ セキュリティ: Legend Connectors + Identity and Access Management（IAM）

データは安全に保護されなければならず、そのためには認証と認可の両方が必要です。Legend を使用すると、Google Cloud のお客様は、ワークロード / 従業員認証、OAuth 統合などの IAM サービスとネイティブに統合することができます。また、Legend は認証と認可を 1 回限りのオンボーディング ステップとして管理するため、データをやり取りする新しいツールのインテグレーションとオンボーディングにかかる時間を短縮できます。

クラウドベースのソリューションの使用においては、最高レベルのデータ ガバナンス基準を維持することが最優先事項であるため、これはとりわけ重要です。アクセスすべきデータにのみユーザーがアクセスできるよう利用権限を効率的に管理することは、コンプライアンスを維持するうえで不可欠です。

よりパワフルなオープンソース データ プラットフォーム

Legend と Google Cloud の連携が、人間工学に基づいた、すぐに使用できるインテグレーションの構築を可能にしました。これは、Legend のようなパワフルなデータ プラットフォームを探している人にはメリットをもたらし、Google のようなオープン クラウド プラットフォームを使用しているユーザーの能力の幅を広げることことになるはずです。

^{冒頭の画像は、Google Cloud で Midjourney を使用して、次のプロンプトで作成しました。「大手投資会社の本社のように見える、漫画風に描かれた、データで輝く近代的なオフィスタワー」}

- ゴールドマン・サックス、テクノロジー フェロー Ephrim Stanley 氏