BigQuery Omni: データのある場所で分析を行ってクロスクラウドの課題を解決

※この投稿は米国時間 2022 年 12 月 16 日に、Google Cloud blog に投稿されたものの抄訳です。

調査によると、大規模組織の 90% 以上がすでにマルチクラウド アーキテクチャをデプロイしており、組織のデータは複数のパブリック クラウド プロバイダに分散されています。また、ウェアハウス、オペレーショナル データベース、リレーショナル データベース、オブジェクト ストアなど、さまざまなストレージ システム間でのデータの分割もますます進んでいます。新しいアプリケーションの普及に伴い、データはデータ サイエンス、ビジネス インテリジェンス、分析、ストリーミングなど、さらに多くのユースケースに対応しています。このようなデータの傾向を背景に、オープンなマルチクラウド データレイクが組織の間でますます重視されるようになっています。その一方で、マルチクラウド データレイクには、データサイロ、データの重複、断片化されたガバナンス、ツールの複雑さ、費用の増加など、いくつかの課題があります。

Google のデータクラウド テクノロジーにより、組織は分散型クラウド サービスを独自に組み合わせて活用できます。たとえば、Looker を使用してアジャイルなクロスクラウド セマンティック ビジネスレイヤを作成し、BigQuery とともに BigLake や BigQuery Omni などの機能を使用して、複数のクラウド環境にわたってデータレイクとデータ ウェアハウスを大規模に管理することが可能です。

BigLake は、BigQuery マネージド テーブルを含むさまざまなストレージ形式と、オブジェクト ストレージ上の Parquet や Apache Iceberg などのオープン ファイル形式を標準化することによって、データ ウェアハウスとレイクハウスを統合するストレージ エンジンです。BigQuery Omni は、AWS または Azure のストレージに対してローカルで実行されるコンピューティング エンジンを提供します。組織はこれを使用して、AWS または Azure のデータをシームレスにクエリできます。これを行うことによる主なメリットは次のとおりです。

1. （Google Cloud Platform、Amazon Web Services、Microsoft Azure をまたぐ）マルチクラウド データレイクのクエリを 1 つの画面で実施

2. 異なるプラットフォーム間でデータを組み合わせることによるクロスクラウド分析。下り（外向き）の費用はほとんど、またはまったくかからない

3. あらゆる場所のデータのガバナンスを統一し、安全に管理

この投稿では、お客様が Google のデータクラウドを利用して解決しているクロスクラウド分析のユースケースと、そのメリットをご紹介します。

統合されたマーケティング分析がもたらす全方位の分析情報

組織は、広告の最適化、在庫管理、チャーンの予測、購入者傾向のトレンド分析に加え、さらに多くのマーケティング分析を実施したいと考えています。BigQuery Omni が登場する前、これを行うには、Google アナリティクスや一般公開データセット、複数のクラウド環境にわたって保存されているその他の専有情報など、複数の異なるソースからのデータを使用する必要がありました。これには、クロスクラウド分析を行って実用的な分析情報を引き出すための、大量のデータの移動、重複したコピーと費用の増加の管理が伴います。BigQuery Omni を使用すると、組織はこのワークフローを大幅に簡略化できます。ユーザーは使い慣れた BigQuery インターフェースを使用して AWS や Azure に置かれたデータにアクセスし、さらに分析するために組み合わせる必要のある関連データのみを特定して選択できます。このデータのサブセットは、Omni に新しく追加された Cross-cloud Transfer 機能を使用して Google Cloud に移動できます。このデータは他の Google Cloud データセットと組み合わせることができ、統合されたテーブルは、Looker や Looker Studio などの高度な分析ツールを通じて主要なビジネス関係者が利用できるようになります。Vertex AI を介して、このデータを世界クラスの AI モデルと連携させることもできます。

わかりやすい例として、販売および在庫、ユーザー、検索の各データが複数のデータサイロに分散されている小売業者を考えてみましょう。BigQuery Omni を使用すると、これらのデータセットをシームレスにまとめて、顧客セグメンテーション、キャンペーン管理、需要予測などのマーケティング分析シナリオに活用できます。

「クロスクラウド分析を行いたかったため、BigQuery Omni を試してみたところ、AWS S3 からデータを簡単に取得できる SQL サポートが大変気に入りました。マルチクラウド データ戦略を採用するうえで、BigQuery Omni には大きな可能性と価値があることがわかりました。」- Back Market（フランスに拠点を置く整備済みテクノロジーの主要オンライン マーケットプレイス）、スタッフデータ エンジニア Florian Valeye 氏

一貫性のある統合クロスクラウド ガバナンスを備えたデータ プラットフォーム

もう一つのユースケースは、統合データ プラットフォームを通じて、さまざまなクラウドのデータサイロにまたがる運用データ、トランザクション データ、ビジネスデータを分析したいと考えている組織の場合です。これらのデータサイロは、合併や買収、分析ツールの標準化、クラウドごとに異なるベスト オブ ブリード ソリューションの活用、複数のクラウドにわたるデータ フットプリントの分散など、さまざまな要因の結果として生じます。組織は、サイロに分散されたデータに 1 つの画面からアクセスできることに加えて、クラウド間でデータのガバナンスを統合し、一貫性を持たせることも強く望んでいます。

「Achieve は、すべてのお客様と関係者に一貫性のある分析エクスペリエンスを提供することを目指しています。財務報告書と信用報告書のデータが複数のクラウドに分散されているため、分析情報に総体的にアクセスして、それを取得することは容易ではありません。Omni を試してみたところ、使い慣れた BigQuery インターフェースのみを使用して、さまざまなクラウドのデータセットにアクセスできました。マルチクラウド プラットフォームの主要ツールの一つとして、Omni が大きな可能性を秘めていることがわかりました。」- Achieve、シニア データ エンジニア James Simonson 氏

BigLake と BigQuery Omni では、ストレージ レイヤとコンピューティング レイヤがそれぞれ抽象化されているため、組織はあらゆる場所のデータに Google Cloud でアクセスし、クエリを実行できます。また、きめ細かい行レベル、列レベルのアクセス ポリシーを BigQuery で設定し、複数のクラウドにわたって一貫して管理することもできます。これらの構成要素により、データ エンジニアリング チームは、複雑なデータ パイプラインの構築と管理に煩わされることなく、管理された統合データ プラットフォームをデータユーザーのために構築できます。さらに、BigQuery Omni と Dataplex および Data Catalog のインテグレーションにより、複数のクラウドにまたがるデータの検出と検索を行えるほか、ビジネス用語集とリッチテキストを使用して適切なビジネス コンテキストを追加することによってデータを拡充できます。

「SADA の複数のお客様が、データ分析プラットフォームの構築と管理に GCP を使用しています。数多くの調査と概念実証を重ねた結果、お客様は BigQuery Omni に大きな可能性と価値があることに気付きました。シームレスなクロスクラウド データ分析を可能にすることで、リスクを低く抑え BigQuery 導入の障壁を下げると同時に、データの価値をより迅速に実現できるようになりました。」- SADA（Google Cloud 戦略的パートナー）、アソシエイト CTO Brian Suk 氏

データ プロバイダと顧客の間のデータ共有を簡略化

クロスクラウド分析で新たに出現している 3 番目のユースケースは、データ共有です。サービス プロバイダは、在庫データや契約者データなどの情報を顧客やユーザーと共有することを求められことがあり、顧客やユーザーは、その情報を分析するか独自データと集約して、多くの場合、その結果をサービス プロバイダと共有します。これら 2 つの当事者が異なるクラウド環境にいる場合は、クラウド間でのデータ移動が必要となります。

顧客データ プラットフォーム（CDP）を運営しているベンダーについて考えてみましょう。CDP は、顧客データの有効化を支援するように設計されており、そのための重要な最初のステップは、顧客データを統合して管理することでした。これを可能にするため、多くの CDP ベンダーは、利用可能なクラウド インフラストラクチャ テクノロジーの一つを選択してソリューションを構築し、クライアントのシステムからデータをコピーしました。「これまで、クライアント アプリケーションとインフラストラクチャからデータをコピーすることは、CDP をデプロイするための要件でしたが、その必要はなくなりました。」 - ActionIQ、プロダクト担当シニア バイス プレジデント、Justin DeBrabant 氏

クラウド環境間でデータを移動することに抵抗がないのはごく一部の組織であり、大多数の組織は新しいサービスのオンボーディングを行うことに消極的であり、むしろ自社のデータセットへの管理されたアクセスを提供することを望んでいます。

「新しく登場したアーキテクチャ パターンにより、組織はデータを 1 つの場所に保持したまま、適切なセキュリティ対策を講じて、組織のスタックの残りの部分で使用されるアプリケーションからデータにアクセスできるようにすることが可能です」と、ActionIQ の DeBrabant 氏は述べています。

BigQuery Omni を使用すると、Google Cloud Platform 上のサービスは、データの移動を制限しつつ他のクラウド環境にあるデータにより簡単にアクセスして、そうした環境内の顧客やユーザーとデータを共有できるようになります。ある英国最大級の統計情報プロバイダが、データ共有のニーズを Omni で満たせないかどうか調べました。

「BigQuery Omni をテストしましたが、BQ で直接 AWS からデータを取得できる機能が特に気に入っています。新しいクラウドをオンボーディングすることなく、さまざまな組織とのデータ共有を管理できる点が魅力的です。」 - イギリス国家統計局、最高情報＆デジタル責任者 Simon Sandford-Taylor 氏

BigQuery Omni を使用すると、次のことが可能になります。

• 複数のクラウドに分散されたデータに単一のユーザー インターフェースからアクセスして、クエリを実行する

• データ分析前のデータ エンジニアリングの必要性を減らす

• 一貫性のある同じセキュリティ管理を活用するアプリケーションを複数のクラウドにデプロイして実行することで、運用上のオーバーヘッドとリスクを軽減する

• データの処理と分析にかかる時間を大幅に短縮することで、分析情報に迅速にアクセスできるようにする

• 複数のクラウド フットプリントにわたって一貫性のある予測可能な予算を立てる

• 長期的なアジリティを実現し、すべてのクラウド投資のメリットを最大化する

この 1 年間で、お客様による BigQuery Omni の導入が急速に進み、また、BigQuery Omni に重要なイノベーションが追加されました。その例として、AWS S3 または Azure Blob Storage にあるデータをクエリする場合のパフォーマンスとスケーラビリティの向上、Omni における Iceberg のサポート、クエリ結果セットの拡大（最大 20 GB）があり、Cross-cloud Transfer 機能によって、高度な分析に必要十分なデータをクラウド環境間で簡単、安全、かつ費用対効果の高い方法で移動できるようになりました。

BigQuery Omni は、複数のクラウドにわたるデータの統合ガバナンスをサポートする機能をいくつかリリースしており、行レベルと列レベルのセキュリティによって、マルチクラウド データへのアクセスをきめ細かく管理できるようになっています。これに加え、BigQuery Omni でデータ マスキングがサポートされるようになりました。また、2023 年 3 月 30 日までの期間限定の無料トライアルを提供して、お客様が BigQuery Omni を簡単に試し、そのメリット実際に確認できるようにもしています。

Google Cloud 以外のパブリック クラウドで実行される BigQuery Omni は、AWS US East1（バージニア北部）と Azure US East2（米国東部）リージョンで利用できます。また、近日中に利用可能となるアジア太平洋（AWS Korea）を皮切りに、BigQuery Omni を今後さらに多くのリージョンに展開する予定です。

ご利用方法

無料トライアルで Omni をお試しください。BigQuery Omni の詳細については、こちらのドキュメントでご確認いただけます。また、セルフペース ラボを利用して、BigQuery Omni を簡単に設定する方法を学習することもできます。