データ分析

BigQuery Omni の新しいクロスクラウドマテリアライズドビューにより、大規模なマルチクラウド分析を実現

2024年1月12日

Google Cloud Japan Team

※この投稿は米国時間 2023 年 12 月 15 日に、Google Cloud blog に投稿されたものの抄訳です。

マルチクラウドデータアーキテクチャを採用する組織が増加している中、お客様から常々寄せられる要望の中で最も多いのが、BigQuery でクロスクラウド分析を非常にシンプルかつコスト効率よく行う方法です。お客様のクロスクラウド分析のプロセスを支援するために、このたび、BigQuery Omni のクロスクラウドマテリアライズドビュー（別名クロスクラウド MV）の公開プレビュー版がご利用いただけるようになったことを発表いたします。クロスクラウド MV を使用すると、別のクラウドで利用可能なベースデータアセットを基にして、GCP 上にサマリーマテリアライズドビューを非常に簡単に作成できます。クロスクラウド MV は、ベーステーブルが変更されると自動的かつ段階的に管理されます。つまり、GCP 上のマテリアライズドビューの同期を維持するために必要なのは最小限のデータ転送だけです。その結果、スムーズで効率的かつ経済的なクロスクラウド分析を可能にする、費用対効果とスケーラビリティに優れた業界初の機能が実現しました。

組織にクロスクラウドマテリアライズドビューが必要な理由

クロスクラウド MV の需要が高まっている背景には、大規模なデータアセットを別々のクラウドに残したまま、クラウドプラットフォームをまたいだ形でデータをより有効的に活用したいというお客様の要望があります。現状、クラウドをまたいでデータアセットに対して分析を行うには、通常クラウドプロバイダ間で大規模なデータセットをコピーまたは複製する必要があり、煩雑な作業になります。このプロセスは管理が面倒なだけでなく、データ転送に多大な費用もかかります。クロスクラウド MV を統合することで、お客様はこれらのプロセスを最適化し、データ運用において効率性と費用対効果の両方を追求しています。

クロスクラウド MV によって費用を削減しながらワークフローを大幅に簡素化できるお客様のユースケースには、主に次のようなものがあります。

予測分析: Vertex AI インテグレーションにより、Google Cloud の最先端の AI / ML 機能を活用したいと考える組織が増えています。PaLM 2 や Gemini などの Google の大規模言語基盤モデルを活用し、クロスクラウド MV を使用して GCP 上で ML モデルを簡単に構築できます。これにより、お客様はデータを取り扱う新たな方法を見出し、大きな期待を寄せています。Vertex AI と Google Cloud の大規模言語モデル（LLM）の力を活用するため、クロスクラウド MV は、お客様のマルチクラウド環境全体でデータをシームレスに取り込み、結合します。
コンプライアンスのためのクロスクラウド / クロスリージョン データ要約: 厳格なデータ主権規制を遵守する必要があり、元データをソースリージョンから出すことができないプライバシーに関するユースケースが新たに登場しています。ただし、クロスリージョンまたはクロスクラウドでのデータ共有とコラボレーションには、データの集計、要約、ロールアップという実行可能な回避策があります。これらの処理を経たデータはプライバシー基準に準拠しているため、他のチームやパートナー組織とのデータ共有や消費のためにリージョンを越えて複製でき、クロスクラウド MV によって段階的に最新の状態に追随することが可能です。
マーケティング分析: 組織は多くの場合、さまざまなクラウドプラットフォームからのデータソースを組み合わせています。一般的なシナリオとして挙げられるのは、Google Ads Data Hub のキャンペーン管理データまたは広告関連データと、別のクラウド上の CRM、ユーザープロファイル、トランザクションデータとの統合です。この統合は、顧客のセグメント化、キャンペーンの管理、その他のマーケティング分析の要件であるプライバシーに配慮したアプローチを確保するために重要です。ユーザープロファイルやトランザクションデータが別のクラウドにあったとして、クロスクラウド MV 経由で取り込んで Google プラットフォームにある広告データやキャンペーンデータと結合する必要があるのは、これらデータのサブセットやサマリーのみであることが少なくありません。また、これらの統合について高いレベルの効率性が保証され、データに対するガバナンスコントロールが提供されることをお客様は望んでいます。
ニア リアルタイムのビジネス分析: リアルタイムの分析情報を得るにあたって、強力なビジネスインテリジェンス（BI）ダッシュボードとレポートツールは不可欠です。これらの分析アプリケーションは、複数のソースからデータを集計して統合するため、非常に重要です。最新のビジネス情報を反映するには、これらのダッシュボードを 1 時間ごと、1 日ごと、1 週間ごとなど、ビジネスニーズに合わせた間隔で定期的に更新する必要があります。クロスクラウド MV により、データアセットの所在に関係なく、定期的にダッシュボードを最新のデータで更新することが可能になり、得られた分析情報が適切かつタイムリーであることが保証されます。これらの機能を GCP の強力な Looker プラットフォームやセマンティックモデルと組み合わせることで、エンドユーザーに優れた価値と最新の分析情報を提供します。

利点

BigQuery Omni のクロスクラウド MV ソリューションには、次のような独自の機能と利点があります。

使いやすさ: クロスクラウド MV は、データアセットが異なるクラウド上に存在するかどうかにかかわらず、データの結合と分析のプロセスを簡素化します。これにより、複雑な分析パイプラインの実行と管理、大規模データ（中でも特に変更が頻繁なもの）における重複といった課題への対処の複雑性を軽減します。
大幅な費用削減: 必要なときに増分データだけを転送することで、クラウド間でデータを転送する際の下り（外向き）の費用を大幅に削減します。
自動更新: 利便性を考慮して設計されたクロスクラウド MV は、すぐに機能し、ユーザーの仕様に基づいて自動的かつ段階的に更新されます。
統合ガバナンス: BigQuery Omni は、双方のクラウドのマテリアライズドビューに対して、安全かつ管理されたアクセスを提供します。この機能は、ローカル分析とクロスクラウド分析の両ニーズにとって非常に重要です。
一括表示: このソリューションでは、クロスクラウド MV の定義、クエリ、管理に使い慣れた BigQuery ユーザーインターフェースを採用しており、シームレスなアクセスを提供します。

業界別 / お客様別のシナリオ

クロスクラウド MV は、以下に示すように、さまざまな業界やお客様のシナリオで大きなメリットをもたらします。

ヘルスケア業界のデータ サイエンティスト: 集計分析とモデル構築のために、データのサマリーを一定の間隔（毎日または毎週）で AWS から Google Cloud（BigQuery）に取り込みたい。
メディアおよびエンターテイメント業界のマーケティング アナリスト: AWS の AdsWhiz データを Google Cloud のリスナーおよびオーディエンスのデータと週単位で結合。重複排除したうえでセグメント化して、ユーザーリーチ率を拡大したい。
通信業界のデータ アナリスト: AWS からのログレベルのデータと広告サーバーからのストリーミングデータを定期的に一元化処理し、収益ターゲティングを行いたい。
教育業界のデータ アナリスト: AWS 上の製品計測データと Google Cloud 上のエンタープライズレベルのデータを結合する必要がある。クロスクラウド MV を使用することで、新しい製品がプラットフォームに追加された際に生じる社内の ETL パイプラインと費用面の課題への対処を簡素化したい。
小売業界のマーケティング アナリスト: プライバシーに配慮した方法で、Azure のユーザープロファイルデータを Ads Data Hub のキャンペーンデータと結合する必要がある。新しい小売ユーザーが毎日システムに入ってくるため、クロスクラウド MV を利用して定期的に複合分析を行い、データ処理が最新の状況を反映するようにしている。

クロスクラウド分析の未来へ

クロスクラウド MV を使用することで、組織におけるクラウドのサイロが解消され、変化する豊富なデータの力を Google Cloud 上でニアリアルタイムで活用できるようになります。この画期的な機能は、クロスクラウド分析だけでなく、マルチクラウドアーキテクチャの未来を形作るものであり、新たなレベルの柔軟性、費用対効果、実用的な分析情報を獲得できるようになります。BigQuery Omni によるクロスクラウド分析と Looker によるアジャイルセマンティクスの強力な組み合わせは、豊富で実用的な分析情報をより迅速かつ簡単に、データを利用するすべての方にお届けします。

SQL を使用して BQ でクロスクラウド MV を作成する機能: