データ分析

さらばデータサイロ: BigQuery Omni クロスクラウド結合機能のリリースのお知らせ

2023年10月2日

https://storage.googleapis.com/gweb-cloudblog-publish/images/GOOGLE_BQ_D_Rnd1_gFBkDxv.max-2600x2600.jpg

Google Cloud Japan Team

※この投稿は米国時間 2023 年 9 月 27 日に、Google Cloud blog に投稿されたものの抄訳です。

世界中の組織が、増大するデータ量と、さまざまなクラウドプラットフォームに分散されたデータレイクへの対応に追われています。Google がリリースした BigQuery Omni は、クロスクラウド転送やクロスクラウド変換（SELECT した結果で新しい表を作成する）などのいくつかのクロスクラウド分析機能を提供することで、こうしたデータサイロを打破できるようお客様をサポートしています。BigQuery Omni では、AWS および Azure 環境で実行されるクエリに関連して処理されるデータがここ 6 か月間で 120% 以上増加しました。

お客様による Omni の使用が増えるにつれ、異なるクラウドプラットフォームのデータをつなぎ合わせて、複雑なユースケースを解決したいというご要望が寄せられるようになっています。いくつか例を挙げましょう。

大手通信プロバイダのマーケティング アナリストからのご要望: Google Cloud のデジタル アセット データを Azure の顧客情報と結合し、ポイント プログラムとプロモーションを最適化したいと考えている。
成長を続ける SaaS 組織のデータ アナリストからのご要望: ビジネス レポートの作成にあたり、AWS のデータと BigQuery の事業部門データを結合する必要がある。ETL 経由でデータを BigQuery にコピー（複数のステップが関わる長く複雑なプロセス）することなく、しかも低コストで、データの更新頻度が高く、消費しやすい形でこれを実行できれば非常に助かる。
デジタル ネイティブなカスタマー カンパニーのマーケティング ユーザーからのご要望: AWS の AdsWhiz データを Google Cloud のオーディエンス データと結合し、ユーザーリーチ率を高めることに関心がある。これを簡単に実行し、データの重複を避けたいと考えている。
金融サービス企業のアナリストからのご要望: AWS のトランザクション データと Google Cloud のデータアセットを統合したビューに興味がある。クラウド間でのデータの移動は非常に扱いが難しく、セキュリティ境界と信頼境界が非常に重要になる。

Google はこのたび、BigQuery Omni に新しいクロスクラウド結合機能を導入しました。これにより、ユーザーは単一の SQL ステートメントでクラウド全体のデータにクエリを実行できるようになります。これまで、お客様は BigQuery テーブルと AWS S3 または Azure Blob Store のデータレイクとの間で JOIN を指示したり、その他の DML 操作を実行したりすることができませんでした。代わりに、こうした複数の異なるクラウドプラットフォームから Google Cloud にデータをコピーする必要がありました。新しいクロスクラウド結合機能により、クラウド間でのデータの結合と分析がシンプルかつ容易になります。

クロスクラウド結合は、次のようなさまざまなメリットをお客様にもたらします。

クラウド間で直接結合を実行できる。BigQuery でテーブルを明示的に作成または実体化し、結合操作を実行する必要がない
クラウドプラットフォーム全体に分散されているデータの分析がシンプルかつ容易になり、費用も削減される
ETL 経由で AWS または Azure データレイクのデータを BigQuery にコピーする際のパイプラインの構築と実行の複雑さを解消できる

この新機能を早くから利用しているユーザーは、さまざまな業界で新しいユースケースを生み出しています。注目すべきユースケースには次のようなものがあります。

マーケティング分析: ある大手小売業者は、Azure 上にメディアデータを、Google Cloud 上に顧客データを保管しています。実施中のキャンペーンから指標を得るには、Azure から Google Cloud へのファイルの転送、データの取り込み、データの移動などの従来型のデータ交換パターンを使用する必要がありました。BigQuery Omni のクロスクラウド結合機能を使用すれば、BigQuery のペタバイト規模のパフォーマンスを活用しながら、Azure データとの結合を実現できます。
統合データ プラットフォーム: ある大手医療機関は、AWS 上に大量のデータを保管している別の医療機関を買収しました。分析を実行するには、データサイロや、Google Cloud アーキテクチャと AWS アーキテクチャに分割されているデータプラットフォームアーキテクチャに対応する必要がありました。今ではクロスクラウド結合を実行できるため、アーキテクチャが大幅に簡素化され、一括表示を使用した統合データプラットフォームを構築できるようになりました。
クロスクラウド分析: アジアの大手ゲームプラットフォームには 2 つの分析プラットフォームがあり、それぞれ BigQuery と AWS を使用しています。どちらの分析プラットフォームにも大量のデータが保管されているため、1 つのプラットフォームに統合するのは困難です。アナリストは、ゲームプレーヤーのデータを分析し、ゲームのラインナップを最適化するために、重要なビジネスインサイトを構築する必要があるときはいつでも、クロスクラウド結合をアドホックに活用しています。

クロスクラウド結合の実際の操作

クラウド間でデータを結合し、クロスクラウド分析の力を活用することが、これまでになく簡単になりました。クロスクラウド結合がいかにシンプルかつパワフルであるか、例を挙げて見てみましょう。

ある小売業者が、Google Cloud で利用できる顧客データと AWS で利用できる注文データを結合して、一定期間の顧客の注文に関する統計データを取得したいと考えているとします。クロスクラウド結合機能があれば、異なるクラウドにテーブルがある場合でも、単純な SQL 結合ステートメントと同じようにデータを取得できます。

読み込んでいます...