データ分析

BigQuery Omni が AWS と Azure で利用可能になり、クロスクラウド データ分析が実現

#da

※この投稿は米国時間 2021 年 10 月 27 日に、Google Cloud blog に投稿されたものの抄訳です。

2021 年は新しい現実が強く印象に残る年でした。現在、企業でのやりとりはオンラインが中心になっており、データおよび分析チームは組織の境界を越えて連携してデータをより深く理解する必要があります。業界調査によれば、組織の 90% がマルチクラウド戦略を採用しています。しかし、マルチクラウドは、データの統合、オーケストレーション、ガバナンスを複雑にするものです。クラウドをご利用のお客様は、エンタープライズ ソリューションをクラウドで構築、実行する傍らで、複数のクラウド プロバイダの分析を常に管理しています。こうしたクラウド プロバイダが意図せずに作成しているデータサイロが、データ アナリストの負担となっています。今月 Google は、マルチクラウド分析サービス BigQuery Omni の提供を発表しました。データチームはこれを使用して、クラウド全体のデータを安全かつ高い費用対効果で分析し、データサイロを解消できます。

Google Cloud、Amazon Web Services(AWS)、Microsoft Azure をまたぐクロスクラウド分析を 1 つの画面で実施できるようになるのは、今回が初めてです。BigQuery Omni は AWS のすべてのお客様と、Microsoft Azure の一部のお客様を対象に、第 4 四半期からご利用いただけるようになります。BigQuery Omni を使用すると、AWS の S3 データや、Azure の Azure Blob Storage データに安全に接続できます。データ アナリストは、使い慣れた BigQuery ユーザー インターフェースでデータを直接クエリでき、データのある場所で BigQuery の能力を活用できます。

BigQuery Omni はマルチクラウド環境でお客様が直面する新しい現実に次のように対処します。

  1. マルチクラウドは定着しつつある: 企業はクラウドを統合せずに、クラウドをまたいでデータスタックを拡大、急増させています。財務、戦略、ポリシー上の理由から、お客様は複数のクラウドにデータを置くことを必要としています。そのため、マルチクラウドのデータ プラットフォーム サポートは今では不可欠な機能になっています。

  2. マルチクラウド データ プラットフォームはクラウド全体で価値を提供する: プレビュー版を利用したお客様からは、革新的な分析を提供するにはクラウド全体で機能と統合を増やすことが重要であるとのご意見を多くいただきました。たとえば、お客様はプレーヤーと広告エンゲージメントのデータを結合して、キャンペーンの有効性を詳細に把握することを求めています。また、オンライン購入と店舗購入のデータを結合して、サプライ チェーンを最適化する方法を理解することを望んでいます。それ以外のシナリオとしては、在庫データと広告分析データを結合してマーケティング キャンペーンを推進する、サービスとサブスクリプションのデータを結合して企業の効率を理解するといったものがあります。データ アナリストには、シンプルかつ費用対効果の高い方法でクラウド間のデータを結合する機能が必要です。

  3. マルチクラウドはシームレスに機能する必要がある: すべてのデータストアを 1 つの画面でまとめて管理できれば、データ アナリストは新しいスキルを習得することなくビジネス効果を高める能力を伸ばすことが可能です。データの保存場所を心配する必要もありません。BigQuery Omni は BigQuery と同じ API を使用して構築されているので、データの保存場所(AWS、Azure、Google Cloud)が実装の詳細になります。

  4. 企業が拡大するには、一貫したセキュリティ パターンが不可欠である: 作成するデータアセットが増えるほど、適切なアクセスレベルの提供は困難になってくるものです。セキュリティ チームは、すべてのデータアクセスを可能な限り細かい粒度で制御することで、信頼とデータの同期を確保する必要があります。

  5. データ品質がイノベーションをもたらす: 完全なクロスクラウド スタックを構築しても、意思決定に必要となる適切なデータをエンドユーザーに提供できなければ価値がありません。複数のコピー、整合性のないデータ、古いデータはすべて、アナリストによる正しい判断を困難にします。また、高価なパイプラインを構築して維持するためのリソースをすべての組織が用意できるわけではありません。

BigQuery のお客様である Johnson & Johnson は、BigQuery Omni on AWS の先行ユーザーです。「BigQuery Omni は類似した他のアプリケーションに比べて非常に高速であることがわかりました。クエリ結果を他のクラウド ストレージに簡単に書き戻すことができ、マルチユーザー クエリや並列クエリでパフォーマンス上の問題が生じませんでした。BigQuery Omni は、SQL のようなクエリを使用してさまざまなクラウドに接続し、データにアクセスできる一括表示機能として使えると思いました」と、Johnson & Johnson のデータ エンジニアリング マネージャーおよびイネーブルメント マネージャーの Nitin Doeger 氏は述べています。

メディアとエンターテイメント業界の別の先行ユーザーは、複数のクラウド環境でデータをホストしており、そこに BigQuery Omni を使用してクロスクラウド分析を構築し、広告とゲーム内購入を相互に関連付けました。広告のクリック単価を下げながら、キャンペーンの費用を最適化して対象を絞った広告のカスタマイズを改善する必要があったこの企業では、AWS、Microsoft Azure、Google Cloud を使用するクラウド環境の間でキャンペーン データがサイロ化されていることが課題となっていました。さらに、すべての環境でデータが同期されておらず、データを移動すると複雑さ、リスク、コストが生じていました。BigQuery を使用したところ、データの同期を維持しながら S3 で CRM データを分析することができました。これにより、キャンペーン費用を最適化するマーケティング アトリビューション ソリューションが実現し、最終的にはキャンペーンの効率を改善しながら、コストを削減し、チーム間のデータ アクセシビリティを向上させることができました。

2022 年には、新しい機能としてクロスクラウド転送と承認された外部テーブルが追加され、データ アナリストは管理されたクロスクラウドのシナリオとワークフローをすべて BigQuery インターフェースから操作できるようになります。クロスクラウド転送は Google Cloud で分析を完了するために必要なデータの移動を可能にし、BigQuery ML、Looker、Dataflow の独自の機能を活用して分析情報を見つけやすくします。承認された外部テーブルは、データの行レベルと列レベルのセキュリティを備えた一貫性のある詳細なガバナンスを提供します。このような機能を組み合わせれば、すべての分析ニーズに合わせてクラウド全体にシンプルかつ安全にアクセスできるようになります。マルチクラウドのデータ アナリストやデータ サイエンティストに関連する機能の簡単なデモを以下に示します。

BigQuery Omni.jpg

BigQuery Omni は簡単に使用を開始できます。データストアへの接続を作成し、既存のデータがどこにあろうとクエリの実行を開始するだけです。詳しくは、Next '21 のマルチクラウド セッションをご覧ください。

BigQuery Omni は、クロスクラウド分析を可能にします。Google Cloud は今後の展開に期待しており、お客様からクロスクラウド データ分析のシナリオについて伺うことを楽しみにしています。Google Cloud コミュニティに質問をお寄せください。ご連絡をお待ちしております。

- プロダクト マネージャー Joe Malone

- プロダクト マネージャー Vidya Shanmugam