データ分析

BigQuery Omni が AWS と Azure で利用可能になり、クロスクラウドデータ分析が実現

2021年11月2日

Google Cloud Japan Team

Google Cloud を試す

$300 分の無料クレジットと 20 以上の無料プロダクトがある Google Cloud で構築を始めよう

※この投稿は米国時間 2021 年 10 月 27 日に、Google Cloud blog に投稿されたものの抄訳です。

2021 年は新しい現実が強く印象に残る年でした。現在、企業でのやりとりはオンラインが中心になっており、データおよび分析チームは組織の境界を越えて連携してデータをより深く理解する必要があります。業界調査によれば、組織の 90% がマルチクラウド戦略を採用しています。しかし、マルチクラウドは、データの統合、オーケストレーション、ガバナンスを複雑にするものです。クラウドをご利用のお客様は、エンタープライズソリューションをクラウドで構築、実行する傍らで、複数のクラウドプロバイダの分析を常に管理しています。こうしたクラウドプロバイダが意図せずに作成しているデータサイロが、データアナリストの負担となっています。今月 Google は、マルチクラウド分析サービス BigQuery Omni の提供を発表しました。データチームはこれを使用して、クラウド全体のデータを安全かつ高い費用対効果で分析し、データサイロを解消できます。

Google Cloud、Amazon Web Services（AWS）、Microsoft Azure をまたぐクロスクラウド分析を 1 つの画面で実施できるようになるのは、今回が初めてです。BigQuery Omni は AWS のすべてのお客様と、Microsoft Azure の一部のお客様を対象に、第 4 四半期からご利用いただけるようになります。BigQuery Omni を使用すると、AWS の S3 データや、Azure の Azure Blob Storage データに安全に接続できます。データアナリストは、使い慣れた BigQuery ユーザーインターフェースでデータを直接クエリでき、データのある場所で BigQuery の能力を活用できます。

BigQuery Omni はマルチクラウド環境でお客様が直面する新しい現実に次のように対処します。

マルチクラウドは定着しつつある: 企業はクラウドを統合せずに、クラウドをまたいでデータスタックを拡大、急増させています。財務、戦略、ポリシー上の理由から、お客様は複数のクラウドにデータを置くことを必要としています。そのため、マルチクラウドのデータプラットフォームサポートは今では不可欠な機能になっています。
マルチクラウドデータプラットフォームはクラウド全体で価値を提供する: プレビュー版を利用したお客様からは、革新的な分析を提供するにはクラウド全体で機能と統合を増やすことが重要であるとのご意見を多くいただきました。たとえば、お客様はプレーヤーと広告エンゲージメントのデータを結合して、キャンペーンの有効性を詳細に把握することを求めています。また、オンライン購入と店舗購入のデータを結合して、サプライチェーンを最適化する方法を理解することを望んでいます。それ以外のシナリオとしては、在庫データと広告分析データを結合してマーケティングキャンペーンを推進する、サービスとサブスクリプションのデータを結合して企業の効率を理解するといったものがあります。データアナリストには、シンプルかつ費用対効果の高い方法でクラウド間のデータを結合する機能が必要です。
マルチクラウドはシームレスに機能する必要がある: すべてのデータストアを 1 つの画面でまとめて管理できれば、データアナリストは新しいスキルを習得することなくビジネス効果を高める能力を伸ばすことが可能です。データの保存場所を心配する必要もありません。BigQuery Omni は BigQuery と同じ API を使用して構築されているので、データの保存場所（AWS、Azure、Google Cloud）が実装の詳細になります。
企業が拡大するには、一貫したセキュリティパターンが不可欠である: 作成するデータアセットが増えるほど、適切なアクセスレベルの提供は困難になってくるものです。セキュリティチームは、すべてのデータアクセスを可能な限り細かい粒度で制御することで、信頼とデータの同期を確保する必要があります。
データ品質がイノベーションをもたらす: 完全なクロスクラウドスタックを構築しても、意思決定に必要となる適切なデータをエンドユーザーに提供できなければ価値がありません。複数のコピー、整合性のないデータ、古いデータはすべて、アナリストによる正しい判断を困難にします。また、高価なパイプラインを構築して維持するためのリソースをすべての組織が用意できるわけではありません。

BigQuery のお客様である Johnson & Johnson は、BigQuery Omni on AWS の先行ユーザーです。「BigQuery Omni は類似した他のアプリケーションに比べて非常に高速であることがわかりました。クエリ結果を他のクラウドストレージに簡単に書き戻すことができ、マルチユーザークエリや並列クエリでパフォーマンス上の問題が生じませんでした。BigQuery Omni は、SQL のようなクエリを使用してさまざまなクラウドに接続し、データにアクセスできる一括表示機能として使えると思いました」と、Johnson & Johnson のデータエンジニアリングマネージャーおよびイネーブルメントマネージャーの Nitin Doeger 氏は述べています。

メディアとエンターテイメント業界の別の先行ユーザーは、複数のクラウド環境でデータをホストしており、そこに BigQuery Omni を使用してクロスクラウド分析を構築し、広告とゲーム内購入を相互に関連付けました。広告のクリック単価を下げながら、キャンペーンの費用を最適化して対象を絞った広告のカスタマイズを改善する必要があったこの企業では、AWS、Microsoft Azure、Google Cloud を使用するクラウド環境の間でキャンペーンデータがサイロ化されていることが課題となっていました。さらに、すべての環境でデータが同期されておらず、データを移動すると複雑さ、リスク、コストが生じていました。BigQuery を使用したところ、データの同期を維持しながら S3 で CRM データを分析することができました。これにより、キャンペーン費用を最適化するマーケティングアトリビューションソリューションが実現し、最終的にはキャンペーンの効率を改善しながら、コストを削減し、チーム間のデータアクセシビリティを向上させることができました。

2022 年には、新しい機能としてクロスクラウド転送と承認された外部テーブルが追加され、データアナリストは管理されたクロスクラウドのシナリオとワークフローをすべて BigQuery インターフェースから操作できるようになります。クロスクラウド転送は Google Cloud で分析を完了するために必要なデータの移動を可能にし、BigQuery ML、Looker、Dataflow の独自の機能を活用して分析情報を見つけやすくします。承認された外部テーブルは、データの行レベルと列レベルのセキュリティを備えた一貫性のある詳細なガバナンスを提供します。このような機能を組み合わせれば、すべての分析ニーズに合わせてクラウド全体にシンプルかつ安全にアクセスできるようになります。マルチクラウドのデータアナリストやデータサイエンティストに関連する機能の簡単なデモを以下に示します。