データ分析

BigQuery Omni - マルチクラウド の分析でデータを活用

GCP Data Analytics.jpg

※この投稿は米国時間 2020 年 7  月 14 日に、Google Cloud blog に投稿されたものの抄訳です。

Google Cloud はこのたび、柔軟性の高いマルチクラウド分析ソリューションの BigQuery Omni をリリースいたします。これにより、使い慣れた BigQuery ユーザー インターフェース(UI)を離れることなく、Google Cloud、Amazon Web Services(AWS)や Azure(近日対応予定)にあるデータにコスト効率よくアクセスし、セキュアに分析することが可能になります。ユーザーは標準 SQL と、これまでと同じ BigQuery API を使用することで、データサイロの分析と重要なビジネスインサイトの取得を 1 つの画面からできるようになります。Anthos を活用する BigQuery Omni により、基盤となるインフラを管理することなくデータのクエリを実行できるようになります。

クラウド採用に関して最近実施された Gartner の調査では、パブリッククラウドを使用している回答者の 80% 以上が複数のクラウドサービスプロバイダ (CSP) を使用していることが明らかになりました。データは組織全体の意思決定における重要な要素である一方で、多くの場合、このデータは複数のパブリッククラウドに分散しています。BigQuery Omni は、私たちのマルチクラウドへの継続的なイノベーションと取り組みの一貫であり、データがどこに保存されていても、最高レベルの分析およびデータ ウェアハウス テクノロジーを提供します。

BigQuery Omni の仕組み

クラウド プロバイダ間でデータを移動する費用は、多くのビジネスにとって持続可能なものではなく、クラウドをまたいで作業することは依然として困難です。BigQuery Omni は、複数のパブリッククラウドに保存されたデータを分析する新しい方法を提供します。これは BigQuery のコンピューティングとストレージの分離によって可能になりました。この 2 つを切り離すことで、BigQuery は、Google Cloud やその他のパブリック クラウドに存在できるスケーラブルなストレージと、標準 SQL クエリを実行するステートレスで復元性に優れたコンピューティングを提供します。しかし、これまで BigQuery を使用するには、Google Cloud にデータを移動またはコピーする必要がありました。

他社のサービスでは、データをあるパブリッククラウドから別のパブリッククラウドに移動したりコピーしたりしなければなりませんが、その際ネットワーク転送コストが発生する可能性があります。しかし、BigQuery Omni ではそのようなことはありません。Google Cloud 上のこれまでと同じ BigQuery のインターフェースで、Google Cloud や AWS、Azure に保存したデータを、クラウド間を移動したりコピーしたりすることなくクエリが可能となります。BigQuery Omni のクエリエンジンは、データが保管されているリージョンと同じリージョンのクラスタ上で必要な計算を実行します。たとえば、BigQuery を使用して、Google Cloud に保存されている Google アナリティクス 360 の広告データをクエリしたり、AWS S3 に保存されている e コマース プラットフォームとアプリからログデータをクエリしたりできます。さらに、Looker を活用することで、広告費に加えオーディエンスの行動や購買を可視化できるダッシュボードを作ることも可能です。

BigQuery は Google Cloud でフルマネージドで提供される Anthos クラスタ上で動作し、他のパブリッククラウド上でも安全にクエリを実行できます。ハイブリッド / マルチクラウド プラットフォームである Anthos は、複数のクラウド上で BigQuery のクエリエンジン (Dremel) を構築、デプロイ、管理することを可能にしました。BigQuery Omni を開発する際、私たちは一貫性があり統合された運用エクスペリエンスは、お客様をサポートするために不可欠であると確信していました。BigQuery Omni のアーキテクチャは次の通りです。

bq omni.jpg

BigQuery Omni を使用すると、次のようなことが可能になります。

サイロ化を解消し、データの分析情報を得る。柔軟性の高いマルチクラウド分析ソリューションで、クラウドをまたいだビジネスを促進します。分析のために他のパブリック クラウドから Google Cloud にデータを移動またはコピーする必要はありません。BigQuery の機能を活用し、クラウド間でデータのサイロ化を解消して分析作業ができます。

クラウド間で一貫性のあるデータ エクスペリエンスを実現する。どこからでもデータセット全体で一貫した分析を行うことができます。標準 SQL と BigQuery の使い慣れたインターフェースを使用してクエリを記述し、データ全体のダッシュボードを構築します。質問に対する回答をすばやく取得し、単一のインターフェースから結果を共有できます。

 Anthos の柔軟性を利用する。Anthos で提供されるフルマネージド インフラストラクチャを使用して、他のパブリック クラウドに対する分析を安全に行います。これにより、基盤となるインフラストラクチャについて心配することなく、データのクエリを実行できます。コンピューティング リソースはデータが保管されているリージョンと同じクラウド リージョンで実行されるため、完全にシームレスなデータ分析が可能になります。

BigQuery Omni の使い慣れたインターフェースではじめてみましょう

Google Cloud の BigQuery UI で、データが配置されているパブリック クラウド リージョンを選択し、クエリを実行します。データをフォーマットしたり変換したりする必要はありません。BigQuery Omni は Avro、CSV、JSON、ORC、Parquet をサポートしています。他のパブリック クラウドにある元データの移動やコピー、クラスタの管理、リソースのプロビジョニングも必要ありません。処理は、現在データがある AWS リージョンで実行されている BigQuery のマルチテナント サービス内で行われます。

bq omni 2.jpg

バックグラウンドでは、BigQuery マネージド サービス内の Anthos クラスタ上で BigQuery のクエリエンジンが実行されています。ユーザーが他のパブリック クラウドの IAM ロールを介して権限を承認すると、BigQuery はユーザー アカウント内のデータ ストレージからデータを取得します。クエリを実行するために、AWS 内でデータ ストレージから BigQuery クラスタにデータが一時的に移動されます。

bq omni 3.jpg

ユーザーは、クエリ結果を Google Cloud に返して BigQuery UI に表示できます。

bq omni 4.jpg

または、クエリ結果やデータをクラウド間で移動することなく、結果をデータ ストレージに直接エクスポートすることも可能です。

bq omni 5.jpg

BigQuery Omni は現在、限定公開アルファ版でリリースされています。お試しになる場合は、こちらのフォームにご入力ください。また、8 月に開催される Next OnAir のセッション「マルチクラウド環境における分析」にもぜひご参加ください。

- データ分析部門ゼネラル マネージャー Debanjan Saha