データ分析

BigQuery Omni - マルチクラウドの分析でデータを活用

2020年7月15日

Google Cloud Japan Team

※この投稿は米国時間 2020 年 7 月 14 日に、Google Cloud blog に投稿されたものの抄訳です。

Google Cloud はこのたび、柔軟性の高いマルチクラウド分析ソリューションの BigQuery Omni をリリースいたします。これにより、使い慣れた BigQuery ユーザーインターフェース（UI）を離れることなく、Google Cloud、Amazon Web Services（AWS）や Azure（近日対応予定）にあるデータにコスト効率よくアクセスし、セキュアに分析することが可能になります。ユーザーは標準 SQL と、これまでと同じ BigQuery API を使用することで、データサイロの分析と重要なビジネスインサイトの取得を 1 つの画面からできるようになります。Anthos を活用する BigQuery Omni により、基盤となるインフラを管理することなくデータのクエリを実行できるようになります。

クラウド採用に関して最近実施された Gartner の調査では、パブリッククラウドを使用している回答者の 80% 以上が複数のクラウドサービスプロバイダ (CSP) を使用していることが明らかになりました。データは組織全体の意思決定における重要な要素である一方で、多くの場合、このデータは複数のパブリッククラウドに分散しています。BigQuery Omni は、私たちのマルチクラウドへの継続的なイノベーションと取り組みの一貫であり、データがどこに保存されていても、最高レベルの分析およびデータウェアハウステクノロジーを提供します。

BigQuery Omni の仕組み

クラウドプロバイダ間でデータを移動する費用は、多くのビジネスにとって持続可能なものではなく、クラウドをまたいで作業することは依然として困難です。BigQuery Omni は、複数のパブリッククラウドに保存されたデータを分析する新しい方法を提供します。これは BigQuery のコンピューティングとストレージの分離によって可能になりました。この 2 つを切り離すことで、BigQuery は、Google Cloud やその他のパブリッククラウドに存在できるスケーラブルなストレージと、標準 SQL クエリを実行するステートレスで復元性に優れたコンピューティングを提供します。しかし、これまで BigQuery を使用するには、Google Cloud にデータを移動またはコピーする必要がありました。

他社のサービスでは、データをあるパブリッククラウドから別のパブリッククラウドに移動したりコピーしたりしなければなりませんが、その際ネットワーク転送コストが発生する可能性があります。しかし、BigQuery Omni ではそのようなことはありません。Google Cloud 上のこれまでと同じ BigQuery のインターフェースで、Google Cloud や AWS、Azure に保存したデータを、クラウド間を移動したりコピーしたりすることなくクエリが可能となります。BigQuery Omni のクエリエンジンは、データが保管されているリージョンと同じリージョンのクラスタ上で必要な計算を実行します。たとえば、BigQuery を使用して、Google Cloud に保存されている Google アナリティクス 360 の広告データをクエリしたり、AWS S3 に保存されている e コマースプラットフォームとアプリからログデータをクエリしたりできます。さらに、Looker を活用することで、広告費に加えオーディエンスの行動や購買を可視化できるダッシュボードを作ることも可能です。

BigQuery は Google Cloud でフルマネージドで提供される Anthos クラスタ上で動作し、他のパブリッククラウド上でも安全にクエリを実行できます。ハイブリッド / マルチクラウドプラットフォームである Anthos は、複数のクラウド上で BigQuery のクエリエンジン (Dremel) を構築、デプロイ、管理することを可能にしました。BigQuery Omni を開発する際、私たちは一貫性があり統合された運用エクスペリエンスは、お客様をサポートするために不可欠であると確信していました。BigQuery Omni のアーキテクチャは次の通りです。

https://storage.googleapis.com/gweb-cloudblog-publish/images/bq_omni.max-800x800.jpg

BigQuery Omni を使用すると、次のようなことが可能になります。

サイロ化を解消し、データの分析情報を得る。柔軟性の高いマルチクラウド分析ソリューションで、クラウドをまたいだビジネスを促進します。分析のために他のパブリッククラウドから Google Cloud にデータを移動またはコピーする必要はありません。BigQuery の機能を活用し、クラウド間でデータのサイロ化を解消して分析作業ができます。

クラウド間で一貫性のあるデータエクスペリエンスを実現する。どこからでもデータセット全体で一貫した分析を行うことができます。標準 SQL と BigQuery の使い慣れたインターフェースを使用してクエリを記述し、データ全体のダッシュボードを構築します。質問に対する回答をすばやく取得し、単一のインターフェースから結果を共有できます。

Anthos の柔軟性を利用する。Anthos で提供されるフルマネージドインフラストラクチャを使用して、他のパブリッククラウドに対する分析を安全に行います。これにより、基盤となるインフラストラクチャについて心配することなく、データのクエリを実行できます。コンピューティングリソースはデータが保管されているリージョンと同じクラウドリージョンで実行されるため、完全にシームレスなデータ分析が可能になります。

BigQuery Omni の使い慣れたインターフェースではじめてみましょう

Google Cloud の BigQuery UI で、データが配置されているパブリッククラウドリージョンを選択し、クエリを実行します。データをフォーマットしたり変換したりする必要はありません。BigQuery Omni は Avro、CSV、JSON、ORC、Parquet をサポートしています。他のパブリッククラウドにある元データの移動やコピー、クラスタの管理、リソースのプロビジョニングも必要ありません。処理は、現在データがある AWS リージョンで実行されている BigQuery のマルチテナントサービス内で行われます。

https://storage.googleapis.com/gweb-cloudblog-publish/images/bq_omni_2.max-1200x1200.jpg

バックグラウンドでは、BigQuery マネージドサービス内の Anthos クラスタ上で BigQuery のクエリエンジンが実行されています。ユーザーが他のパブリッククラウドの IAM ロールを介して権限を承認すると、BigQuery はユーザーアカウント内のデータストレージからデータを取得します。クエリを実行するために、AWS 内でデータストレージから BigQuery クラスタにデータが一時的に移動されます。