BigQuery BI Engine の新機能: 一般的な BI ツールで分析情報を迅速に取得

※この投稿は米国時間 2021 年 2 月 26 日に、Google Cloud blog に投稿されたものの抄訳です。

ますます巨大化するデータセットを扱うビジネス アナリストは、従来の BI 手法では彼らが求めるスピードに対応できないと感じ始めています。BigQuery BI Engine はこのニーズを満たすために設計されており、BigQuery に接続された人気の高いダッシュボードやレポート機能を高速化することでこれを実現しています。鮮度の高いデータを利用できるため、アナリストはトレンドを迅速に特定してリスクを軽減し、顧客の要求に追従して、さらには絶えず変化するビジネス環境における運用効率を高めることができます。

本日、Google が BigQuery BI Engine を拡張し、1 秒未満のクエリ レスポンスが求められる BI アプリケーションやカスタム ダッシュボード アプリケーションと連携していくことをここに発表いたします。この機能のプレビュー版は、Looker や、Tableau や Power BI などの人気の BI ツールとシームレスに連携します。BI ツールに変更を加える必要はありません。

Sunrun のエンジニアリングおよびアナリティクス担当ディレクターである Harish Ramachandraiah 氏は、次のように述べています。「当社のビジネス ユーザーはデータを渇望しており、当社のチームに大きな期待を寄せています。BigQuery と Looker に対応した BI Engine が使えるようになり、すぐに試してみたところ、ビジネスで期待されるスピードにパフォーマンスが追いつくようになり、ダッシュボードの読み込み時間を大幅に改善できました。」

マーケティング、セールス、オペレーションを担当するビジネス ユーザーは、この高速メモリ内分析サービスを活用し、Looker やデータポータルで大量の複雑なデータセットをインタラクティブに分析できます。

「また、開発チームも恩恵を得ることができました。複雑なポスト ETL 変換やデータ パイプラインなどを管理せずに、シンプルなアーキテクチャで迅速に開始できます。パフォーマンスは 40% 改善されました。今では、1,000 人以上のユーザーが Looker やデータポータルを使用して毎日データに触れています。BI Engine はデータ エクスペリエンスの改善、時間の節約、当社のデータ文化に良い影響を与える非常に有効な手段でした。」と、Sunrun で BI チームのアーキテクトを務める Kiran Manne 氏は述べています。

BI Engine は現在、BigQuery API とネイティブに統合されています。JDBC / ODBC 経由で BigQuery API に接続された BI ツールやカスタム アプリケーションのユーザーは、GCP プロジェクトでBI Engine の容量を予約してメモリのサイズを指定することで、BI Engine の利点を活用できるようになりました。

アーキテクチャの観点では、BI Engine を改良して分散型メモリ内実行エンジンを搭載し、常に高速なエクスペリエンスを実現できるようにしました。BI Engine は、ベクトル化された処理、高度なデータ エンコーディング、アダプティブ キャッシング、メモリ内実行用に調整されたクエリプランなど、最新の手法を利用しています。クエリが予約のサイズを超過した場合、BI Engine は BigQuery スロットを使用して混合モード オペレーションにシームレスに移行します。

パートナーの BI ソリューションを介して BigQuery データに接続しているお客様であれば、すぐに BI Engine の恩恵を得ることができます。

Tableau Software の最高製品責任者である Francois Ajenstat 氏は、次のように述べています。「企業がデータを活用する場合、スピード、アジリティ、エンパワーメントが競争上の優位性を得るうえで重要になります。Tableau の使いやすさや柔軟性と、Google の BigQuery BI Engine の機能、スケールを組み合わせれば、より多くの人々のためにデータの力を迅速に解放できるようになります。」

「私たちの堅固なコミュニティの中には、世界で特に先進的な企業が含まれており、彼らは、フレキシブルで、イノベーションの速度が速く、ビジネス インテリジェンスへのアプローチが先鋭的なオープンソースを重視しています。この新しい機能では、クエリデータが常に高速で、新鮮であることを保証できるため、多いに役立っています。」 - Preset CEO で、Apache Superset と Apache Airflow の最初の作成者でもある Maxime Beauchemin 氏

BigQuery BI Engine の利点:

• きわめて高速: 分析情報の取得にかかる時間を短縮して、ビジネスのスピードに追従できるパフォーマンスを実現
  今日、規範的なオペレーショナル ビジネス インテリジェンスを使用して、データドリブンの方法でビジネスを動かすために十分な速度でレポートを実行することは困難です。また、動作が遅いダッシュボードや古いデータもチームにとっての悩みの種です。BI Engine は、読み込み時間を最小限に抑え、BigQuery に保存されているデータの同時実行性を向上させることで、1 秒未満のクエリ応答時間を実現します。BI Engine を使用する多くのお客様が、クエリ パフォーマンスの大幅な改善を達成しています。プレビュー版では、集計、フィルタリング、グループ条件、スター結合のクエリパターン用に最適化されています。サポートされる機能と演算子の全一覧については、こちらをご覧ください。

• シンプルなアーキテクチャ: 複雑なデータ パイプラインやサーバーを管理せずに、迅速に開始
  従来の BI システムでは、高速なインタラクティブ分析を実現するために、データ ウェアハウジング プラットフォームからデータマートや BI プラットフォームにデータを移行する必要があります。このような場合は通常、データ移行用の複雑な ETL パイプラインが必要になります。これらの ETL ジョブに時間が割かれると、レポート作成が遅れ、重要な意思決定支援システムで使用するデータの鮮度が損なわれかねません。BI Engine は、BigQuery 内でインプレース分析を実行するため、データを移動する必要や、複雑なデータ変換パイプラインを作成する必要がなくなります。

• スマートなチューニング: 構成設定がきわめて簡単
  BI Engine の自己調整設計は、BI Engine のメモリ内ストレージと BigQuery ストレージ間でデータを移動することで、クエリを自動的にチューニングし、ダッシュボードのパフォーマンスと読み込み時間を最適化します。BigQuery の管理者は Cloud Console を使用して、BI Engine のメモリ容量を 1 GB 単位で簡単に増減させることができます。

プレビュー版の BI Engine は、許可リスト登録プロセスを行うことで利用できるようになります。プレビュー版の登録フォームから、プロジェクトの詳細を記載してお申し込みください。プレビュー期間の最初の 10 週間は、登録済みプロジェクトでの BI Engine の使用に費用は発生しません。プレビュー版の無料期間は本日から始まり、10 週間後の 2021 年 5 月 6 日の午後 11 時 59 分に終了します。その日を過ぎると、通常の BI Engine の予約費用が請求されます。詳しくは、こちらのリンクをご覧ください。質問、コメント、フィードバックがある場合は、こちらの Google グループに参加して質問を投稿してください。このプレビュー版では、BI Engine の容量が Google Cloud プロジェクトごとに最大 100 GB までに制限されますが、予約容量の引き上げをリクエストすることが可能です。

BI Engine プレビュー版の詳細

BI Engine の内部アーキテクチャの詳細、Looker や Tableau でのデモについては、Next ‘20 OnAir でのトークをご覧いただくか、3 月に開催される「Delivering fast and fresh data experiences with BigQuery BI Engine & Looker」（BigQuery BI Engine と Looker で迅速かつ鮮度の高いデータ エクスペリエンスを実現）にご登録のうえご確認ください。クイックスタート、ベスト プラクティス、入門ガイドについては、これまでと同様にドキュメントをご覧ください。

-プロダクト マネージャー Vinay Balasubramaniam