Built with BigQuery: Leverege がビジネス クリティカルなエンタープライズ IoT ソリューションを大規模に提供する際に BigQuery がいかに役立つか

※この投稿は米国時間 2023 年 2 月 15 日に、Google Cloud blog に投稿されたものの抄訳です。

はじめに

Leverege は、世界中のマーケット リーダーが迅速かつ費用対効果の高いエンタープライズ IoT アプリケーションを構築し、データ中心の意思決定能力、オペレーションの最適化、カスタマー エクスペリエンスの向上、カスタマー バリューの提供、収益の増加を実現できるようにするソフトウェア企業です。Leverege の主要な SaaS 製品である Leverege IoT Stack は、Google Cloud 上でネイティブに動作し、Google の膨大な AI / ML プロダクトとシームレスに統合されます。

Leverege は、データと分析パイプラインの重要なコンポーネントとして BigQuery を使用し、革新的な IoT ソリューションを大規模に実現しています。BigQuery は、データ ウェアハウジング機能、すぐに使用できるデータ管理機能、リアルタイム分析、クロスクラウド データ統合、セキュリティおよびコンプライアンス基準など、IoT システムに理想的な基盤を提供します。これらの機能により、お客様はデータプロセスを簡単に統合できます。そして、得られたデータセットを使用してトレンドを特定し、業務へ分析情報を適用できます。

コンテキストと IoT 業界の背景

モノのインターネット（IoT）は、センサー、マシン、デバイスをインターネットに接続し、あらゆる業界の企業が、エッジおよびクラウドを含めて、物理的な世界からデジタルの世界へデータを移動できるようにするものです。企業は大規模な IoT ソリューションを採用することで、効率の向上、費用の削減、収益の増加、イノベーションの推進に必要なデータを取得できます。

IoT ソリューションの力とその世界経済への影響により、堅牢で安全なエンタープライズ データ ウェアハウス機能への需要が高まっています。大規模な技術要件の多くは事前に予測することができないため、IoT ではインフラストラクチャ レベルでの課題が顕著です。膨大な IoT データセットを管理する必要があるお客様もいれば、リアルタイムのデータ ストリーミングやきめ細かなアクセス制御を必要とするお客様もいます。

IoT 分野でのインフラストラクチャ要件は多岐にわたるため、Leverege は業界屈指のクラウド コンピューティング プロバイダである Google と提携するに至りました。技術面では、お客様のニーズに応え、スケールアップを実現するために、フル機能のデータ ウェアハウスが必要です。財務面では、エンドツーエンドのソリューションは、ソリューションの各コンポーネント（ハードウェア、接続性、インフラストラクチャ、ソフトウェア）を考慮し、全体的な費用を管理、削減するように設計する必要があります。

Google Cloud Platform と BigQuery のスケーラビリティと柔軟性を活用することで、Leverege のお客様は、数百万台ものコネクテッド デバイスからのデータを手ごろな費用で保存、処理、分析し、センサーデータから必要な価値を抽出できます。

Google Cloud を利用した Leverege の概要

Leverege は、組織が測定可能なビジネス上の価値をもたらす IoT ソリューションを迅速かつ簡単に構築、デプロイできるよう、カスタマイズ可能な多層 IoT スタックを提供します。Leverege IoT Stack は、次の 3 つのコンポーネントで構成されています。

• Leverege Connect は、デバイス管理に焦点を当てており、分散型 IoT デバイスの安全なプロビジョニング、接続、管理を可能にします。Leverege Connect は 2023 年 8 月に廃止される Google IoT Core の代替として機能し、MQTT、HTTP、UDP、CoAP などのプロトコルをサポートします。

• Leverege Architect はデータ管理に重点を置いており、AI / ML を適用して強力な分析情報を得る機能や、API 経由で外部サービスに公開する機能を備えています。それにより、デバイスやビジネスデータの取り込み、編成、コンテキスト化を可能にします。

• Leverege Build では、アプリケーション開発を最適化し、ロールごとにカスタマイズされたエクスペリエンスのエンドユーザー アプリケーションを生成、構成、ブランディングできます。さらに、これらをすべてノーコード ツールを使用して実行できます。

Leverege IoT Stack は、マイクロサービス群を管理するためのフルマネージド Kubernetes Service である Google Kubernetes Engine（GKE）でデプロイされます。Leverege では、フルマネージド サービスである Google Cloud Pub/Sub をデータ取り込み用のメッセージ ルーティングの主要手段として使用し、Google Firebase をリアルタイム データとユーザー インターフェースのホスティング用として使用しています。BigQuery は、データの長期保存、履歴のクエリと分析、リアルタイムの分析情報取得のために使用されています。

BigQuery の活用による IoT ソリューションの大規模な実現と管理

ユースケース #1: 世界最大手自動車卸売業者の車両オークションの自動化

世界有数の中古車市場であるこの企業は、最大 600 エーカーの駐車場で対面式とオンライン式での同時カー オークションを効率的に組織化して実施するという、費用のかさむ課題に直面していました。IoT ソリューションを導入する以前は、毎日数千台の車両を手作業でステージングしており、数百人もの人が見つけにくい情報をもとに特定の車両を探し出し、正確な順序で並べようとしていました。この手動によるプロセスは非常に非効率的で信頼性が低く、車両がオークションに出品されない、あるいは順番がずれるといったことが日常的にあったため、カスタマー エクスペリエンスに悪影響を及ぼしていました。

この問題を解決するために、このお客様は低コストでバッテリー寿命の長い GPS トラッカーを構築し、敷地内の全車両に設置しました。Leverege は、これらのデバイスを総合的なエンドツーエンド ソリューションに統合し、正確な車両位置、診断、自動クエリ、分析レポート、興味のある車両への徒歩ルート案内について、完全に認知、可視化できるようにしました。このデジタル トランスフォーメーションにより、このお客様は年間数百万ドルを節約し、同時に顧客満足度を大幅に向上させることができました。

ソリューションが全国規模に拡大した後は、デバイスとシステムの健全性をモニタリングすることが、運用の成功にとって最も重要でした。BigQuery のデータ パーティショニングと自律的な分析ジョブにより、非常に大規模なデータセットを使用してシステムのアラートと全体のシステム状態のレポートを管理、セグメント化するコスト効率の良い方法が可能になりました。

ユースケース #2: 世界のどこにいてもボートの状態と準備状況をリアルタイムで分析

世界最大のボートエンジン メーカーと連携し、Leverege は、ボート所有者と船体管理者が世界中のボートの状態、準備状況、位置情報に 24 時間 365 日リアルタイムでアクセスできる IoT ソリューションを実現しました。

ボート所有者にリアルタイムの船舶データをシームレスかつ確実に提供するには、ハードウェア、ソフトウェア、接続性などの技術的統合が必要であり、これは IoT ソリューションに特に適した課題でした。このお客様の「コネクテッド ボート」製品では、電気、機械、エンジンの各サブシステムのステータスを含む大量の異種データを報告します。このデータのなかには、インシデントや問題が発生してボート所有者が調査しなければならない場合にのみ、履歴的に重要になってくるものがあります。

BigQuery を使用すると、Leverege は低いストレージ コストで履歴データの全容を記録できますが、テーブル パーティショニングを使用することで、オンデマンドでデータの小さなセグメントにアクセスする場合にのみ料金を支払うだけで済みます。

これらの各例では、BigQuery を使用した履歴分析により、課題の特定や業務効率の向上が期待できます。また、一般公開データセットと限定公開データセットの両方を使用できます。これは、自動車卸売業者が特定の車両のデータを公開することはできても、データセット全体を公開することはできない（つまり、API クエリは不可）ということです。同様に、ボートのエンジン メーカーが、異なるエンドユーザーにデータのサブセットを提供することも可能です。

Leverege IoT Stack リファレンス アーキテクチャ: コンポーネントを統合し、堅牢でスケーラブルかつ安全なソリューションを実現

Leverege IoT Stack は、Google Cloud のインフラストラクチャ上に構築され、堅牢でスケーラブルかつ安全なソリューションを提供するために連携する、いくつかのコア コンポーネントを利用しています。これらのコンポーネントは次のとおりです。

• GKE: Leverege は GKE を使用して一連のマイクロサービスをデプロイし、エンドツーエンドの IoT ソリューションを簡単にスケーリングしています。これらのマイクロサービスは、デバイス管理、データの取り込み、リアルタイムのデータ処理などのタスクを処理します。さらに、GKE により、高度なビジネス継続性を確保し、自己修復とフォールト トレランスを実現することで、Leverege はエンタープライズ レベルの可用性と稼働時間を提供できます。これらの機能は、Leverege がサービスレベル契約で指定された要件を満たすために不可欠なものです。

• Pub/Sub: Leverege は、Pub/Sub を使用してデータ取り込みのためのメッセージのルーティングをオーケストレートし、お客様がほぼリアルタイムでデータを処理できるようにしています。これにより、高度に自動スケール可能でフォールト トレラントなメッセージ キューイング システムを実現しています。

• Firebase: Leverege はリアルタイム データと UI ホスティングに Firebase を使用し、応答性に優れたインタラクティブなユーザー エクスペリエンスをお客様に提供しています。Firebase を利用することで、お客様は IoT データに簡単にアクセスして可視化し、最小限の労力でアプリケーションを構築、スケーリングできます。

BigQuery: BigQuery が Leverege ソリューションの根幹となります。これにより、お客様は長期間のデータ保存や、SQL のような複雑な履歴クエリを実行できます。これらのクエリは大量のデータに対してリアルタイムで実行でき、業務効率の向上に役立つ実用的な分析情報をお客様に提供します。

ソリューション: BigQuery の主要機能を IoT ユースケースに活用

多くのテクノロジー企業が、ビジネス クリティカルな成果を実現するために BigQuery の特定の機能を幅広く活用しています。1 秒未満のレイテンシを要求するものや、適応性の高い ML モデルを必要とするものなど、そのユースケースはさまざまです。一方、企業における IoT のユースケースは、通常幅広い要件が含まれるため、BigQuery の主要機能をフルに活用することが求められます。たとえば、Leverege は次のような一連の BigQuery 機能を使用しています。

• データ ストレージ: BigQuery は無制限のストレージ プラットフォームとして機能し、Leverege のお客様はリアルタイム データや履歴データを含む大規模な IoT データを高可用性のもとに保存、管理できます。Leverege の統合デバイスによっては、1 日に何千回も報告できます。数百万ものデバイス規模で、Leverege のお客様はスケーラブルなデータ ウェアハウスを必要としているのです。

• リアルタイム ストリーミング: BigQuery は十分なストリーミング機能も備えており、Leverege IoT Stack は大量のデータをほぼリアルタイムで取り込んで処理できます。この機能は、履歴データを使用してすぐに利用できるチャートやグラフを提供する Leverage Build のコンポーネントにとって非常に重要です。これらのツールは、リアルタイムのデータを統合して利用することで、より価値を発揮します。ストリーミング機能により、お客様は Google Firebase を検索しなくても、簡単に全範囲のデータにアクセスできます。

• データ パーティショニング: BigQuery は、カスタマイズ可能なデータ パーティショニングにより、費用対効果の高い高速クエリを実現します。Leverege IoT Stack では、ほぼすべての履歴テーブルを取り込み時間ごとに分割します。ほとんどの内部履歴クエリは時間ベースであるため、大幅な費用削減につながります。

• データ暗号化: BigQuery にはデフォルトで保存データの暗号化が組み込まれており、お客様は機密データを安全に保管して不正なアクセスから保護できます。

• アクセス制御: BigQuery は、多数の安全なデータ共有機能を提供します。Leverege は、リンクされたデータセットと行レベルのポリシーを備えた承認済みビューを使用して、厳密なアクセス制御を実施しています。多くの IoT プロジェクトではマルチテナンシーとデータのサイロ化が許容されているため、これらのポリシーは非常に重要です。

• データ ガバナンス: BigQuery は、堅牢なデータ ガバナンスとセキュリティ機能を提供しています。これにはきめ細かいアクセス制御が含まれており、その機能を利用して Leverege は行レベルにまで複雑なアクセス制御ポリシーを適用しています。

BigQuery の主要機能に加えて、Leverege は BigQuery Analytics Hub の限定公開データ エクスチェンジを使用しており、データセットの承認済みビューは従来の方法（CSV エクスポートや FTP ドロップなど）に比べて明確な利点を提供します。Leverege の BigQuery データセットに対する承認済みビューでは、複雑なアクセス ポリシーを適用できます。また、Leverege のお客様は Looker などのツールを使用してデータを分析することもできます。これらの BigQuery の機能を使用することで、Leverege は、直接アクセスではなく、ソースデータへの制御された従量制のアクセスをお客様に提供できます。この機能は、企業全体のガバナンス要件を満たすために不可欠です。

また、BigQuery に組み込まれた機械学習機能により、データ内の傾向やパターンの高度な分析と予測が可能になり、データを外部システムに移動することなく、価値ある分析情報をお客様に提供できます。さらに、BigQuery では自動データ更新やマテリアライズド ビューを設定でき、パフォーマンスの向上と無駄な費用の削減が可能です。これにより、お客様は常に最新かつ正確なデータを使用できます。

メリットと成果

Google Cloud インフラストラクチャと BigQuery の機能により、Levere は高度にスケーラブルな IoT スタックを提供できます。IoT の主な課題は、小規模なソリューションをデプロイするのではなく、大規模でパフォーマンス性の高いソリューションやアプリケーションを、再構築することなく短期間でスケーリングしてデプロイ、管理することです。

BigQuery テーブルのパーティショニングは、データを任意の期間で分けられたミニテーブルに分割します。多くの Leverage のお客様では、データが日ごとに分割され、Leverege IoT Stack を介してデータをクエリする場合に適用されます。データテーブルの期間別のパーティショニングにより、クエリを対象の期間内に収まる小さなデータのサブセットに限定できます。パーティショニングを使用することで、Leverege は最小限の費用でパフォーマンスの高いソリューションを実現できます。

BigQuery のクラスタリングでは、データを指定されたフィールドに分割することで、さらにパフォーマンスを向上させることが可能です。クエリをより効率的にするために、Leverege はクラスタリングを使用して、事前に指定されたフィルタ条件を満たすデータに対してクエリを行います。10 万台のデバイスを扱う大規模ソリューションでは、Leverege はデータテーブルをクラスタリングして、単一のデバイスの履歴に対してクエリを実行することで検索を大幅に高速化し、システム パフォーマンスの大幅な向上を実現できます。さらに、再クラスタリングはバックグラウンドでシームレスに行われ、追加費用は発生しません。

Leverege IoT Stack と BigQuery を含む Google Cloud との統合により、現在、ビジネスに不可欠なエンタープライズ IoT ソリューションが大規模に強化されています。次世代の IoT ソリューションの実現には、インフラストラクチャとアプリケーション レベルでの継続的かつペースの速い開発が非常に重要になります。

Leverege の機能に関する詳細やデモのリクエストについては、こちらをクリックしてください。

ISV にとっての Built with BigQuery のメリット

Google は、Google Data Cloud Summit の一環として、4 月にリリースした Built with BigQuery のイニシアチブを通じて、Leverege のようなテック企業が Google のデータクラウド上で革新的なアプリケーションを構築できるよう、テクノロジーへのシンプルなアクセス、役に立つ専任のエンジニアリング サポート、共同市場開拓プログラムなどを提供しています。参加企業には以下のメリットがあります。

• Google が資金提供した事前構成済みのサンドボックスを使って、すぐに構築に着手できます。

• ISV センター オブ エクセレンスの専任エキスパートから、重要なユースケース、アーキテクチャ パターン、ベスト プラクティスについてのインサイトを得て、プロダクトの設計とアーキテクチャを加速できます。

• 共同マーケティング プログラムを利用して、認知度の向上、需要の創出、導入の拡大を図り、より大きな成功を実現できます。

BigQuery は、Google Cloud のオープンかつ安全でサステナブルなプラットフォームに統合された、パワフルでスケーラビリティの高いデータ ウェアハウスのメリットを ISV に提供します。Google が提供する巨大なパートナー エコシステムと、マルチクラウド、オープンソース ツール、API のサポートを利用すれば、テクノロジー企業は、データ ロックインを回避するために必要な移植性と拡張性を得ることができます。

Built with BigQuery の詳細については、こちらをクリックしてご確認ください。

^{このブログ投稿を共同で執筆してくれた Google Cloud と Leverege のチームメンバーに感謝します（Leverege: DevOps 責任者 Tony Lioon 氏、Google: ソリューション アーキテクト Sujit Khasnis、トランスフォーメーション テクニカル リード Adnan Fida）}

- Google、クラウド パートナー エンジニアリング担当ディレクター、Ali Arsanjani 博士