データ分析

RealTruck が Masthead と BigQuery を使用してデータの信頼性とビジネスの成長を促進する方法

2024年3月29日

Google Cloud Japan Team

※この投稿は米国時間 2024 年 3 月 21 日に、Google Cloud blog に投稿されたものの抄訳です。

今日、組織が直面している課題の一つは、収集したデータの可能性を引き出すことです。そのためには、さまざまなビジネスドメインの複雑なデータフローとアクセスを効率的に管理、制御、調整できる優れたデータプラットフォームに投資する必要があります。

トラックとオフロード車のアフターマーケットアクセサリーにおけるリーダーである RealTruck は、12,000 以上のディーラーと RealTruck.com での堅牢なオンラインプレゼンスをうまく統合したオムニチャネルアプローチで際立った存在です。北米の 47 の拠点で業務を行う同社は当初、その広範なオフラインネットワークと多様な顧客タッチポイントのために、データに関する大きな課題に直面していました。このような複雑さに対処するため、RealTruck のデータチームは、経営幹部や組織内の各マネージャーにとって信頼できる情報源となり、ビジネスの意思決定をサポートするデータを提供できるデータプラットフォームを開発することにしました。目標は、収集されたすべてのアセットを可視化して管理し、データフローをモニタリングし、コストを管理し、データプラットフォームの高い信頼性を確保することでした。

RealTruck のデータチームは、その高いセキュリティ基準、スケーラビリティ、使いやすさから、データプラットフォームの中心的要素として BigQuery を選択しました。サーバーレスデータプラットフォームである BigQuery を使用することで、チームはインフラストラクチャの管理よりも戦略的な分析とそこから得られるインサイトに注力できるようになったため、大量のデータを扱う効率が向上しました。

RealTruck のデータは、メーカー、ディーラー、マーケティングキャンペーン、ウェブやアプリでのお客様とのやり取りや販売取引など、さまざまなソースから収集されます。このデータは、同社のデータパイプラインと同様に、フォーマット、構造、ケイデンスが異なります。外部データソースの多様性と数は、メンテナンス上の大きな課題と運用の複雑さをもたらします。

RealTruck は Masthead Data も追加しました。Masthead Data は Google Cloud Ready - BigQuery 認定を受けているパートナーで、同社のデータチームがビジネスユーザーやデータ利用者に影響を与えるパイプラインやデータの問題を特定するのに役立ちます。BigQuery と統合するパートナーを選定するにあたって RealTruck が必要としたのは、ダウンタイムにつながりかねない、そのデータプラットフォームの構築に使用した他のソリューションのエラーをモニタリングする機能でした。これには、Cloud Storage、BigQuery Data Transfer Service、Dataform やその他の Google Cloud サービスも含まれていました。

BigQuery と Masthead を組み合わせることで、RealTruck のデータチームは、会社のデータの精度を確実にし、データパイプラインのパフォーマンスに関する疑念を解決するという、2 つの大きな取り組みを実現しました。

データプラットフォームの複雑さを克服する: 可視化、コスト効率、異常検出

RealTruck が BigQuery を使ってデータプラットフォームの構築を開始した際、データチームは、解決すべき複雑さに関する次のような問題がまだ残っていることに気づきました。

パイプライン パフォーマンスの可視性の不足: さまざまなソリューションを使用して多数のソースからプラットフォームにデータを取り込むため、パイプラインの障害やデータシステムのエラーを追跡することが難しくなっていました。これにより、RealTruck の信頼性の高いデータの維持が妨げられました。
コスト管理: BigQuery によって、データチームは分散型データプラットフォームを開発できるようになり、データパイプラインとアセットを作成するアジリティが向上しました。しかし、このアプローチではそのスケーラブルな処理能力を考慮すると、費用対効果を確保するためにリソースのより精緻な管理が必要となります。効率性を維持するために、チームは各プロセスとそれに関連する費用のきめ細かな可視化を求めました。
データ プラットフォームでの異常検出: BigQuery のテーブルはデータプロダクトのソースとして定期的に使用されるため、更新頻度、ボリュームの急増、欠落値などの問題を注意深くモニタリングする必要があります。外れ値や予期しない動作を自動的に特定する機能は、ビジネスユーザーの間でデータプラットフォームに対する信頼を構築するための鍵となります。

Masthead と BigQuery: RealTruck のデータプラットフォームの信頼性を確立する

こうした課題を克服するために、RealTruck は Masthead Data を実装し、データプラットフォーム内の BigQuery データパイプラインとアセットの信頼性を強化しました。

Masthead は、さまざまな取り込みツールの使用によって引き起こされる潜在的な構文エラーやシステムの問題の可視性を向上させました。オブザーバビリティを自動化することで、RealTruck はパイプラインやデータ環境の問題をリアルタイムで検出できるようになったため、チームはダウンストリームのデータプロダクトやプラットフォームユーザーに影響が及ぶ前に対処できるようになりました。

たとえば、Masthead はリアルタイムのアラート、堅牢な列レベルのリネージ、データディクショナリ機能を提供し、データプラットフォームのダウンタイムのトラブルシューティングを数分以内に行うことができます。その結果、RealTruck のデータチームは、エラーや異常値を追跡し、パイプラインや BigQuery テーブルへの影響を完全に評価することができました。また、列レベルのリネージによって、チームで迅速に対応しやすくなり、問題を解決する際により効率的に共同作業ができるようになりました。

さらに、ログを使用して時系列テーブルの更新頻度、ボリューム、スキーマ変更をモニタリングする Masthead 独自のアプローチにより、RealTruck はコンピューティング費用を増加させることなく、すべての BigQuery テーブルの健全性を包括的に把握できるようになりました。Masthead は Google Dataplex とも統合しており、RealTruck チームはルールベースのデータ品質チェックを実装し、指標のあらゆる異常値を検知できます。

RealTruck はまた、Masthead による BigQuery 向けのコンピューティング費用分析情報を活用し、BigQuery のストレージとパイプラインの費用、データプラットフォームで使用されているサードパーティソリューションのきめ細かい可視化を実現しました。これらの機能により、データチームは孤立したプロセスや期限切れのアセットの特定とクリーンアップを行うことができるため、データプラットフォームのコストは明瞭かつ管理しやすくなりました。

「RealTruck が Masthead を選んだ主な理由の一つは、当社のデータにアクセスしない独自のアーキテクチャでした。これは、特に当社の意欲的なグローバル成長計画や、世界的に複雑化するデータプライバシーに関する規則を考慮して、選択の決め手となりました。Masthead は、Google Cloud BigQuery を補完する Google Cloud パートナーとしてアーキテクチャレベルでデータプライバシーやセキュリティの規制を遵守しており、データの安全性を確実に維持するため、当社の戦略的目標に完全に合致しています。

セットアップはわずか 15 分で完了し、数時間で価値を提供し始めたノーコードインテグレーションによって、当社のすべての BigQuery データパイプラインとテーブルの包括的なオブザーバビリティを達成するという革新的なものでした。これにより、RealTruck チームはパイプラインのコストに関する貴重なインサイトを得ることができ、データはデータプラットフォーム全体に迅速にフローしたため、データドリブンな取り組みの信頼性と戦略的価値が強化されました。」– RealTruck、BI および分析担当ディレクター Chris Wall 氏

Google Cloud は、RealTruck のデータインフラストラクチャのバックボーンとなり、必要最小限の構成で効率的なデータガバナンスと管理を提供します。BigQuery は、Google Cloud による世界クラスのデフォルト暗号化機能と洗練されたユーザーアクセス管理機能を提供しており、RealTruck はデータの安全性を把握しながら、安心してデータを配布、保存、処理を行うことができます。

ログとメタデータを処理する Masthead のアプローチは、セキュリティとプライバシーに対する Google Cloud のアプローチともうまく合致しており、RealTruck のデータ環境全体のパイプラインとデータの健全性を 1 か所にまとめて表示できます。この全体像によって、データチームは場当たり的なソリューションからデータプラットフォームに対する戦略的改善へと移行できるようになりました。このような視点の強化は、ビジネスユーザーに信頼されるデータプラットフォームの構築に不可欠なものとなっており、RealTruck はデータエラーに効率的に対処し、コストを管理できます。BigQuery を Masthead と組み合わせて効率的に使用することで、見逃していた問題がビジネス運営に影響を及ぼすリスクを大幅に低減し、意思決定におけるデータをより重要視できます。

Masthead Data の BigQuery での使用に関心をお持ちの場合は、Google Cloud Partners ディレクトリまたは Masthead Data がマーケットプレイスで提供しているサービスをご覧ください。また、Google Cloud Ready パートナーの詳細をご確認いただくには、Google Cloud Ready - BigQuery もご活用ください。