ルノーはいかにして BigQuery と Dataflow を活用した産業データ プラットフォームでスケーリングと費用面の課題を解決したか

※この投稿は米国時間 2021 年 8 月 27 日に、Google Cloud blog に投稿されたものの抄訳です。

フランスの多国籍自動車メーカーであるルノーグループは、早くからインダストリー 4.0 に投資しています。この変革の主な目的は、堅牢でスケーラブルなプラットフォームを通じて製造および産業設備のデータを活用するというものです。ルノーは自社の産業データ プラットフォームを構成する複数のビッグデータ プロダクトとサービスを最適化して利用し、産業データ取得レイヤを設計して Google Cloud にこれを接続しました。

本ブログでは、Google Cloud 上におけるそのデータ プラットフォームの進化について、そしてルノーが Google Cloud のプロフェッショナル サービスと共同で新たなアーキテクチャの設計と構築を行い、安全性と信頼性に優れているうえにスケーラブルで費用対効果が高いデータ管理プラットフォームを実現した方法について概説します。以下がその取り組みです。

すべてはルノーのデジタル トランスフォーメーションから始まった

ルノーグループは 1898 年に自動車製造を開始し、現在は 5 つのブランド、40 の製造拠点を持ち 17 万人の従業員を抱える国際的なグループになりました。2020 年には全世界で 300 万台近くの自動車を販売し、現在は世界中に持続可能なモビリティも供給しています。

ルノーはインダストリー 4.0 のムーブメントにおけるリーダーの一社で、効率を向上させ従来型の製造および産業の手法をモダナイズするために、2016 年にデジタル トランスフォーメーション計画を立ち上げました。このトランスフォーメーションの主な目標は、全世界で 40 に及ぶ拠点からの産業データを活用して、データに基づいたビジネス上の判断を促し新たな機会を創出するというものです。

条件に基づいたメンテナンス、完全なトラッキングとトレース、産業データのキャプチャ、AI プロジェクトといった複数の構想が個別に発展していました。2019 年、同社はインダストリー データ マネジメント 4.0（IDM 4.0）と名付けられたプログラムを開始しました。これは既存の構想と今後の構想のすべてを統合するためのものですが、とりわけ、ルノー全体の産業データを対象とする独自のデータプラットフォームとフレームワークを設計し構築することを目的としていました。

IDM 4.0 によって、最終的にルノーの製造、サプライ チェーン、生産エンジニアリング チームは、以下の複数の柱で示されるような単一の産業データ キャプチャおよびデータ参照プラットフォームに基づいてアナリティクス、AI、予測アプリケーションを速やかに開発することが可能になります。

製造およびサプライ チェーンに関するインダストリー 4.0 でのルノーのリーダーシップによって、そしてビッグデータ、アナリティクス、機械学習において Google が創立以来培ってきた専門知識によって、Google Cloud ソリューションはルノーの目指す方向と明らかに一致していました。

クラウドで IDM 4.0 を構築

IDM 4.0 以前、Renault Digital は、クラウド上のデータに関するアイデアを温める社内チームでした。さまざまな取り組みの結果、Google Cloud への移行によって、同チームはストレージ費用を 50% 以上削減できました。ビジネス上の主な要件はデータの信頼性、長期保存、偽造防止で、結果として同チームはデータ処理にはフルマネージドの Dataproc 上で Apache Spark を、メイン データベースには Spanner を使用しました。

IDM 4.0 プログラムは、最大限のパフォーマンスと信頼性を備えながらプラットフォームの費用対効果の高さを維持しつつ、スケーリングとさらに多くのビジネス ユースケースの展開を目指していました。この目標を実現するには、アーキテクチャの見直しが必要でした。ビジネス用途の費用予測がプロジェクト予算を上回り、さらなるビジネス調査が困難になるからです。

コアデータ プラットフォームの再設計を加速することが、ルノーと Google Cloud とのパートナーシップの柱の一つでした。Google Cloud の Professional Services Organization（PSO）は、要件への適合や課題解決、そして信頼性が高く費用面でも持続可能な方法で、40 工場分のデータのスケーリングに対応するために最適なアーキテクチャの定義をサポートしました。

データ キャプチャへの取り組みは複雑で、複数の要素が伴います。ルノーは基本的に、マシン間通信のためのオープンなプロトコルである OPC-UA を使用して設計された標準データモデルを利用して、独自のプロセスを構築しました。新しい Google Cloud のアーキテクチャでは、このデータモデルを BigQuery に実装しています。このデータモデルでは多くの書き込みが追記専用で、JOIN 演算をあまり行わなくても必要な情報を取得できます。常に最新状態を確保するため、BigQuery では Memorystore をキャッシュとして使用しています。このアーキテクチャによって、高パフォーマンスで費用効率の高い読み取りと書き込みが実現しました。

またこのチームは、Beam のフレームワークと Dataflow を使用した開発も始めました。Beam の使用は Spark と同様に容易で、かつ多くのメリットももたらしました。

• バッチおよびストリーミング処理向けの統合モデル: コーディングが比較的シンプルで、ニーズと費用の目標に応じてジョブの処理タイプを柔軟に選択できる

• Beam 周辺のエコシステムの発達: 利用可能なコネクタが多数（PubsubIO、BigQueryIO、JMSIO など）

• 運用が簡単: 効率的な自動スケーリング、スムーズな更新、きめ細かな費用追跡、容易なモニタリング、エンドツーエンドのテスト、エラー管理

それ以来 Dataflow は、同社プラットフォームにおけるデータ処理のほとんどのニーズに対応する頼りになるツールとなっています。ストリーミング データ処理では、サードパーティのメッセージング システムに加えて、Pub/Sub も自然な選択でした。また本チームは、Google Kubernetes Engine（GKE）、Cloud Composer、Memorystore といった Google Cloud マネージド サービスの高度な使用も継続しています。

新たなプラットフォームは、スケーラブルに構築されています。2021 年の第 1 四半期の時点で、IDM 4.0 チームはルノー社内のデータ取得ソリューションを介して 4,900 以上の産業用アプライアンスを接続し、1 日あたり 10 億を超えるメッセージを Google Cloud 上のプラットフォームに送信しています。

費用対効果の重視

新アーキテクチャへの移行が進行する中で、特に COVID-19（新型コロナウイルス感染症）のパンデミックおよびその世界経済への影響によって、費用最適化が決定における主要因となりました。

したがってルノーの管理チームと Google Cloud の PSO は、まだ移行していなかったプラットフォーム部分に関して、費用を最適化するために専任のチームを割り当てることに合意しました。

この専任チームにより、ある Apache Spark クラスタが継続的に Cloud Storage のクラス A と B のオペレーションを数十ミリ秒ごとに行っていたことがわかりました。これは、受信フローの大多数が毎時または毎日のバッチであることと一致しませんでした。Google が適用した 1 つの修正は、単にファイルシステムをポーリングする時間間隔、つまり Spark からの spark.sql.streaming.pollingDelay パラメータを増加することでした。後に私たちは Cloud Storage クラス A の呼び出しを 100 倍削減し、クラス B の呼び出しを著しく削減したことを確認しました。この結果として生産コストは 50% 削減しました。

ルノーは現在、Dataflow を利用して、製造工場や他の主な参照データベースからデータを取り込んで変換しています。BigQuery を使用して、パッケージや車両の追跡などの膨大なデータの保存と分析が行われ、さらに多くのデータソースが準備中です。

以下の図から、昨年の素晴らしい実績が見て取れます。

IDM 4.0 の新プラットフォームは数か月前に本番環境ワークロードの実行を開始したばかりです。ルノーは次の 2 年間には 10 倍以上の産業データが生じると予想し、費用、パフォーマンス、信頼性の最適化を維持するために役立てています。

新たな機会を広げ、データアクセスを民主化する

IDM 4.0 チームは、スケーラブルで信頼性と費用対効果が高いプラットフォームで、工場からの産業データの収集、結合と整合化に成功しました。また、データ サイエンティストやビジネスチーム、任意のアプリケーションに対して、制御された安全な方法でデータを公開しました。

本ブログでは、追跡から条件付きメンテナンスにわたるユースケースを概説しましたが、本プラットフォームは、データ利用を民主化してビジネスでのデータドリブンな決定をサポートするセルフサービス分析など、変革やビジネスへの影響に関する他の多くの可能性を広げることが可能です。

Google Cloud によるこのようなルノーのデータ変換は、ルノーの製造、プロセス エンジニアリング、サプライ チェーン プロセスを改善するインダストリー 4.0 の可能性を示しています。また、改善した結果に関するデータやクラウド プラットフォームの活用を期待する他の企業に、一例を提供しています。BigQuery の詳細については、こちらをクリックしてください。