Comment Renault a résolu les problèmes de montée en charge et de coûts de sa plateforme data industrielle avec BigQuery et Dataflow

« Les premiers déploiements pour gérer des cas d’usage tels que la traçabilité et l’optimisation de l’efficacité opérationnelle nous ont confortés dans notre choix : c’était la bonne solution pour collecter les données industrielles et opérationnelles. Nous avons donc étendu son usage car nous avions besoin d’une plateforme globale reposant sur des technologies avancées pour contextualiser, traiter et héberger toutes nos données. Pour couvrir l’ensemble de nos besoins et favoriser un meilleur usage des données dans toutes nos activités, cette plateforme devait non seulement être évolutive et fiable mais également abordable d’un point de vue financier. En nouant un partenariat avec Google Cloud dès 2020, nous avons pu atteindre tous ces objectifs ».
Jean-Marc Chatelanaz - Directeur Industry Data Management 4.0, Renault

Multinationale française spécialisée dans la construction automobile, Renault a investi très tôt dans l’industrie 4.0. La transformation devait notamment favoriser une meilleure exploitation des données industrielles fournies par les machines et les processus de fabrication. Pour se donner les moyens de ses ambitions, le constructeur avait besoin d’une plateforme de données robuste et évolutive. Dans un premier temps, Renault a conçu sa propre couche d’acquisition des données industrielles. Il l’a ensuite combinée aux solutions et services Big Data de Google Cloud pour donner naissance à une plateforme globale de gestion des données industrielles du Groupe.

Dans ce billet, nous vous proposons de découvrir l’évolution de la plateforme et d’entrer dans les coulisses d’une collaboration entre les équipes de Renault et des services professionnels de Google Cloud qui a permis de construire cette architecture de données sécurisée, fiable, évolutive et rentable. 

Tout est parti de la stratégie de transformation de Renault

Le Groupe Renault fabrique des voitures depuis 1898. Avec cinq marques à son actif et près de 3 millions de véhicules vendus dans le monde en 2020, Renault s’est progressivement transformé en un groupe international fournissant une mobilité responsable dans le monde entier. Aujourd’hui, le Groupe emploie plus de 170 000 personnes à travers ses 40 sites de fabrication.

Leader dans le domaine de l’industrie 4.0, Renault a entrepris sa transformation numérique dès 2016. Objectif : gagner en efficacité et moderniser ses pratiques industrielles et de fabrication. Dans cette perspective, l’utilisation des données industrielles collectées par ses 40 sites répartis à travers le monde faisait partie de ses priorités, et ce afin d’optimiser la prise de décision en se basant sur les données et créer de nouvelles opportunités.

Renault avait déjà lancé plusieurs initiatives allant dans ce sens : maintenance conditionnelle (ou CBM pour condition-based maintenance), traçabilité totale (Full Track and Trace) ou encore collecte des données industrielles sans oublier quelques projets IA. Mais toutes ces actions étaient très silotées. Afin de fédérer ces initiatives tout en construisant une plateforme capable d’en accueillir de nouvelles, le Groupe a lancé en 2019 son initiative « Industry Data Management 4.0 (IDM 4.0) », programme visant la construction d’une plateforme de données unique et d’un cadre de référence pour toutes les données industrielles de Renault.

Ainsi que le montre les trois piliers de transformation identifiés par Renault, les objectifs affichés par IDM 4.0 sont d’arriver à construire un système de collecte des données unique, régi par un référentiel partagé, afin de permettre à la fabrication, à la chaine d’approvisionnement et à l’ingénierie de production de concevoir rapidement des applications analytiques, prédictives et basées sur l’IA :

Les solutions éprouvées de Google Cloud en big data, en analytique et en Machine Learning répondaient parfaitement aux ambitions de Renault.

Construction d’IDM 4.0 dans le cloud

Avant l’élaboration du programme IDM 4.0, l’équipe « Renault Digital » avait déjà eu l’idée de gérer les données dans le cloud. Après quelques tests, elle est parvenue à réduire les coûts du stockage de plus de 50% grâce à Google Cloud. Pour Renault, fiabilité, stockage durable et données infalsifiables étaient des critères essentiels. C’est pourquoi l’entreprise a choisi Spanner pour base principale, combinée à Apache Spark sur un Dataproc entièrement managé pour le traitement de ses données. 

Avec IDM 4.0, Renault souhaitait non seulement monter en puissance mais également favoriser le déploiement de nouveaux usages tout en préservant la rentabilité, les performances et la fiabilité de sa plateforme. Pour atteindre cet objectif, le constructeur a dû revoir son architecture car les projections de coûts montraient clairement que le budget alloué au projet allait être dépassé avec l’essor des usages.

L’accélération de la refonte de l’architecture existante est au cœur du partenariat entre Renault et Google Cloud. L'équipe Professional Services Organization (PSO) de Google Cloud a en effet aidé Renault à concevoir la meilleure architecture possible, capable non seulement de répondre aux exigences du Groupe et de résoudre certains problèmes mais également de gérer la volumétrie générée par ses 40 sites de manière fiable et rentable sur le long terme.

Complexe, la collecte des données s’appuie sur différentes briques. Fondamentalement, Renault a mis en place un processus spécifique reposant sur des modèles de données standard OPC-UA, un protocole ouvert de communication entre machines. Dans la nouvelle architecture Google Cloud, ce modèle de données est géré dans BigQuery, de sorte que la plupart des écritures sont seulement de simples ajouts. Renault évite ainsi les jointures à répétition pour récupérer les données dont le groupe a besoin. BigQuery est associé à un cache dans Memorystore qui permet de récupérer les états mis à jour à tout moment. Cette architecture favorise des lectures et des écritures très performantes et efficientes.

L’équipe Renault Digital a également réalisé ses premiers développements avec Dataflow et le framework Beam. À cette occasion, elle a non seulement constaté que Beam était aussi simple à utiliser que Spark mais qu’il présentait surtout certains avantages :

• Un modèle unifié pour les traitements par lot et en temps réel : moins de code différent à écrire et plus de flexibilité dans le choix des tâches de traitements en fonction des besoins et des objectifs de couts. 

• Un écosystème Beam très riche : avec de nombreux connecteurs disponibles (PubsubIO, BigQueryIO, JMSIO, etc.)

• Des opérations simplifiées : autoscaling efficace, mises à jour plus fluides, suivi des coûts plus granulaire, surveillance facilitée, tests de bout en bout et gestion avancée des erreurs.

Depuis, Dataflow est devenu l'outil de prédilection pour la plupart des besoins en matière de traitement des données dans la plateforme. Le service de messagerie Pub/Sub était également un choix logique pour le traitement des données en continu. Il a été combiné à d’autres systèmes de messagerie tiers. Les équipes ont également conservé l’usage avancé qu’elles avaient déjà des services managés de Google Cloud, tels que Google Kubernetes Engine (GKE), Cloud Composer et Memorystore.

Conçue pour être évolutive, la nouvelle architecture a été interfacée au premier trimestre 2021 avec plus de 4 900 machines industrielles via la solution d’acquisition de données développée en interne par Renault. Au total, elle transmet plus d’un milliard de messages par jour à la nouvelle architecture dans Google Cloud !

Focus sur l’optimisation des coûts

Pendant le redéploiement vers la nouvelle architecture, l’optimisation des coûts est devenue un facteur prépondérant en raison de la pandémie et de son impact sur l’économie mondiale. 

L'équipe de direction de Renault et l'OSP de Google Cloud ont alors convenu d'affecter une équipe spéciale à l'optimisation des coûts sur les parties de la plateforme qui n'avaient pas encore été migrées.

Ce groupe de travail dédié a découvert qu'un cluster Apache Spark effectuait en continu des opérations Cloud Storage de type A & B toutes les dix millisecondes environ alors que les données n’étaient rafraîchies que toutes les heures ou une fois par jour selon les batchs. Nous avons appliqué une correction très simple : l’intervalle entre les requêtes adressées au système de fichiers a été augmenté via le paramètre spark.sql.streaming.pollingDelay de Spark. Cette modification a permis de diviser par 100 les appels Cloud Storage de type A et de réduire de façon significative les appels de type B, ce qui s’est traduit par une baisse des coûts de production de l’ordre de 50%.

Renault utilise désormais Dataflow pour ingérer et transformer les données provenant de ses usines et d'autres bases de données de référence clés.
BigQuery est utilisé pour stocker et analyser des volumétries colossales, comme le suivi des colis et des véhicules. Et d’autres sources de données devraient prochainement enrichir encore la plateforme.

Le graphique ci-dessous permet déjà de voir les succès impressionnants obtenus l'année dernière :

La plateforme IDM 4.0 est passée en production il y a à peine quelques mois mais Renault estime déjà qu’elle devrait gérer 10 fois plus de traitements de données dans les deux prochaines années, tout en permettant de conserver les coûts, la fiabilité et les performances à un niveau optimal. 

De nouvelles perspectives et une meilleure accessibilité des données

L’équipe Renault Digital a non seulement réussi à regrouper les données industrielles de ses usines mais elle est également parvenue à les fusionner de manière cohérente dans une plateforme évolutive, fiable et rentable. Au passage, elle a aussi exposé les données de sorte qu’elles puissent être facilement consommées par les data scientists, par les métiers ou encore par les applications. 

Dans ce billet, nous n’avons mentionné que des cas d’usage allant du suivi à la maintenance conditionnelle. Mais il est évident que cette plateforme offre de nombreuses nouvelles opportunités, tant du point de vue de l’innovation que de l’impact sur les activités de l’entreprise, dont notamment une démocratisation des données et des décisions fondées sur les bonnes informations grâce à de l’Analytics en libre-service.

Cette transformation de Renault opérée avec Google Cloud met en lumière le potentiel de l’industrie 4.0, qu’il s’agisse d’améliorer les processus de fabrication, l’ingénierie des processus ou encore la chaîne d'approvisionnement. Elle constitue également un exemple pour d'autres entreprises qui cherchent à tirer parti des données et des plateformes cloud pour améliorer leurs résultats. Pour en savoir plus sur BigQuery, cliquez ici.

Remerciements

Nous souhaitons remercier tous les collaborateurs de Renault et Google qui ont activement participé à la rédaction de cet article et qui ont travaillé pendant plus d'un an sur ce projet comme une seule et même équipe :

Rédacteurs Google :

• Jean-François Macresy, consultant, bonnes pratiques d'architecture IDM 4.0

• Jérémie Gomez, ingénieur stratégie, spécialiste des données IDM 4.0

• Rifel Mahiou, responsable de programmes, gouvernance et stratégie de partenariat IDM 4.0

• Razvan Culea, Data Engineer, IDM4.0 Data optimization 

Réviseurs internes de Renault :

• Sébastien Aubron, responsable du programme IDM 4.0

• Jean-Marc Chatelanaz, directeur IDM 4.0

• Matthieu Dureau, Product Owner plateforme IDM 4.0

• David Duarte, Data Engineer plateforme IDM 4.0