Comme indiqué ci-dessus, la principale différence entre l'apprentissage fédéré et le machine learning centralisé traditionnel réside dans l'emplacement des données pendant le processus d'entraînement.

• Machine learning traditionnel (centralisé) : les données sont collectées à partir de diverses sources et rassemblées en un seul endroit, comme un serveur cloud ou un centre de données. Le modèle de machine learning est ensuite entraîné directement sur cet ensemble de données consolidé. Cette méthode peut offrir des avantages, comme un accès direct aux données et un développement simplifié, mais elle peut aussi créer des risques importants pour la confidentialité et des vulnérabilités potentielles si le dépôt de données centralisé est compromis.
• Apprentissage fédéré (décentralisé) : au lieu de déplacer les données, le modèle de machine learning est envoyé aux données, et les participants (clients) entraînent le modèle sur leurs données locales. Seules les mises à jour du modèle (comme les pondérations ou les gradients appris) sont ensuite renvoyées à un serveur central pour agrégation. Ce processus permet au modèle global d'apprendre à partir de divers ensembles de données sans jamais accéder aux informations brutes et sensibles d'un seul participant.

Bien que l'apprentissage automatique centralisé soit bien établi et souvent plus facile à implémenter, l'apprentissage fédéré gagne en popularité, car il peut intrinsèquement répondre aux préoccupations concernant la confidentialité des données, réduire les besoins en bande passante et permettre l'entraînement de modèles sur des données qui pourraient autrement être inaccessibles en raison de réglementations ou d'accords de confidentialité. 

L'apprentissage fédéré s'adapte à différents besoins. Les principales différences proviennent souvent de la façon dont les données sont distribuées ou de la façon dont les participants collaborent. Voici un aperçu des types courants :

L'apprentissage fédéré fonctionne selon un processus itératif impliquant un coordinateur central (généralement un serveur) et plusieurs clients participants (appareils ou organisations). Le workflow général peut être divisé en ces étapes clés :

Le processus commence par un serveur central qui initialise un modèle de machine learning global. Ce modèle sert de point de départ pour l'entraînement collaboratif. Le serveur distribue ensuite ce modèle global à un sous-ensemble sélectionné d'appareils clients participants.

Chaque appareil client sélectionné reçoit le modèle global. À l'aide de ses propres données locales, le client entraîne le modèle, en mettant à jour ses paramètres en fonction des schémas et des informations présents dans cet ensemble de données local. Il est essentiel de noter que les données brutes restent sur l'appareil client pendant toute cette étape et ne sont jamais envoyées au serveur.

Après l'entraînement local, chaque client renvoie ses paramètres de modèle mis à jour (par exemple, les gradients ou les pondérations) au serveur central. Ces mises à jour représentent ce que le modèle a appris à partir des données locales, mais elles n'exposent pas les données elles-mêmes.

Le serveur central reçoit les mises à jour du modèle de plusieurs clients. Il agrège ensuite ces mises à jour, souvent en calculant leur moyenne (une méthode courante étant l'agrégation fédérée, ou FedAvg), pour créer une nouvelle version améliorée du modèle global. Ce modèle agrégé bénéficie de l'apprentissage collectif de tous les clients participants. 

Le serveur distribue ensuite ce modèle global nouvellement mis à jour à un nouvel ensemble de clients (ou aux mêmes) pour un autre cycle d'entraînement local. Ce cycle se répète plusieurs fois, affinant progressivement le modèle global à chaque itération jusqu'à ce qu'il atteigne le niveau de précision ou de convergence souhaité.

Un système d'apprentissage fédéré typique comprend plusieurs éléments interconnectés :

Il s'agit des appareils ou des organisations qui détiennent les données et effectuent l'entraînement local des modèles. Les clients peuvent être des téléphones mobiles, des appareils IoT, des hôpitaux ou des institutions financières. Ils sont chargés d'exécuter le modèle localement et de générer des mises à jour des paramètres.

Le serveur central joue le rôle d'orchestrateur du processus d'apprentissage fédéré. Il initialise et distribue le modèle global, collecte les mises à jour de modèle auprès des clients, les agrège pour affiner le modèle global, puis redistribue le modèle mis à jour. Il n'accède pas directement aux données brutes des clients.

Il définit la façon dont les clients et le serveur échangent des informations, principalement les paramètres et les mises à jour du modèle. Des protocoles de communication efficaces et sécurisés sont essentiels, surtout compte tenu du nombre potentiellement élevé de clients et des conditions de réseau variables. 

Il s'agit de la méthode utilisée par le serveur central pour combiner les mises à jour du modèle reçues de différents clients. Des algorithmes comme la moyenne fédérée sont couramment utilisés pour calculer la moyenne des pondérations ou des gradients, ce qui permet de créer un modèle global unique et amélioré.

Malgré ses avantages, l'apprentissage fédéré présente également des défis potentiels uniques qui doivent être pris en compte avec soin :

• Hétérogénéité des données et des appareils : les clients d'un réseau d'apprentissage fédéré peuvent varier considérablement en termes de distribution des données (données non indépendantes et identiquement distribuées, ou données non indépendantes et identiquement distribuées) et de capacités de calcul (matériel de l'appareil, connectivité réseau). Cette diversité peut avoir un impact sur la convergence du modèle et ses performances globales.
• Surcharge de communication : bien que réduite par rapport au transfert de données centralisé, l'apprentissage fédéré nécessite toujours une communication fréquente entre les clients et le serveur. Gérer efficacement cette communication, en particulier avec un grand nombre de clients ou des réseaux peu fiables, peut encore représenter un défi technique. 
• Vulnérabilités en termes de sécurité et de confidentialité : bien qu'il soit conçu pour la confidentialité, l'apprentissage fédéré n'est pas à l'abri de toutes les menaces de sécurité. Les mises à jour de modèles peuvent potentiellement divulguer des informations sur les données locales par le biais de techniques avancées telles que les attaques par inférence ou l'empoisonnement des données. Des mesures de sécurité robustes, telles que la confidentialité différentielle et l'agrégation sécurisée, sont souvent utilisées pour atténuer ces risques, mais elles peuvent entraîner des compromis en termes de précision ou de coût de calcul.
• Dérive du modèle : au fil du temps, la distribution des données sur les appareils de chaque client peut changer, ce qui entraîne une "dérive du modèle" où les modèles locaux s'éloignent du modèle global. Pour y remédier, il faut des mécanismes d'adaptation continue ou des approches d'apprentissage fédéré personnalisées. 

L'apprentissage fédéré permet aux utilisateurs de créer des applications sophistiquées qui protègent la confidentialité dans divers domaines. Voici quelques cas d'utilisation potentiels de l'apprentissage fédéré :

Les utilisateurs peuvent exploiter l'apprentissage fédéré pour créer des applications mobiles qui apprennent à partir des données utilisateur sans compromettre la confidentialité. C'est essentiel pour des fonctionnalités comme la saisie prédictive sur les claviers (par exemple, Gboard), les suggestions de mots suivants, les recommandations personnalisées et la reconnaissance vocale sur l'appareil. En entraînant les modèles directement sur les appareils des utilisateurs, les développeurs peuvent améliorer les fonctionnalités de l'application et l'expérience utilisateur en s'adaptant aux schémas d'interaction individuels. Ils peuvent également s'assurer que les données personnelles sensibles restent locales et protégées, conformément à des réglementations telles que le RGPD et la loi HIPAA. 

L'apprentissage fédéré permet aux utilisateurs de créer des systèmes d'IA collaboratifs pour les entreprises dont les données sont cloisonnées entre différentes organisations. Cette approche est très utile dans des secteurs comme la santé et la finance, où le partage de données est limité par les réglementations sur la confidentialité ou les préoccupations liées à la propriété intellectuelle. Les utilisateurs peuvent créer des plates-formes permettant à plusieurs institutions (par exemple, des hôpitaux pour la recherche médicale ou des banques pour la détection des fraudes) d'entraîner des modèles partagés sur leurs données combinées sans exposer les informations brutes. Cela favorise la collaboration, améliore la justesse des modèles grâce à des ensembles de données diversifiés et aide à répondre à des exigences de conformité strictes.

Pour ceux qui travaillent avec des appareils IoT (Internet des objets) et IIoT (Internet industriel des objets), l'apprentissage fédéré offre un moyen efficace d'intégrer l'intelligence à la périphérie. Cela permet de créer des applications telles que la maintenance prédictive pour les équipements industriels, la détection d'anomalies dans les réseaux de capteurs ou l'optimisation de l'utilisation des ressources dans les villes intelligentes. Les modèles peuvent être entraînés sur les données générées par les capteurs et les machines distribués directement sur les appareils de périphérie. Cette approche réduit les frais généraux de communication, permet d'obtenir des insights en temps réel et maintient les données opérationnelles sensibles dans les limites sécurisées de l'usine ou de l'appareil, ce qui est essentiel pour protéger les informations propriétaires.

Les utilisateurs peuvent utiliser l'apprentissage fédéré pour créer des plates-formes d'analyse de données robustes pour les entreprises qui ont besoin d'extraire des insights à partir d'ensembles de données distribués et sensibles. Il permet de s'assurer que les modèles analytiques peuvent être entraînés et exécutés sans centraliser les données, ce qui facilite grandement la conformité avec des réglementations telles que le RGPD, le CCPA et la loi HIPAA. Cela permet aux organisations d'obtenir des renseignements commerciaux précieux, d'identifier des tendances ou de créer des modèles prédictifs dans leurs différents services ou entités, tout en respectant des protocoles stricts de gouvernance et de sécurité des données.

L'apprentissage fédéré peut être utilisé pour créer des solutions de cybersécurité plus efficaces et résilientes. Les modèles peuvent être entraînés sur de nombreux points de terminaison (par exemple, des ordinateurs, des serveurs, des appareils mobiles) pour détecter les logiciels malveillants, identifier les intrusions dans le réseau ou signaler les activités suspectes sans exfiltrer les données sensibles des systèmes individuels. Cette approche d'entraînement décentralisée peut améliorer les capacités de détection des menaces en apprenant à partir d'une plus grande variété de comportements réseau et d'événements de sécurité locaux, tout en respectant la confidentialité des utilisateurs ou des systèmes individuels. 

Pour faciliter l'utilisation de l'apprentissage fédéré, plusieurs frameworks open source et commerciaux ont vu le jour. Ces outils fournissent aux développeurs tout ce dont ils ont besoin pour gérer l'entraînement sur différents appareils, la communication entre eux et la confidentialité des données.

• TensorFlow Federated (TFF) : développé par Google, TFF est un framework Open Source qui permet d'appliquer le machine learning et d'effectuer différents calculs sur des données décentralisées. Il s'intègre parfaitement à TensorFlow et est idéal pour simuler l'entraînement fédéré et créer de nouveaux algorithmes d'apprentissage fédéré. 
• PySyft : faisant partie de l'écosystème OpenMined, PySyft est une bibliothèque Python axée sur l'IA préservant la confidentialité. Il permet l'apprentissage fédéré et fonctionne avec les frameworks de deep learning populaires comme PyTorch et TensorFlow, en prenant en charge des techniques telles que la confidentialité différentielle et le calcul multipartite sécurisé (SMPC).
• Flower : Flower est un framework indépendant et hautement personnalisable pour l'apprentissage fédéré. Il fonctionne avec n'importe quelle bibliothèque de machine learning, y compris PyTorch, TensorFlow et scikit-learn, ce qui le rend polyvalent pour les équipes utilisant différentes piles de ML. 
• NVIDIA FLARE : ce framework est conçu pour l'imagerie médicale et la génomique, et permet le développement collaboratif de l'IA dans le secteur de la santé. Il est également utilisé dans des applications comme les véhicules autonomes.
• FATE (Federated AI Technology Enabler) : développée par WeBank, FATE est une plate-forme axée sur les entreprises qui prend en charge l'apprentissage fédéré avec des techniques de confidentialité avancées telles que le chiffrement homomorphe. Elle offre une interface Web pour gérer les workflows. 
• Substra : initialement développé pour un projet de recherche médicale multipartenaires, Substra est désormais hébergé par la Linux Foundation. Il est particulièrement fort dans le domaine médical, où il met l'accent sur la propriété, la confidentialité et la traçabilité des données. 

Le domaine de l'apprentissage fédéré évolue rapidement. Les recherches actuelles visent à relever les défis associés à l'apprentissage fédéré, comme améliorer la robustesse face à l'hétérogénéité des données et des systèmes, développer des techniques de protection de la confidentialité plus sophistiquées, créer des protocoles de communication plus efficaces et permettre des expériences d'apprentissage fédéré véritablement personnalisées. À mesure que l'IA s'intègre davantage dans les domaines sensibles, l'apprentissage fédéré est appelé à jouer un rôle encore plus essentiel pour permettre une intelligence sécurisée, privée et collaborative. Alors que de nombreux systèmes d'apprentissage fédéré sont actuellement orchestrés par un serveur central, les développements futurs devraient explorer des approches d'apprentissage fédéré plus décentralisées ou peer-to-peer, ce qui renforcerait la robustesse et l'évolutivité, et éliminerait les points de défaillance uniques.