À mesure que les modèles d'IA générative et de machine learning (ML) deviennent de plus en plus courants dans les activités et processus métier des entreprises, celles-ci ont de plus en plus besoin de conseils sur le développement des modèles pour garantir la cohérence, la reproductibilité et la sécurité. Pour aider les grandes entreprises à créer et à déployer des modèles d'IA générative et de ML, nous avons créé le plan d'IA générative et de machine learning pour les entreprises. Ce plan propose un guide complet sur l'ensemble du cycle de vie du développement d'IA, de l'exploration et de l'expérimentation préliminaires des données grâce à l'entraînement, au déploiement et à la surveillance des modèles.
Le plan d'IA générative et de ML d'entreprise offre de nombreux avantages, dont les suivants :
- Conseils normatifs : conseils clairs sur la façon de créer, de configurer et de déployer un environnement de développement d'IA générative et de ML basé sur Vertex AI. Vous pouvez utiliser Vertex AI pour développer vos propres modèles.
- Efficacité accrue : automatisation étendue pour réduire les tâches répétitives liées au déploiement de l'infrastructure et au développement de modèles d'IA générative et de ML. L'automatisation vous permet de vous concentrer sur des tâches à valeur ajoutée telles que la conception et les tests de modèles.
- Gouvernance et auditabilité améliorées : la reproductibilité, la traçabilité et le déploiement contrôlé des modèles sont intégrés à la conception de ce plan. Cet avantage vous permet de mieux gérer le cycle de vie de vos modèles d'IA générative et de ML, et vous permet de réentraîner et d'évaluer des modèles de manière cohérente, grâce à des outils d'audit clairs.
- Sécurité : Le plan est conçu pour être conforme aux exigences du Framework du NIST (National Institute of Standards and Technology) et du Framework du CRI (Cyber Risk Institute).
Le plan d'IA et de ML générative de l'entreprise comprend les éléments suivants :
- Un dépôt GitHub contenant un ensemble de configurations Terraform, un notebook Jupyter, une définition Vertex AI Pipelines, un graphe orienté acyclique (DAG) de Cloud Composer et des scripts auxiliaires. Les composants du dépôt effectuent les opérations suivantes :
- La configuration Terraform configure une plate-forme de développement de modèles Vertex AI pouvant prendre en charge plusieurs équipes de développement de modèles.
- Le notebook Jupyter vous permet de développer un modèle de manière interactive.
- La définition de Vertex AI Pipelines traduit le notebook Jupyter en un modèle reproductible pouvant être utilisé pour les environnements de production.
- Le DAG Cloud Composer constitue une alternative à Vertex AI Pipelines.
- Les scripts auxiliaires permettent de déployer le code et les pipelines Terraform.
- Un guide de l'architecture, de la conception, des contrôles de sécurité et des processus opérationnels que vous utilisez pour mettre en œuvre ce plan (ce document).
Le plan d'IA générative et de ML d'entreprise est conçu pour être compatible avec le plan de base de l'entreprise. Le plan de base d'entreprise fournit un certain nombre de services de base sur lesquels ce plan s'appuie, tels que les réseaux VPC. Vous pouvez déployer le plan d'IA générative et de ML d'entreprise sans déployer le plan de base d'entreprise si votre environnement Google Cloud fournit les fonctionnalités nécessaires à la compatibilité avec le plan d'IA générative et de ML d'entreprise.
Ce document est destiné aux architectes de cloud, aux data scientists et aux ingénieurs de données qui peuvent utiliser le plan pour créer et déployer de nouveaux modèles d'IA générative ou de ML sur Google Cloud. Dans ce document, nous partons du principe que vous connaissez le développement de modèles d'IA générative et de ML, ainsi que la plate-forme de machine learning Vertex AI.
Pour obtenir un aperçu des principes et des recommandations spécifiques aux charges de travail d'IA et de ML dans Google Cloud, consultez la perspective IA et ML dans le framework d'architecture.
Présentation du plan d'IA générative et de ML d'entreprise
Le plan d'IA générative et de ML d'entreprise adopte une approche multicouche afin de fournir les fonctionnalités permettant d'entraîner des modèles d'IA générative et de ML. Le modèle doit être déployé et contrôlé via un workflow MLOps (opérations de ML). Le diagramme suivant montre comment la couche MLOps déployée par ce modèle se rapporte aux autres couches de votre environnement.
Ce schéma comprend les éléments suivants :
- L'infrastructure Google Cloud vous fournit des fonctionnalités de sécurité telles que le chiffrement au repos et le chiffrement en transit., ainsi que des éléments de base tels que le calcul et le stockage.
- La base d'entreprise vous fournit une référence de ressources telles que les systèmes d'identité, de mise en réseau, de journalisation, de surveillance et de déploiement qui vous permettent d'adopter Google Cloud pour vos charges de travail d'IA.
- La couche de données est une couche facultative de la pile de développement qui offre diverses fonctionnalités telles que l'ingestion de données, le stockage de données, le contrôle des accès aux données et la gouvernance des données, ainsi que la surveillance et le partage des données.
- La couche d'IA générative et de ML (ce plan) vous permet de créer et de déployer des modèles. Vous pouvez utiliser cette couche pour effectuer des opérations préliminaires d'exploration et d'expérimentation des données, d'entraînement de modèle, de diffusion de modèle et de surveillance.
- Le CI/CD vous fournit les outils nécessaires pour automatiser la provision, la configuration, la gestion et le déploiement de l'infrastructure, des workflows et des composants logiciels. Ces composants vous aident à garantir des déploiements cohérents, fiables et contrôlables, limiter les erreurs manuelles et accélérer le cycle de développement global.
Pour illustrer l'utilisation de l'IA générative et de l'environnement de ML, le plan inclut un exemple de développement de modèle de ML. L'exemple de développement de modèle vous accompagne dans la création d'un modèle et de pipelines opérationnels, ainsi que l'entraînement, le test et le déploiement du modèle.
Architecture
Le plan d'IA générative et de ML d'entreprise vous permet de travailler directement avec des données. Vous pouvez créer des modèles dans un environnement interactif (de développement) et les promouvoir dans un environnement opérationnel (de production ou non).
Dans l'environnement interactif, vous développez des modèles de ML à l'aide de Vertex AI Workbench, un service de notebook Jupyter géré par Google. Vous créez des fonctionnalités d'extraction de données, de transformation de données et de réglage de modèles dans l'environnement interactif, puis vous les promouvez dans l'environnement opérationnel.
Dans l'environnement opérationnel (hors production), vous utilisez des pipelines pour créer et tester vos modèles de manière reproductible et contrôlée. Une fois que vous êtes satisfait des performances du modèle, vous pouvez le déployer dans l'environnement opérationnel (production). Le diagramme suivant présente les différents composants des environnements interactif et opérationnel.
Ce schéma comprend les éléments suivants :
- Systèmes de déploiement : des services tels que Service Catalog et Cloud Build déploient des ressources Google Cloud dans l'environnement interactif. Cloud Build déploie également des ressources Google Cloud et des workflows de création de modèles dans l'environnement opérationnel.
- Sources de données : services tels que BigQuery, Cloud Storage, Spanner et AlloyDB pour PostgreSQL hébergent vos données. Le modèle fournit des exemples de données dans BigQuery et Cloud Storage.
- Environnement interactif : environnement dans lequel vous pouvez interagir directement avec les données, tester des modèles et créer des pipelines à utiliser dans l'environnement opérationnel.
- Environnement opérationnel : environnement dans lequel vous pouvez créer et tester vos modèles de manière reproductible, puis déployer des modèles en production.
- Services de modèles : les services suivants sont compatibles avec diverses activités MLOps :
- Vertex AI Feature Store fournit des données de caractéristiques à votre modèle.
- Model Garden inclut une bibliothèque de modèles de ML qui vous permet d'utiliser des modèles Google et de sélectionner des modèles Open Source.
- Vertex AI Model Registry gère le cycle de vie de vos modèles de ML.
- Stockage d'artefacts : ces services stockent le code et les conteneurs, ainsi que pour le développement et les pipelines de vos modèles. Ces services incluent les suivants :
- Artifact Registry stocke les conteneurs utilisés par les pipelines dans l'environnement opérationnel pour contrôler les différentes étapes du développement du modèle.
- Le dépôt Git stocke la base de code des différents composants utilisés dans le développement du modèle.
Personas de la plate-forme
Lorsque vous déployez le plan, vous créez quatre types de groupes d'utilisateurs : un groupe d'ingénieurs MLOps, un groupe d'ingénieurs DevOps, un groupe de data scientists et un groupe d'ingénieurs de données. Les groupes assument les responsabilités suivantes :
- Le groupe d'ingénieurs MLOps développe les modèles Terraform utilisés par le catalogue de services. Cette équipe fournit des modèles utilisés par de nombreux modèles.
- Le groupe Ingénieur DevOps approuve les modèles Terraform créés par le groupe de développeurs MLOps.
- Le groupe de data scientists développe des modèles, des pipelines et les conteneurs utilisés par les pipelines. En règle générale, une seule équipe est dédiée à la création d'un seul modèle.
- Le groupe Ingénieurs de données approuve l'utilisation des artefacts créés par le groupe de data scientists.
Structure organisationnelle
Ce plan utilise la structure organisationnelle du plan de base de l'entreprise comme base pour le déploiement des charges de travail d'IA et de ML. Le diagramme suivant présente les projets ajoutés à la base pour permettre les charges de travail d'IA et de ML.
Le tableau suivant décrit les projets utilisés par le plan d'IA générative et de ML.
| Dossier | Projet | Description |
|---|---|---|
|
|
Contient le pipeline de déploiement utilisé pour créer les composants d'IA générative et de ML du plan. Pour en savoir plus, consultez le pipeline d'infrastructure dans le plan de base de l'entreprise. |
|
Contient l'infrastructure utilisée par catalogue de services pour déployer des ressources dans l'environnement interactif. | |
|
|
Contient les composants permettant de développer un cas d'utilisation de l'IA et du ML en mode interactif. |
|
|
Contient les composants permettant de tester et d'évaluer un cas d'utilisation de l'IA et du ML pouvant être déployé en production. |
|
|
Contient les composants permettant de déployer un cas d'utilisation d'IA et de ML en production. |
Mise en réseau
Le plan utilise le réseau VPC partagé créé dans le plan de base de l'entreprise. Dans l'environnement interactif (de développement), les notebooks Vertex AI Workbench sont déployés dans des projets de service. Les utilisateurs sur site peuvent accéder aux projets en utilisant l'espace d'adresses IP privées du Réseau VPC partagé. Les utilisateurs sur site peuvent accéder aux API Google Cloud, telles que Cloud Storage, via Private Service Connect. Chaque Réseau VPC partagé (développement, hors production et production) possède un point de terminaison Private Service Connect distinct.
L'environnement opérationnel (hors production et production) possède deux Réseaux VPC partagés distincts auxquels les ressources sur site peuvent accéder via des adresses IP privées. Les environnements interactifs et opérationnels sont protégés à l'aide de VPC Service Controls.
Cloud Logging
Ce plan utilise les fonctionnalités de journalisation Cloud fournies par le plan de base d'entreprise.
Cloud Monitoring
Pour surveiller les jobs d'entraînement personnalisé, le plan inclut un tableau de bord qui vous permet de surveiller les métriques suivantes :
- Utilisation du processeur de chaque nœud d'entraînement
- Utilisation de la mémoire pour chaque nœud d'entraînement
- Utilisation du réseau
Si un job d'entraînement personnalisé a échoué, le plan utilise Cloud Monitoring pour vous fournir un mécanisme d'alerte par e-mail afin de vous informer de l'échec. Pour la surveillance des modèles déployés qui utilisent le point de terminaison Vertex AI, le plan est fourni avec un tableau de bord contenant les métriques suivantes :
- Métriques de performances :
- Prédictions par seconde
- Latence du modèle
- Utilisation des ressources :
- Utilisation du processeur
- Utilisation de la mémoire
Configuration des règles d'administration
En plus des règles d'administration créées par le plan de base de l'entreprise, ce plan ajoute les règles d'administration répertoriées dans stratégie prédéfinie pour une IA sécurisée, étendue.
Opérations
Cette section décrit les environnements inclus dans le plan.
Environnement interactif
Pour vous permettre d'explorer les données et de développer des modèles tout en préservant la stratégie de sécurité de votre organisation, l'environnement interactif vous fournit un ensemble contrôlé d'actions que vous pouvez effectuer. Vous pouvez déployer des ressources Google Cloud à l'aide de l'une des méthodes suivantes :
- Utiliser Service Catalog, préconfiguré via l'automatisation avec des modèles de ressources
- Créer des artefacts de code et les valider dans des dépôts Git à l'aide de notebooks Vertex AI Workbench
Le diagramme suivant illustre l'environnement interactif.
Un flux interactif type est associé aux étapes et composants suivants :
- Catalogue de services fournit une liste sélectionnée de ressources Google Cloud que les data scientists peuvent déployer dans l'environnement interactif. Le data scientist déploie la ressource de notebook Vertex AI Workbench à partir du catalogue de services.
- Les notebooks Vertex AI Workbench sont l'interface principale utilisée par les data scientists pour travailler avec les ressources Google Cloud déployées dans l'environnement interactif. Les notebooks permettent aux data scientists d'extraire leur code de Git et de le mettre à jour si nécessaire.
- Les données sources sont stockées en dehors de l'environnement interactif et gérées séparément de ce modèle. L'accès aux données est contrôlé par un propriétaire de données. Les data scientists peuvent demander un accès en lecture aux données sources, mais pas les data scientists.
- Les data scientists peuvent transférer des données sources dans l'environnement interactif vers des ressources créées via le catalogue de services. Dans l'environnement interactif, les data scientists peuvent lire, écrire et manipuler les données. Toutefois, les scientifiques des données ne peuvent pas transférer de données en dehors de l'environnement interactif ni accorder l'accès aux ressources créées par le catalogue de services. BigQuery stocke des données structurées et semi-structurées, et Cloud Storage stocke des données non structurées.
- Feature Store fournit aux data scientists un accès à faible latence aux caractéristiques pour l'entraînement de modèle.
Les data scientists entraînent des modèles à l'aide de tâches d'entraînement personnalisées Vertex AI. Le modèle utilise également Vertex AI pour le réglage des hyperparamètres.
Les data scientists évaluent les modèles à l'aide de Vertex AI Experiments et de Vertex AI TensorBoard. Vertex AI Experiments vous permet d'exécuter plusieurs entraînements sur un modèle à l'aide de différents paramètres, techniques de modélisation, architectures et entrées. Vertex AI TensorBoard vous permet de suivre, de visualiser et de comparer les différents tests que vous avez exécutés, puis de choisir le modèle présentant les meilleures caractéristiques observées à valider.
Les data scientists valident leurs modèles à l'aide de l'évaluation Vertex AI. Pour valider leurs modèles, les data scientists divisent les données sources en un ensemble de données d'entraînement et un ensemble de données de validation, puis exécutent une évaluation Vertex AI sur votre modèle.
Les data scientists créent des conteneurs à l'aide de Cloud Build, les stockent dans Artifact Registry et les utilisent dans les pipelines de l'environnement opérationnel.
Environnement opérationnel
L'environnement opérationnel utilise un dépôt Git et des pipelines. Cet environnement inclut l'environnement de production et l'environnement hors production du plan de base de l'entreprise. Dans l'environnement hors production, le data scientist sélectionne un pipeline parmi ceux développés dans l'environnement interactif. Le data scientist peut exécuter le pipeline dans l'environnement hors production, évaluer les résultats, puis déterminer le modèle à promouvoir dans l'environnement de production.
Le plan comprend un exemple de pipeline créé à l'aide de Cloud Composer et un exemple de pipeline créé à l'aide de Vertex AI Pipelines. Le diagramme ci-dessous illustre l'environnement opérationnel.
Un flux opérationnel type comprend les étapes suivantes :
- Un data scientist fusionne une branche de développement dans une branche de déploiement.
- La fusion dans la branche de déploiement déclenche un pipeline Cloud Build.
- L'un des éléments suivants se produit :
- Si un data scientist utilise Cloud Composer comme orchestrateur, le pipeline Cloud Build déplace un DAG vers Cloud Storage.
- Si le data scientist utilise Vertex AI Pipelines comme orchestrateur, le pipeline déplace un fichier Python vers Cloud Storage.
- Le pipeline Cloud Build déclenche l'orchestrateur (Cloud Composer ou Vertex AI Pipelines).
- L'orchestrateur extrait sa définition de pipeline à partir de Cloud Storage et commence à exécuter le pipeline.
- Le pipeline extrait un conteneur à partir d'Artifact Registry, qui est utilisé par toutes les étapes du pipeline pour déclencher les services Vertex AI.
- Le pipeline, à l'aide du conteneur, déclenche un transfert de données du projet de données source vers l'environnement opérationnel.
- Le pipeline transforme, valide, divise et prépare les données pour l'entraînement et la validation du modèle.
- Si nécessaire, le pipeline déplace les données vers Vertex AI Feature Store pour un accès facile lors de l'entraînement du modèle.
- Le pipeline utilise l'entraînement de modèle personnalisé Vertex AI pour entraîner le modèle.
- Le pipeline utilise l'évaluation Vertex AI pour valider le modèle.
- Un modèle validé est importé dans le registre de modèles par le pipeline.
- Le modèle importé est ensuite utilisé pour générer des prédictions via des prédictions en ligne ou des prédictions par lot.
- Une fois le modèle déployé dans l'environnement de production, le pipeline utilise Vertex AI Model Monitoring pour détecter si les performances du modèle se dégradent en surveillant le décalage entraînement/livraison et la dérive de prédiction.
Déploiement
Le plan utilise une série de pipelines Cloud Build pour provisionner l'infrastructure du plan, le pipeline dans l'environnement opérationnel et les conteneurs utilisés pour créer des modèles d'IA générative et de ML. Les pipelines utilisés et les ressources provisionnées sont les suivants :
- Pipeline d'infrastructure : ce pipeline fait partie du plan de base de l'entreprise. Ce pipeline provisionne les ressources Google Cloud associées à l'environnement interactif et à l'environnement opérationnel.
- Pipeline interactif : le pipeline interactif fait partie de l'environnement interactif. Ce pipeline copie les modèles Terraform d'un dépôt Git vers un bucket Cloud Storage que Service Catalog peut lire. Le pipeline interactif est déclenché lorsqu'une demande d'extraction est effectuée pour fusionner avec la branche principale.
- Pipeline de conteneurs : le plan inclut un pipeline Cloud Build permettant de créer des conteneurs utilisés dans le pipeline opérationnel. Les conteneurs déployés dans différents environnements sont des images de conteneurs immuables. Les images de conteneur immuables permettent de garantir que la même image est déployée dans tous les environnements et ne peut pas être modifiée pendant leur exécution. Si vous devez modifier l'application, vous devez recompiler et redéployer l'image. Les images de conteneur utilisées dans le plan sont stockées dans Artifact Registry et référencées par les fichiers de configuration utilisés dans le pipeline opérationnel.
- Pipeline opérationnel : le pipeline opérationnel fait partie de l'environnement opérationnel. Ce pipeline copie les DAG pour Cloud Composer ou Vertex AI Pipelines, qui sont ensuite utilisés pour créer, tester et déployer des modèles.
Catalogue de services
Service Catalog permet aux développeurs et aux administrateurs cloud de rendre leurs solutions utilisables par les utilisateurs internes de la version Enterprise. Les modules Terraform de Service Catalog sont créés et publiés en tant qu'artefacts dans le bucket Cloud Storage avec le pipeline CI/CD Cloud Build. Une fois les modules copiés dans le bucket, les développeurs peuvent utiliser les modules pour créer des solutions Terraform sur la page Administration de Service Catalog, ajouter les solutions à Service Catalog et partager les solutions avec des projets d'environnement interactifs pour que les utilisateurs puissent déployer les ressources.
L'environnement interactif utilise catalogue de services pour permettre aux data scientists de déployer des ressources Google Cloud de manière conforme à la posture de sécurité de leur entreprise. Lors du développement d'un modèle nécessitant des ressources Google Cloud, telles qu'un bucket Cloud Storage, le data scientist sélectionne la ressource dans Service Catalog, la configure puis la déploie dans l'environnement interactif. Catalogue de services contient des modèles préconfigurés pour diverses ressources Google Cloud que le data scientist peut déployer dans l'environnement interactif. Le data scientist ne peut pas modifier les modèles de ressources, mais il peut les configurer via les variables de configuration exposées par le modèle. Le schéma suivant montre la structure de l'interaction entre le catalogue de services et l'environnement interactif.
Les data scientists déploient des ressources à l'aide de Service Catalog, comme décrit dans les étapes suivantes :
- L'ingénieur MLOps place un modèle de ressource Terraform pour Google Cloud dans un dépôt Git.
- Le commit dans Git déclenche un pipeline Cloud Build.
- Cloud Build copie le modèle et les fichiers de configuration associés dans Cloud Storage.
- L'ingénieur MLOps configure manuellement Service Catalog et ses services. L'ingénieur partage ensuite le catalogue de services avec un projet de service dans l'environnement interactif.
- Le data scientist sélectionne une ressource dans catalogue de services.
- Catalogue de services déploie le modèle dans l'environnement interactif.
- La ressource extrait les scripts de configuration nécessaires.
- Le data scientist interagit avec les ressources.
Dépôts
Les pipelines décrits dans la section Déploiement sont déclenchés par des modifications dans leur dépôt correspondant. Pour garantir que personne ne peut apporter de modifications indépendantes à l'environnement de production, il existe une séparation des responsabilités entre les utilisateurs autorisés à soumettre du code et ceux qui peuvent approuver les modifications de code. Le tableau suivant décrit les dépôts de plans, ainsi que leurs auteurs et leurs approbateurs.
| Dépôt | Pipeline | Description | Auteur | Approbateur |
|---|---|---|---|---|
|
Infrastructure |
Contient le code Terraform pour le plan d'IA générative et de ML qui crée les environnements interactifs et opérationnels. | Ingénieur MLOps | DevOps Engineer |
|
Interactive | Contient les modèles des ressources que catalogue de services peut déployer. | Ingénieur MLOps | DevOps Engineer |
|
Conteneur | Contient les conteneurs que les pipelines de l'environnement opérationnel peuvent utiliser. | Data scientist | Ingénieur de données |
|
opérationnel | Contient le code source que les pipelines de l'environnement opérationnel peuvent utiliser. | Data scientist | Ingénieur de données |
Stratégie d'embranchement
Le plan utilise la branchement persistant pour déployer le code dans l'environnement associé. Le plan utilise trois branches (développement, hors production et production) qui reflètent les environnements correspondants.
Contrôles de sécurité
Le plan d'IA générative et de ML d'entreprise utilise un modèle de sécurité de défense en profondeur par couches qui utilise les fonctionnalités Google Cloud par défaut, les services Google Cloud et les fonctionnalités de sécurité configurées via le plan de base de l'entreprise. Le schéma suivant présente la superposition des différents contrôles de sécurité du plan.
Les fonctions des couches sont les suivantes :
- Interface : fournit aux data scientists des services leur permettant d'interagir avec le plan de manière contrôlée.
- Déploiement : fournit une série de pipelines qui déploient l'infrastructure, créent des conteneurs et créent des modèles. L'utilisation de pipelines permet d'assurer l'auditabilité, la traçabilité et la reproductibilité.
- Mise en réseau : fournit des protections contre l'exfiltration de données autour des ressources du plan au niveau de la couche API et de la couche IP.
- Gestion des accès : contrôle qui peut accéder à quelles ressources et permet d'éviter toute utilisation non autorisée de vos ressources.
- Chiffrement : vous permet de contrôler vos clés de chiffrement et de vos secrets, et de protéger vos données via le chiffrement au repos et le chiffrement en transit par défaut.
- Détection : vous aide à détecter les erreurs de configuration et les activités malveillantes.
- Prévention : vous fournit les moyens de contrôler et de restreindre le déploiement de votre infrastructure.
Le tableau suivant décrit les contrôles de sécurité associés à chaque couche.
| cachée | Ressource | Contrôle de sécurité |
|---|---|---|
| Interface | Vertex AI Workbench | Il fournit une expérience de notebook géré qui intègre le contrôle des accès des utilisateurs, le contrôle des accès au réseau, le Contrôle des accès IAM et les téléchargements de fichiers désactivé. Ces fonctionnalités offrent une expérience utilisateur plus sécurisée. |
| Dépôts Git | Fournit un contrôle des accès utilisateur pour protéger vos dépôts. | |
| Catalogue de services | Fournit aux data scientists une liste sélectionnée de ressources qui ne peuvent être déployées que dans des configurations approuvées. | |
| Déploiement | Pipeline d'infrastructure | Fournit un flux sécurisé pour déployer l'infrastructure du modèle à l'aide de Terraform. |
| Pipeline interactif | Fournit un flux sécurisé pour transférer des modèles d'un dépôt Git vers un bucket de votre organisation Google Cloud. | |
| Pipeline de conteneur | Fournit un flux sécurisé pour créer des conteneurs utilisés par le pipeline opérationnel. | |
| Pipeline opérationnel | Fournit un flux contrôlé pour entraîner, tester, valider et déployer des modèles. | |
| Artifact Registry | Stocke les images de conteneurs de manière sécurisée à l'aide du contrôle des accès aux ressources. | |
| Réseau | Private Service Connect | Vous permet de communiquer avec les API Google Cloud à l'aide d'adresses IP privées afin d'éviter d'exposer le trafic sur Internet. |
| VPC avec adresses IP privées | Le modèle utilise des VPC avec des adresses IP privées pour réduire l'exposition aux menaces sur Internet. | |
| d'utiliser VPC Service Controls | Aide à protéger les ressources contre l'exfiltration de données. | |
| Pare-feu | Protège le réseau VPC contre les accès non autorisés. | |
| Gestion des accès | Cloud Identity | Il permet de centraliser la gestion des utilisateurs, ce qui réduit le risque d'accès non autorisé. |
| IAM | Permet de contrôler précisément qui peut faire quoi et quelles ressources, permettant ainsi le principe du moindre privilège dans la gestion des accès. | |
| Chiffrement | Cloud KMS | Vous permet de contrôler les clés de chiffrement utilisées dans votre organisation Google Cloud. |
| Secret Manager | Fournit un magasin de secrets pour vos modèles, contrôlé par IAM. | |
| Chiffrement au repos | Par défaut, Google Cloud chiffre toutes les données au repos. | |
| Chiffrement en transit | Par défaut, Google Cloud chiffre les données en transit. | |
| Détection | Security Command Center | Fournit des détecteurs de menaces qui aident à protéger votre organisation Google Cloud. |
| Architecture continue | Vérifie en permanence votre organisation Google Cloud par rapport à une série de règles Open Policy Agent (OPA) que vous avez définies. | |
| Outil de recommandation IAM | Analyse les autorisations des utilisateurs et fournit des suggestions sur la réduction des autorisations afin d'appliquer le principe du moindre privilège. | |
| Firewall Insights | Analyse les règles de pare-feu, identifie les règles de pare-feu trop permissives et suggère des pare-feu plus restrictifs pour renforcer votre stratégie de sécurité globale. | |
| Cloud Logging | Fournit une visibilité sur l'activité du système et permet de détecter les anomalies et les activités malveillantes. | |
| Cloud Monitoring | Suit les signaux et événements clés qui peuvent aider à identifier une activité suspecte. | |
| Prévention | Service de règles d'administration | Permet de limiter les actions au sein de votre organisation Google Cloud. |
Étapes suivantes
- Déployez le Terraform associé à ce plan.
- Découvrez le plan de base de l'entreprise.
- Consultez les bonnes pratiques de mise en œuvre du machine learning sur Google Cloud.
- En savoir plus sur Vertex AI.
- Apprenez-en plus sur le MLOps sur Google Cloud :
- MLOps sur Vertex AI
- Guide opérationnel de MLOps : un cadre pour la livraison continue et l'automatisation du machine learning (PDF)
- MLOps : pipelines de livraison continue et d'automatisation dans le machine learning
- Architecture pour les opérations de machine learning avec TensorFlow Extended, Vertex AI Pipelines et Cloud Build
- Exemple de code Vertex AI Pipelines
- Exemple de code de notebook Vertex AI
- Pour obtenir un aperçu des principes et des recommandations spécifiques aux charges de travail d'IA et de ML dans Google Cloud, consultez la perspective IA et ML dans le framework d'architecture.
- Pour découvrir d'autres architectures de référence, schémas et bonnes pratiques, consultez le Centre d'architecture cloud.