Présentation des composants du pipeline Google Cloud

Le SDK des composants du pipeline Google Cloud (GCPC) fournit un ensemble de composants Kubeflow Pipelines prédéfinis, de qualité production, performants et faciles à utiliser. Vous pouvez utiliser les composants du pipeline Google Cloud pour définir et exécuter des pipelines de ML dans Vertex AI Pipelines et d'autres backends d'exécution de pipeline de ML conformes à Kubeflow Pipelines.

Par exemple, vous pouvez utiliser ces composants pour effectuer les opérations suivantes :

  • Créer un ensemble de données et y charger différents types de données (données d'image, données tabulaires, de texte ou de vidéos).
  • Exporter les données d'un ensemble de données vers Cloud Storage.
  • Utiliser AutoML pour entraîner un modèle à l'aide de données d'images, de données tabulaires, de texte ou de vidéos.
  • Exécutez une tâche d'entraînement personnalisé à l'aide d'un conteneur personnalisé ou d'un package Python.
  • Importer un modèle existant dans Vertex AI pour la prédiction par lot.
  • Créer un point de terminaison et y déployer un modèle pour les prédictions en ligne.

En outre, les composants du pipeline Google Cloud prédéfinis sont compatibles avec Vertex AI et offrent les avantages suivants :

  • Débogage plus simple : affichage des ressources sous-jacentes lancées à partir du composant pour un débogage simplifié.
  • Types d'artefacts standards : disponibilité d'interfaces cohérentes afin d'utiliser les types d'artefacts standards pour les entrées et les sorties. Ces artefacts standards sont suivis dans Vertex ML Metadata, ce qui facilite l'analyse de la traçabilité des artefacts de votre pipeline. Pour en savoir plus sur la traçabilité des artefacts, consultez la section Suivre la traçabilité des artefacts de pipeline.
  • Comprendre les coûts des pipelines avec les étiquettes de facturation : les étiquettes de ressources sont automatiquement propagées aux services Google Cloud générés par les composants de pipeline Google Cloud dans votre exécution de pipeline. Vous pouvez utiliser les étiquettes de facturation conjointement avec l'exportation Cloud Billing vers BigQuery pour examiner le coût de votre exécution de pipeline. Pour plus d'informations sur l'utilisation des étiquettes afin de comprendre le coût d'une exécution de pipeline, consultez la section Comprendre les coûts d'exécution des pipelines. Pour en savoir plus sur la propagation des étiquettes d'une exécution de pipeline aux ressources générées par les composants de pipeline Google Cloud, consultez la section Étiquetage de ressources par Vertex AI Pipelines.
  • Rentabilité* : Vertex AI Pipelines optimise l'exécution de ces composants en lançant les ressources Google Cloud sans avoir à lancer le conteneur. Cela réduit la latence de démarrage et les coûts du conteneur en attente.
* Cette fonctionnalité ne s'applique qu'aux composants suivants :
  • CustomTrainingJobOp
  • WaitGcpResourcesOp (pour Dataflow)
  • DataflowPythonJobOp

Étape suivante