Einführung in die Komponenten der Google Cloud-Pipeline

Das Google Cloud Pipeline Components (GCPC) SDK bietet eine Reihe vordefinierter Kubeflow Pipelines-Komponenten, die produktionsbereit, leistungsfähig und einfach zu verwenden sind. Sie können Google Cloud-Pipeline-Komponenten verwenden, um ML-Pipelines in Vertex AI Pipelines und anderen Ausführungs-Back-Ends der ML-Pipeline zu definieren und auszuführen, die mit Kubeflow Pipelines kompatibel sind.

Sie können diese Komponenten beispielsweise für Folgendes verwenden:

  • Neues Dataset erstellen und verschiedene Datentypen in das Dataset laden (Bild, Tabelle, Text oder Video)
  • Daten aus einem Dataset in Cloud Storage exportieren
  • AutoML zum Trainieren eines Modells mit Bild-, Tabellen-, Text- oder Videodaten verwenden
  • Einen benutzerdefinierten Trainingsjob mit einem benutzerdefinierten Container oder einem Python-Paket ausführen
  • Vorhandenes Modell zur Batchvorhersage in Vertex AI hochladen
  • Neuen Endpunkt erstellen und darin ein Modell für Onlinevorhersagen bereitstellen

Darüber hinaus werden diese vordefinierten Google Cloud-Pipeline-Komponenten in Vertex AI-Pipelines unterstützt und bieten folgende Vorteile:

  • Einfachere Fehlerbehebung: Zeigt die zugrunde liegenden Ressourcen an, die von der Komponente gestartet wurden, um das Debugging zu vereinfachen.
  • Standardisierte Artefakttypen: Stellen Sie Es werden konsistente Schnittstellen zur Verwendung von Standardartefakttypen für die Eingabe und Ausgabe bereitgestellt. Diese Standardartefakte werden in Vertex ML Metadata erfasst, was die Analyse der Herkunft der Artefakte Ihrer Pipeline erleichtert. Weitere Informationen zur Herkunft von Artefakten finden Sie unter Herkunft von Pipeline-Artefakten verfolgen.
  • Pipelinekosten mit Abrechnungslabels verstehen: Ressourcenlabels werden automatisch an Google Cloud-Dienste weitergegeben, die von den Google Cloud-Pipelinekomponenten in der Pipelineausführung generiert werden. Sie können Abrechnungslabels zusammen mit dem Cloud Billing-Export nach BigQuery verwenden, um die Kosten für die Ausführung Ihrer Pipeline zu prüfen. Weitere Informationen zur Verwendung von Labels zum Verständnis der Kosten für eine Pipelineausführung finden Sie unter Kosten für die Pipelineausführung. Weitere Informationen dazu, wie Labels von einer Pipelineausführung auf Ressourcen übertragen werden, die von Google Cloud-Pipelinekomponenten generiert werden, finden Sie unter Ressourcen-Labeling von Vertex AI Pipelines.
  • Kosteneinsparungen:* Vertex AI-Pipelines optimieren die Ausführung dieser Komponenten, indem die Google Cloud-Ressourcen gestartet werden, ohne den Container starten zu müssen. Dadurch werden die Startlatenz und die Kosten für den Busy-Waiting-Container verringert.
* Dieses Feature gilt nur für die folgenden Komponenten:
  • CustomTrainingJobOp
  • WaitGcpResourcesOp (für Dataflow)
  • DataflowPythonJobOp

Nächste Schritte