Einführung in die Pipeline-Komponenten von Google Cloud

Das Google Cloud Pipeline Components (GCPC) SDK bietet eine Reihe vordefinierter Kubeflow Pipelines-Komponenten, die produktionsbereit, leistungsfähig und einfach zu verwenden sind. Mit Google Cloud Pipeline-Komponenten können Sie ML-Pipelines in Vertex AI Pipelines und anderen mit Kubeflow Pipelines konformen Backends zur ML-Pipeline-Ausführung definieren und ausführen.

Sie können diese Komponenten beispielsweise für Folgendes verwenden:

  • Neues Dataset erstellen und verschiedene Datentypen in das Dataset laden (Bild, Tabelle, Text oder Video)
  • Daten aus einem Dataset in Cloud Storage exportieren
  • AutoML zum Trainieren eines Modells mit Bild-, Tabellen-, Text- oder Videodaten verwenden
  • Einen benutzerdefinierten Trainingsjob mit einem benutzerdefinierten Container oder einem Python-Paket ausführen
  • Vorhandenes Modell zur Batchvorhersage in Vertex AI hochladen
  • Neuen Endpunkt erstellen und darin ein Modell für Onlinevorhersagen bereitstellen

Darüber hinaus werden diese vordefinierten Google Cloud Pipeline-Komponenten in Vertex AI-Pipelines unterstützt und bieten folgende Vorteile:

  • Einfachere Fehlerbehebung: Zeigt die zugrunde liegenden Ressourcen an, die von der Komponente gestartet wurden, um das Debugging zu vereinfachen.
  • Standardisierte Artefakttypen: Stellen Sie Es werden konsistente Schnittstellen zur Verwendung von Standardartefakttypen für die Eingabe und Ausgabe bereitgestellt. Diese Standardartefakte werden in Vertex ML Metadata erfasst, was die Analyse der Herkunft der Artefakte Ihrer Pipeline erleichtert. Weitere Informationen zur Herkunft von Artefakten finden Sie unter Herkunft von Pipeline-Artefakten verfolgen.
  • Pipelinekosten mit Abrechnungslabels verstehen: Ressourcenlabels werden automatisch an Google Cloud Dienste weitergegeben, die von den Google Cloud Pipeline-Komponenten in der Pipelineausführung generiert werden. Sie können Abrechnungslabels zusammen mit dem Cloud Billing-Export nach BigQuery verwenden, um die Kosten Ihrer Pipelineausführung zu prüfen. Weitere Informationen dazu, wie Sie mithilfe von Labels die Kosten einer Pipelineausführung ermitteln, finden Sie unter Kosten für Pipelineausführungen nachvollziehen. Weitere Informationen dazu, wie Labels von einer Pipelineausführung auf Ressourcen übertragen werden, die von Pipelinekomponenten generiert werden, finden Sie unter Ressourcen-Labeling von Vertex AI Pipelines. Google Cloud
  • Kosteneinsparungen:* Vertex AI Pipelines optimieren die Ausführung dieser Komponenten, indem die Google Cloud -Ressourcen gestartet werden, ohne den Container starten zu müssen. Dadurch werden die Startlatenz und die Kosten für den Busy-Waiting-Container verringert.
* Dieses Feature gilt nur für die folgenden Komponenten:
  • CustomTrainingJobOp
  • WaitGcpResourcesOp (für Dataflow)
  • DataflowPythonJobOp

Nächste Schritte