Von Kubeflow Pipelines zu Vertex AI Pipelines migrieren

Für Entwickler, die Erfahrung mit dem Erstellen von Kubeflow-Pipelines haben, ist es wichtig zu wissen, dass sich Vertex AI Pipelines von Kubeflow Pipelines unterscheiden.

Datenübergabe (Eingaben/Ausgaben)

• Daten, die über Ein- und Ausgaben übergeben werden, unterscheiden sich vom Kubeflow Pipelines SDK v1 zum Kubeflow Pipelines SDK v2. Das Kubeflow Pipelines SDK v2 hat die Trennung von Parametern und Artefakten und können nicht aneinander übergeben werden. Ausführlichere Informationen finden Sie unter Grundlagen von Kubeflow Pipelines und Datentypen von Kubeflow Pipelines.

Verwendung der domänenspezifischen Sprachversion (DSL)

• Vertex AI Pipelines kann Pipelines ausführen, die mit TFX v0.30.0 oder höher oder der domainspezifischen Sprache (domain-specific language, DSL) von Kubeflow Pipelines SDK v2 erstellt wurden.

  Kubeflow Pipelines SDK v2 DSL ist im Kubeflow Pipelines SDK 1.6 oder höher verfügbar.

  Kubeflow Pipelines kann Pipelines ausführen, die mit dem Kubeflow Pipelines SDK erstellt wurden. Kubeflow Pipelines v1.6 oder höher kann auch Pipelines ausführen, die mit dem Kubeflow Pipelines SDK v2 DSL erstellt wurden.

Speicher

• Kubeflow Pipelines und Vertex AI Pipelines verarbeiten den Speicher unterschiedlich. In Kubeflow Pipelines können Sie Kubernetes-Ressourcen wie Anforderungen an nichtflüchtige Volumes verwenden. In Vertex AI-Pipelines werden Ihre Daten in Cloud Storage gespeichert und mithilfe von Cloud Storage FUSE in Ihren Komponenten bereitgestellt.

  In Vertex-Pipelines können Sie Google Cloud-Dienste verwenden, um Ressourcen verfügbar zu machen. So können Sie beispielsweise Cloud Storage FUSE nutzen, um auf einen Cloud Storage-Bucket als bereitgestelltes Volume in einem Pipelineschritt zuzugreifen. Wenn Ihr Cloud Storage-URI gs://example-bucket/example-pipeline ist, kann der Container Ihrer Pipelinekomponente Cloud Storage FUSE verwenden, um auf den URI als folgenden Pfad zuzugreifen: /gcs/example-bucket/example-pipeline.

  Wichtig: Es wird empfohlen, die Pfade zu externen Ressourcen nicht in der Pipeline hartzucodieren. Übergeben Sie die Pfade zu externen Ressourcen stattdessen als Parameter an Ihre Pipeline. Dies erleichtert die Ausführung der Pipeline in verschiedenen Umgebungen und das Ändern des Speicherorts der in einer Pipeline ausgeführten Ressourcen.

• Wenn Sie eine Pipeline mit Vertex AI Pipelines ausführen, muss der Stammpfad der Pipeline in der Annotation @pipeline oder beim Erstellen der Pipelineausführung angegeben worden sein.

  In Kubeflow Pipelines ist die Angabe des Pipeline-Stammpfads optional. Die Artefakte einer Pipeline-Ausführung werden standardmäßig mit MinIO gespeichert.

In Vertex AI Pipelines nicht unterstützte Features

• Die folgenden Kubeflow Pipelines-Features werden in Vertex AI Pipelines derzeit nicht unterstützt.

  • Cache-Ablauf: In Kubeflow Pipelines können Sie mit Kubeflow Pipelines SDK v1 DSL festlegen, dass die Ausführung der im Cache gespeicherten Komponenten nach einer bestimmten Zeit abläuft.

    Derzeit können Sie nicht festlegen, dass Komponentenausführungen nach einer bestimmten Zeit ablaufen, wenn Sie die Kubeflow Pipelines SDK v2 DSL verwenden.

    Wenn Sie in Vertex AI Pipelines eine Pipeline mit create_run_from_job_spec ausführen, können Sie mit dem Argument enable_caching angeben, dass diese Pipelineausführung kein Caching verwendet.

  • Recursion: In Kubeflow Pipelines können Sie Pipeline-Komponenten angeben, die rekursiv aufgerufen werden.

    Derzeit unterstützt Vertex AI Pipelines keine Pipeline-Komponenten, die rekursiv aufgerufen werden.