ML-Pipeline mithilfe von AI Platform-Pipelines einrichten

Diese Kurzanleitung bietet eine kurze Einführung in AI Platform Pipelines. In diesem Leitfaden installieren Sie Kubeflow Pipelines mit TensorFlow Extended auf einem neuen Google Kubernetes Engine (GKE) und führen dann eine Beispielpipeline aus.

Dieses Thema richtet sich an Nutzer, die mit AI Platform Pipelines noch nicht vertraut sind.

Hinweise

Bevor Sie mit dieser Anleitung beginnen, prüfen Sie, ob Ihr Google Cloud-Projekt richtig eingerichtet ist und Sie ausreichende Berechtigungen zum Bereitstellen von AI Platform Pipelines haben.

  1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
  2. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

    Zur Projektauswahl

  3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  4. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

    Zur Projektauswahl

  5. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  6. Prüfen Sie anhand der folgenden Anleitung, ob Ihnen die zum Bereitstellen von AI Platform Pipelines erforderlichen Rollen gewährt wurden.
    1. Öffnen Sie eine Cloud Shell-Sitzung.

      Cloud Shell öffnen

      Cloud Shell wird im unteren Bereich der Google Cloud Console in einem Frame geöffnet.

    2. Sie müssen den Betrachter (roles/viewer ) und den Kubernetes Engine-Administrator (roles/container.admin ), oder andere Rollen, die dieselben Berechtigungen wie die Inhaber-Rolle (roles/owner) in dem Projekt haben, um AI Platform Pipelines bereitzustellen. Führen Sie in Cloud Shell den folgenden Befehl aus, um die Hauptkonten mit den Rollen „Betrachter“ und „Kubernetes Engine-Administrator“ aufzulisten.

      gcloud projects get-iam-policy PROJECT_ID \
        --flatten="bindings[].members" --format="table(bindings.role, bindings.members)" \
        --filter="bindings.role:roles/container.admin OR bindings.role:roles/viewer"

      Ersetzen Sie PROJECT_ID durch die ID Ihres Google Cloud-Projekts.

      Prüfen Sie anhand der Ausgabe dieses Befehls, ob Ihr Konto die Rollen „Betrachter“ und „Kubernetes Engine-Administrator“ hat.

    3. Wenn Ihnen die erforderlichen Rollen nicht gewährt wurden, wenden Sie sich an Ihren Google Cloud-Projektadministrator, um weitere Hilfe zu erhalten.

      Weitere Informationen zum Gewähren von Identity and Access Management-Rollen

AI Platform Pipelines-Instanz einrichten

Verwenden Sie die folgende Anleitung, um AI Platform Pipelines in einem neuen GKE-Cluster einzurichten.

  1. Öffnen Sie AI Platform Pipelines in der Google Cloud Console.

    Zu AI Platform Pipelines

  2. Klicken Sie auf Projekt auswählen. Ein Dialogfeld wird angezeigt, in dem Sie zur Auswahl eines Google Cloud-Projekts aufgefordert werden.

  3. Wählen Sie das Google Cloud-Projekt aus, das Sie für diese Kurzanleitung verwenden möchten, und klicken Sie auf Öffnen.

  4. Klicken Sie in der Symbolleiste von AI Platform Pipelines auf Neue Instanz. Kubeflow Pipelines wird in Google Cloud Marketplace geöffnet.

  5. Klicken Sie auf Konfigurieren. Es wird ein Formular zur Konfiguration Ihres Kubeflow Pipelines-Deployments geöffnet.

  6. Wenn der Link Neuen Cluster erstellen angezeigt wird, klicken Sie auf Neuen Cluster erstellen. Ist dies nicht der Fall, fahren Sie mit dem nächsten Schritt fort.

  7. Wählen Sie us-central1-a als Clusterzone aus, in der Ihr GKE-Cluster erstellt werden soll.

  8. Aktivieren Sie Zugriff auf folgende Cloud APIs zulassen, um Anwendungen, die in Ihrem GKE-Cluster ausgeführt werden, Zugriff auf Google Cloud-Ressourcen zu gewähren. Durch Anklicken dieses Kästchens gewähren Sie Ihrem Cluster Zugriff auf den Zugriffsbereich https://www.googleapis.com/auth/cloud-platform. Dieser Zugriffsbereich bietet vollständigen Zugriff auf die Google Cloud-Ressourcen, die Sie in Ihrem Projekt aktiviert haben. Wenn Sie Ihrem Cluster Zugriff auf diese Weise auf Google Cloud-Ressourcen gewähren, ersparen Sie sich das Erstellen eines Kubernetes-Secrets.

  9. Klicken Sie auf Cluster erstellen, um Ihren GKE-Cluster zu erstellen. Der Vorgang kann mehrere Minuten dauern.

  10. Nachdem der Cluster erstellt wurde, geben Sie die folgenden Informationen an:

    • Namespace: Wählen Sie Standard als Namespace aus.
    • Name der App-Instanz: Geben Sie pipelines-quickstart als Instanznamen ein.
  11. Klicken Sie auf Deploy, um Kubeflow Pipelines auf Ihrem neuen GKE-Cluster bereitzustellen.

Der Bereitstellungsprozess dauert einige Minuten. Fahren Sie nach Abschluss des Bereitstellungsprozesses mit dem nächsten Abschnitt fort.

Beispielpipeline ausführen

Verwenden Sie die folgende Anleitung, um eine Beispielpipeline in Ihrer neuen AI Platform Pipeline-Instanz auszuführen.

  1. Öffnen Sie AI Platform Pipelines in der Google Cloud Console.

    Zu AI Platform Pipelines

  2. Suchen Sie den AI Platform Pipelines-Cluster namens pipelines-quickstart und klicken Sie dann auf Pipelines-Dashboard öffnen, um Kubeflow Pipelines zu öffnen. Das Kubeflow Pipelines-Dashboard wird geöffnet und die Seite Erste Schritte wird angezeigt.

  3. Auf der Seite Erste Schritte im Dashboard erfahren Sie mehr über die Demonstrations- und Anleitungspipelines, die mit Kubeflow Pipelines bereitgestellt werden, oder erfahren mehr über das Erstellen einer Pipeline.

    Klicken Sie im linken Navigationssteuerfeld auf Pipelines.

  4. Kubeflow Pipelines bietet mehrere Beispielpipelines. Klicken Sie auf [Tutorial] Data passing in python components. Eine Grafik mit den Schritten in der Pipeline wird geöffnet.

  5. Klicken Sie zum einmaligen Ausführen der Pipeline auf Create run. In Kubeflow Pipelines ist eine run eine einzelne Ausführung einer Pipeline. Ein Formular wird geöffnet, in das Sie die Ausführungsdetails eingeben.

  6. Geben Sie "Schnellstart-Pipeline-Ausführung" als Ausführungsnamen ein.

  7. Klicken Sie auf Start. Das Pipelines-Dashboard zeigt auf der Seite Tests eine Liste der ausgeführten Pipelines an. In Kubeflow Pipelines können Sie Tests verwenden, um Ihre Pipeline-Ausführungen in logischen Gruppen zu organisieren.

  8. Klicken Sie auf die Ausführung mit dem Namen Schnellstart-Pipeline-Ausführung. Das Diagramm Ihrer Ausführung wird angezeigt. Während Ihre Ausführung noch läuft, ändert sich die Grafik mit jedem ausgeführten Schritt.

  9. Klicken Sie auf die Pipeline-Schritte, um die Eingaben, Ausgaben und Logs Ihrer Ausführung zu untersuchen.

Sie haben jetzt eine Beispielpipeline in Ihrer AI Platform Pipelines-Instanz ausgeführt.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

Um zu vermeiden, dass Ihr Google Cloud-Konto stärker belastet wird, löschen Sie mit der folgenden Anleitung die AI Platform Pipelines-Instanz und den GKE-Cluster, die Sie in den vorherigen Abschnitten erstellt haben.

  1. Öffnen Sie AI Platform Pipelines in der Google Cloud Console.

    Zu AI Platform Pipelines

  2. Klicken Sie das Kästchen für die AI Platform Pipelines-Instanz mit dem Namen pipelines-quickstart an.

  3. Klicken Sie in der Symbolleiste von AI Platform Pipelines auf Löschen.

  4. Klicken Sie im Dialogfeld Kubeflow-Pipelines aus Cluster löschen das Kästchen Cluster löschen an. Wenn Sie dieses Kästchen anklicken, wird der GKE-Cluster gelöscht, den Sie für diese Kurzanleitung erstellt haben.

  5. Klicken Sie auf Löschen, um Ihre AI Platform Pipelines-Instanz und den GKE-Cluster zu löschen.

Nächste Schritte