Bevor Sie Ihren ML-Prozess auf AI Platform Pipelines ausführen können, müssen Sie ihn als Pipeline definieren. Sie können Ihren ML-Prozess als Pipeline mithilfe von TensorFlow Extended (TFX) oder dem Kubeflow Pipelines SDK orchestrieren.
Dieses Dokument enthält eine Anleitung zur Auswahl der besten Option für die Erstellung Ihrer Pipeline sowie Ressourcen für die ersten Schritte.
- Wenn Sie einen Prozess zum Trainieren eines TensorFlow-Modells orchestrieren, erstellen Sie die Pipeline mit TFX.
- Wenn Sie einen Prozess zum Trainieren eines Modells mit Frameworks wie PyTorch, XGBoost und scikit-learn orchestrieren, erstellen Sie die Pipeline mit dem Kubeflow Pipelines SDK.
Pipelines mit dem TFX SDK erstellen
TFX ist ein Open-Source-Projekt, mit dem Sie Ihren ML-Workflow als Pipeline definieren können. Derzeit können TFX-Komponenten nur Modelle auf der Grundlage von TensorFlow trainieren. TFX stellt Komponenten bereit, mit denen Sie u. a. Daten aufnehmen und transformieren, ein Modell trainieren und auswerten, ein trainiertes Inferenzmodell bereitstellen können. Mit dem TFX SDK können Sie eine Pipeline für Ihren ML-Prozess aus TFX-Komponenten erstellen.
So erstellen Sie Pipelines mit TFX-Pipelinevorlagen:
- Folgen Sie der Anleitung zu TFX-Pipelines in Google Cloud.
- Lesen Sie das TFX-Nutzerhandbuch, um mehr über TFX-Konzepte und -Komponenten zu erfahren.
Pipelines mit dem Kubeflow Pipelines SDK erstellen
Das Kubeflow Pipelines SDK ist ein Open Source SDK, mit dem Sie komplexe benutzerdefinierte ML-Pipelines anhand von Containern erstellen können. Mit dem Kubeflow Pipelines SDK können Sie vordefinierte Komponenten wiederverwenden oder benutzerdefinierte Pipeline-Komponenten erstellen. Auf hoher Ebene können Sie Komponenten und Pipelines so erstellen:
- Den Code für jeden Schritt in Ihrem Workflow mithilfe Ihrer bevorzugten Sprache und Tools erstellen
- Docker-Container-Image für den Code jedes Schritts erstellen
- Python zum Definieren Ihrer Pipeline mit dem Kubeflow Pipelines SDK verwenden
So erstellen Sie Pipelines mit dem Kubeflow Pipelines SDK:
- Lesen Sie die Einführung in das Kubeflow Pipelines SDK.
- Weitere Informationen zu Kubeflow-Pipelines erhalten Sie in den Kubeflow-Pipelines-Beispielen.
- Vorinstallierte Komponenten mithilfe der Kubeflow-Pipeline-Komponenten auf GitHub wiederverwenden.