Prima di poter eseguire il processo di machine learning (ML) su AI Platform Pipelines, devi prima definirlo come pipeline. Puoi orchestrare il tuo processo di ML come pipeline utilizzando TensorFlow Extended (TFX) o l'SDK Kubeflow Pipelines.
Questo documento fornisce indicazioni per scegliere l'opzione migliore per creare la pipeline e risorse per iniziare.
- Se stai orchestrando un processo che addestra un modello TensorFlow, utilizza TFX per creare la pipeline.
- Se stai orchestrando un processo che addestra un modello utilizzando framework come PyTorch, XGBoost e scikit-learn, utilizza l'SDK Kubeflow Pipelines per creare la tua pipeline.
Creazione di pipeline utilizzando l'SDK TFX
TFX è un progetto open source che puoi utilizzare per definire il tuo flusso di lavoro di ML come una pipeline. Al momento, i componenti TFX possono solo addestrare modelli basati su TensorFlow. TFX fornisce componenti che puoi utilizzare per importare e trasformare i dati, addestrare e valutare un modello, eseguire il deployment di un modello addestrato per l'inferenza e così via. Con l'SDK TFX, puoi comporre una pipeline per il tuo processo di ML dai componenti TFX.
Per iniziare a creare pipeline con i modelli di pipeline TFX:
- Segui il tutorial sulle pipeline TFX su Google Cloud.
- Leggi la Guida dell'utente di TFX per approfondire i concetti e i componenti di TFX.
Creazione di pipeline utilizzando l'SDK Kubeflow Pipelines
L'SDK Kubeflow Pipelines è un SDK open source che puoi utilizzare per creare complesse pipeline ML personalizzate basate su container. Puoi riutilizzare i componenti predefiniti o creare componenti della pipeline personalizzati utilizzando l'SDK Kubeflow Pipelines. A livello generale, puoi creare componenti e pipeline:
- Sviluppo del codice per ogni passaggio del flusso di lavoro utilizzando il linguaggio e gli strumenti che preferisci
- Creazione di un'immagine container Docker per il codice di ogni passaggio
- Utilizzare Python per definire la pipeline utilizzando l'SDK Kubeflow Pipelines
Per iniziare a creare pipeline con l'SDK Kubeflow Pipelines:
- Leggi l'introduzione all'SDK Kubeflow Pipelines.
- Scopri di più sulle pipeline Kubeflow esplorando gli esempi di Kubeflow Pipelines.
- Riutilizza i componenti predefiniti esplorando i componenti della pipeline Kubeflow su GitHub.
Passaggi successivi
- Scopri come eseguire le pipeline ML.