Prima di poter eseguire il processo di machine learning (ML) su AI Platform Pipelines, devi innanzitutto definire il processo come pipeline. Puoi orchestrare il tuo processo ML come una pipeline utilizzando TensorFlow Extended (TFX) o l'SDK Kubeflow Pipelines.
Questo documento fornisce indicazioni per scegliere l'opzione migliore per creare la pipeline e le risorse per iniziare.
- Se stai orchestrando un processo che addestra un modello TensorFlow, utilizza TFX per creare la tua pipeline.
- Se stai orchestrando un processo che addestra un modello utilizzando framework come PyTorch, XGBoost e scikit-learn, utilizza l'SDK Kubeflow Pipelines per creare la tua pipeline.
Creazione di pipeline mediante l'SDK TFX
TFX è un progetto open source che puoi utilizzare per definire il tuo flusso di lavoro ML come pipeline. Attualmente, i componenti TFX possono addestrare solo modelli basati su TensorFlow. TFX fornisce componenti che puoi utilizzare per importare e trasformare dati, addestrare e valutare un modello, eseguire il deployment di un modello addestrato per l'inferenza e così via. Utilizzando l'SDK TFX, puoi comporre una pipeline per il tuo processo ML a partire dai componenti TFX.
Per iniziare a creare pipeline con modelli di pipeline TFX:
- Segui il tutorial sulle pipeline TFX su Google Cloud.
- Leggi la guida dell'utente di TFX per scoprire di più sui concetti e i componenti di TFX.
Creazione di pipeline mediante l'SDK Kubeflow Pipelines
L'SDK Kubeflow Pipelines è un SDK open source che puoi utilizzare per creare complesse pipeline ML personalizzate basate su container. Puoi riutilizzare i componenti predefiniti o creare componenti di pipeline personalizzati utilizzando l'SDK Kubeflow Pipelines. A livello generale, crei componenti e pipeline in base a:
- Sviluppando il codice per ogni passaggio del flusso di lavoro utilizzando il linguaggio e gli strumenti che preferisci
- Creazione di un'immagine container Docker per il codice di ogni passaggio
- Utilizzo di Python per definire la pipeline con l'SDK Kubeflow Pipelines
Per iniziare a creare pipeline con l'SDK Kubeflow Pipelines:
- Leggi l'introduzione all'SDK Kubeflow Pipelines.
- Scopri di più sulle pipeline Kubeflow esplorando gli esempi di Kubeflow Pipelines.
- Riutilizza i componenti predefiniti esplorando i componenti della pipeline di Kubeflow su GitHub.
Passaggi successivi
- Scopri come eseguire le pipeline di ML.