Introduzione a Google Cloud Pipeline Components

L'SDK Google Cloud Pipeline Components (GCPC) fornisce un insieme di componenti Kubeflow Pipelines predefiniti di qualità di produzione, efficienti e facili da usare. Puoi utilizzare i componenti della pipeline di Google Cloud per definire ed eseguire pipeline di ML in Vertex AI Pipelines e altri backend di esecuzione di pipeline di ML conformi a Kubeflow Pipelines.

Ad esempio, puoi utilizzare questi componenti per completare le seguenti operazioni:

  • Crea un nuovo set di dati e carica diversi tipi di dati (immagini, tabulari, di testo o video).
  • Esporta i dati da un set di dati in Cloud Storage.
  • Utilizza AutoML per addestrare un modello utilizzando dati immagine, tabulari, di testo o video.
  • Esegui un job di addestramento personalizzato utilizzando un container personalizzato o un pacchetto Python.
  • Carica un modello esistente in Vertex AI per le previsioni in batch.
  • Crea un nuovo endpoint ed esegui il deployment di un modello per le previsioni online.

Inoltre, questi componenti della pipeline di Google Cloud predefiniti sono supportati in Vertex AI Pipelines e offrono i seguenti vantaggi:

  • Debug semplificato: mostra le risorse sottostanti avviate dal componente per semplificare il debug.
  • Tipi di elementi standardizzati: forniscono interfacce coerenti per l'utilizzo di tipi di elementi standard per input e output. Questi artefatti standard vengono monitorati in Vertex ML Metadata, semplificando l'analisi della derivazione degli artefatti della pipeline. Per maggiori dettagli sulla cronologia degli elementi, consulta Monitorare la cronologia degli elementi della pipeline.
  • Comprendere i costi della pipeline con le etichette di fatturazione: le etichette delle risorse vengono propagate automaticamente ai servizi Google Cloud generati dai componenti della pipeline di Google Cloud nell'esecuzione della pipeline. Puoi utilizzare le etichette di fatturazione insieme all'esportazione della fatturazione Cloud in BigQuery per esaminare il costo dell'esecuzione della pipeline. Per saperne di più sull'utilizzo delle etichette per comprendere il costo di un'esecuzione della pipeline, consulta Informazioni sui costi di esecuzione della pipeline. Per ulteriori informazioni su come le etichette vengono propagate da un'esecuzione della pipeline alle risorse generate da Google Cloud Pipeline Components, consulta Etichettatura delle risorse da parte di Vertex AI Pipelines.
  • Efficienze dei costi*: Vertex AI Pipelines ottimizza l'esecuzione di questi componenti lanciando le risorse Google Cloud, senza dover lanciare il contenitore. In questo modo si riduce la latenza di avvio e i costi del contenitore in attesa.
* Questa funzionalità si applica solo ai seguenti componenti:
  • CustomTrainingJobOp
  • WaitGcpResourcesOp (per Dataflow)
  • DataflowPythonJobOp

Passaggi successivi