Specifica la configurazione della macchina per un passaggio della pipeline

I componenti della pipeline di Kubeflow sono funzioni factory che creano i passaggi della pipeline. Ogni componente descrive gli input, gli output e l'implementazione del di strumento di authoring. Ad esempio, train_op è un componente nel seguente esempio di codice.

Ad esempio, un componente di addestramento potrebbe prendere un file CSV come input e utilizzarlo per addestrare un modello. Impostando i parametri del tipo di macchina nel passaggio della pipeline, puoi gestire i requisiti di ogni passaggio della pipeline. Se hai due passaggi di addestramento e un passaggio viene addestrato su un file di dati di grandi dimensioni e il secondo passaggio viene addestrato su un file di dati di piccole dimensioni, puoi allocare più memoria e CPU alla prima attività e meno risorse alla seconda.

Per impostazione predefinita, il componente verrà eseguito come Vertex AI CustomJob Utilizzando una macchina e2-standard-4, con CPU quad-core e 16 GB di memoria. Per saperne di più sulla selezione di una delle risorse macchina specifiche di Google Cloud elencate in Tipi di macchina, consulta Richiedere risorse delle macchine Google Cloud con Vertex AI Pipelines.

Il seguente esempio mostra come impostare le impostazioni di configurazione della CPU, della memoria e della GPU per un passaggio:

Nota: se vuoi specificare lo spazio su disco nella configurazione della macchina, devi invece creare un job di addestramento personalizzato da un componente richiedendo risorse della macchina Google Cloud.

from kfp import dsl

@dsl.pipeline(name='custom-container-pipeline')
def pipeline():
  generate = generate_op()
  train = (
    train_op(
      training_data=generate.outputs['training_data'],
      test_data=generate.outputs['test_data'],
      config_file=generate.outputs['config_file'])
    .set_cpu_limit('CPU_LIMIT')
    .set_memory_limit('MEMORY_LIMIT')
    .add_node_selector_constraint(SELECTOR_CONSTRAINT)
    .set_accelerator_limit(ACCELERATOR_LIMIT))

Sostituisci quanto segue:

• CPU_LIMIT: il limite massimo di CPU per questo operatore. Questo valore di stringa può essere un numero (valore intero per il numero di CPU) o un numero seguito da "m", che significa 1/1000. Puoi specificare al massimo 96 CPU.

• MEMORY_LIMIT: il limite di memoria massimo per questo operatore. Questo valore della stringa può essere un numero o un numero seguito da "K" (kilobyte), "M" (megabyte) o "G" (gigabyte). Sono supportati al massimo 624 GB.

  Nota: Vertex AI Pipelines non supporta la chiamata di set_memory_request su un operatore. Devi utilizzare set_memory_limit per richiedere una quantità specifica di memoria.

• SELECTOR_CONSTRAINT: ogni vincolo è un'etichetta di coppia chiave-valore. Affinché il container sia idoneo all'esecuzione su un nodo, quest'ultimo deve avere ogni come etichetta. Ad esempio: 'cloud.google.com/gke-accelerator', 'NVIDIA_TESLA_T4'

  Sono disponibili i seguenti vincoli:

  • NVIDIA_H100_80GB
  • NVIDIA_A100_80GB
  • NVIDIA_TESLA_A100 (NVIDIA A100 da 40 GB)
  • NVIDIA_TESLA_P4
  • NVIDIA_TESLA_P100
  • NVIDIA_TESLA_T4
  • NVIDIA_TESLA_V100
  • NVIDIA_L4
  • TPU_V2
  • TPU_V3

• ACCELERATOR_LIMIT: il limite dell'acceleratore (GPU o TPU) per la classe dell'operatore telefonico. Puoi specificare un numero intero positivo. Per ulteriori informazioni sulle GPU disponibili e su come configurarle, consulta la sezione GPU. Per ulteriori informazioni sulle TPU disponibili e su come configurarle, vedi TPU.

  Nota: le TPU sono disponibili solo in località specifiche. Per ulteriori informazioni, consulta la pagina Utilizzo degli acceleratori.

CustomJob supporta tipi di macchine specifici che ti limitano a un massimo di 96 CPU e 624 GB di memoria. In base alla configurazione della CPU, della memoria e dell'acceleratore specificata, Vertex AI Pipelines seleziona automaticamente la corrispondenza più simile tra i tipi di macchine supportati.