Le pipeline di addestramento ti consentono di eseguire l'addestramento di machine learning (ML) personalizzato e di creare automaticamente una risorsa Model
in base all'output dell'addestramento.
Prima di creare una pipeline
Prima di creare una pipeline di addestramento su Vertex AI, devi creare un'applicazione di addestramento Python o un container personalizzato per definire il codice di addestramento e le dipendenze da eseguire su Vertex AI. Se creare un'applicazione di addestramento Python utilizzando TensorFlow, scikit-learn o XGBoost, puoi utilizzare i nostri container predefiniti per eseguire il codice. In caso di dubbi tra queste opzioni, fai riferimento requisiti del codice di addestramento per saperne di più.
Opzioni della pipeline di addestramento
Una pipeline di addestramento include i job di addestramento con passaggi aggiuntivi. Questo illustra due diverse pipeline di addestramento:
- Avvia un
CustomJob
e carica il modello risultante in Vertex AI - Lanciare un job di ottimizzazione degli iperparametri e caricare il modello risultante Vertex AI
Inoltre, puoi utilizzare set di dati gestiti nella pipeline di addestramento. Scopri di più sulla configurazione della pipeline di addestramento per utilizzare un set di dati gestito.
Che cosa include un CustomJob
Quando crei un job personalizzato, devi specificare le impostazioni di cui ha bisogno Vertex AI per eseguire il codice di addestramento, tra cui:
- Un pool di worker per l'addestramento con un nodo singolo (
WorkerPoolSpec
) o più Pool di worker per l'addestramento distribuito - Impostazioni facoltative per la configurazione della pianificazione dei job (
Scheduling
), impostazione alcune variabili di ambiente per l'addestramento codice, utilizzando un modello account di servizio e utilizzando la rete VPC Peering
All'interno dei pool di worker, puoi specificare le impostazioni seguenti:
- Tipi di macchina e acceleratori
- Configurazione del tipo di codice di addestramento del pool di worker
: un'istanza di addestramento Python
(
PythonPackageSpec
) o un container personalizzato (ContainerSpec
)
Se vuoi creare un job personalizzato autonomo al di fuori di un Vertex AI Training, fai riferimento guida ai job personalizzati.
Configurare la pipeline per utilizzare un set di dati gestito
All'interno della pipeline di addestramento, puoi configurare il job di addestramento personalizzato un job di ottimizzazione degli iperparametri per usare un set di dati gestito. Gestito consentono di gestire i set di dati con le applicazioni di addestramento e modelli.
Per utilizzare un set di dati gestito nella pipeline di addestramento:
- Crea il tuo set di dati.
- Aggiornare l'applicazione di addestramento per utilizzare un set di dati gestito. Per maggiori informazioni informazioni, scopri in che modo Vertex AI passa il tuo set di dati di addestramento personalizzato.
Specifica un set di dati gestito quando crei la pipeline di addestramento. Per Ad esempio, se crei la pipeline di addestramento utilizzando l'API REST, specifica le impostazioni del set di dati nella sezione
inputDataConfig
.Devi creare la pipeline di addestramento nella stessa regione in cui hai creato il set di dati.
Per saperne di più, consulta il riferimento API in TrainingPipeline
.
Configurare l'addestramento distribuito
All'interno della pipeline di addestramento, puoi configurare il job di addestramento personalizzato o un job di ottimizzazione degli iperparametri per l'addestramento distribuito specificando più nei pool di worker.
Tutti gli esempi in questa pagina mostrano job di addestramento a replica singola con un worker piscina. Per modificarle per l'addestramento distribuito:
- Utilizza il primo pool di worker per configurare la replica principale e imposta il numero di repliche su 1.
- Aggiungi altri pool di worker per configurare le repliche dei worker, il server dei parametri o repliche di valutazione, se il framework di machine learning supporta queste attività aggiuntive per l'addestramento distribuito.
Scopri di più sull'utilizzo dell'addestramento distribuito.
CustomJob e caricamento del modello
Questa pipeline di addestramento incapsula un job personalizzato con una maggiore praticità che semplifica il deployment del modello su Vertex AI dopo addestramento. Questa pipeline di addestramento svolge due operazioni principali:
La pipeline di addestramento crea una risorsa
CustomJob
. Il job personalizzato esegue l'applicazione di addestramento utilizzando le risorse di calcolo specificate.Al termine del job personalizzato, la pipeline di addestramento trova il modello. gli artefatti creati dall'applicazione di addestramento nella directory di output specificato per il bucket Cloud Storage. Utilizza questi elementi per creare una risorsa model, che ti consente di eseguire il deployment del modello.
Esistono due modi diversi per impostare la posizione degli artefatti del modello:
Se imposti una
baseOutputDirectory
per il job di addestramento, assicurati che salva gli artefatti del modello in quella posizione, utilizzando$AIP_MODEL_DIR
variabile di ambiente impostato da Vertex AI. Al termine del job di addestramento, Vertex AI cerca gli artefatti del modello risultantigs://BASE_OUTPUT_DIRECTORY/model
.Se imposti la proprietà
modelToUpload.artifactUri
, la pipeline di addestramento carica gli artefatti del modello da quell'URI. Devi impostarlo se non hai impostatobaseOutputDirectory
.
Se specifichi sia baseOutputDirectory
sia modelToUpload.artifactUri
,
Vertex AI utilizza modelToUpload.artifactUri
.
Per creare questo tipo di pipeline di addestramento:
Console
Nella console Google Cloud, nella sezione Vertex AI, vai alla pagina Pipeline di addestramento.
Fai clic su
Crea per aprire il riquadro Addestra nuovo modello.Nel passaggio Metodo di addestramento, specifica le seguenti impostazioni:
Se vuoi utilizzare un set di dati gestito per l'addestramento, quindi specifica un set di dati Set di annotazioni.
In caso contrario, nell'elenco a discesa Set di dati, seleziona Nessuna del set di dati.
Seleziona Addestramento personalizzato (avanzato).
Fai clic su Continua.
Nel passaggio Dettagli modello, scegli Addestra nuovo modello o Addestra nuova versione. Se selezioni Addestra nuovo modello, inserisci un nome a tua scelta. MODEL_NAME per il tuo modello. Fai clic su Continua.
Nel passaggio Container di addestramento, specifica le seguenti impostazioni:
Seleziona se utilizzare un container predefinito o un contenuto personalizzato per l'addestramento.
A seconda della tua scelta, esegui una delle seguenti operazioni:
Se vuoi usare un container predefinito per l'addestramento, Vertex AI con le informazioni necessarie per utilizzare l'addestramento caricato su Cloud Storage:
Utilizza il framework modello e la versione del framework modello elenchi a discesa per specificare la container che vuoi per gli utilizzi odierni.
Nel campo Posizione pacchetto, specifica la URI Cloud Storage dell'applicazione di addestramento Python che che hai creato caricato. Questo di solito termina con
.tar.gz
.Nel campo del modulo Python, inserisci il nome del modulo del tuo voce dell'applicazione di addestramento punto di accesso.
Se vuoi utilizzare un container personalizzato per l'addestramento, nel campo Immagine container specifica l'URI di Artifact Registry o Docker Hub dell'immagine container.
Nel campo Directory di output del modello, specificare l'URI Cloud Storage di una directory in al bucket a cui hai accesso. La directory non deve ancora esistere.
Questo valore viene passato a Vertex AI nella API
baseOutputDirectory
, che imposta diverse variabili di ambiente a cui l'applicazione di addestramento può accedere durante l'esecuzione.Al termine dell'addestramento, Vertex AI cerca il modello artefatti in una sottodirectory di questo URI per creare un
Model
. Questa sottodirectory è disponibile per il codice di addestramento come variabile di ambienteAIP_MODEL_DIR
.Se non utilizzi un iperparametro dell'ottimizzazione, Vertex AI si aspetta di trovare gli artefatti
BASE_OUTPUT_DIRECTORY/model/
.Facoltativo: nel campo Argomenti puoi specificare gli argomenti per Vertex AI da utilizzare quando inizia a eseguire il codice di addestramento. La lunghezza massima di tutti gli argomenti combinati è di 100.000 caratteri. Il comportamento di questi argomenti varia a seconda del tipo di container che stai utilizzando:
Se utilizzi un container predefinito, Vertex AI passa gli argomenti come flag della riga di comando al tuo modulo Python.
Se utilizzi un contenitore personalizzato, Vertex AI sostituisce l'istruzione
CMD
del contenitore con gli argumenti.
Fai clic su Continua.
Nel passaggio Ottimizzazione degli iperparametri, assicurati che la casella Attiva La casella di controllo Ottimizzazione degli iperparametri non è selezionata. Clic Continua.
Nel passaggio Compute e prezzi, specifica le seguenti impostazioni:
Nell'elenco a discesa Regione, seleziona una "regione che supporta di addestramento"
Nella sezione Pool di worker 0, specifica compute risorse da usare per la formazione.
Se specifichi gli acceleratori, assicurati che il tipo di acceleratore scelto sia disponibile nella regione selezionata.
Se desideri eseguire attività distribuite addestramento, quindi fai clic su Aggiungi altro nei pool di worker e specificare un set aggiuntivo di risorse di computing per ogni pool di worker aggiuntivo desiderato.
Fai clic su Continua.
Nel passaggio Container di previsione, specifica le seguenti impostazioni:
Scegli se utilizzare un container predefinito o un container personalizzato container per fornire previsioni dal modello addestrato.
A seconda della tua scelta, esegui una delle seguenti operazioni:
Se vuoi utilizzare un container predefinito per fornire previsioni, utilizzare il framework modello, la versione del framework modello e Campi Tipo di acceleratore per scegliere quale previsione predefinita container da usare per la previsione.
Abbina Framework modello e Versione framework modello alla il framework di machine learning usato per l'addestramento. Specifica solo un Tipo di acceleratore se in un secondo momento vuoi utilizzare GPU per le applicazioni online o previsioni batch.
Se vuoi utilizzare un container personalizzato per fornire le previsioni, svolgi i seguenti passaggi:
Nel campo Immagine container, specifica Artifact Registry URI del container dell'immagine.
Facoltativamente, puoi specificare un Comando per eseguire l'override
ENTRYPOINT
del container istruzioni.
Il campo Directory modello contiene il valore impostato in precedenza Nel campo Directory di output del modello del Container di addestramento passaggio. La modifica di uno di questi campi ha lo stesso effetto. Consulta le istruzione precedente per visualizzare informazioni su questo campo.
Lascia vuoti i campi della sezione Schema di previsione.
Fai clic su Inizia addestramento per avviare la pipeline di addestramento personalizzato.
REST
Usa il seguente esempio di codice per creare una pipeline di addestramento utilizzando
Metodo create
della risorsa trainingPipeline
.
Nota: se vuoi impostare questa pipeline per creare una nuova versione del modello,
puoi aggiungere facoltativamente PARENT_MODEL
nel campo trainingPipeline
.
Per saperne di più, vedi Controllo delle versioni dei modelli con Vertex AI Model Registry.
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- LOCATION_ID: la regione in cui viene eseguito il codice di addestramento e
Model
viene archiviato. - PROJECT_ID: l'ID del tuo progetto.
- TRAINING_PIPELINE_NAME: campo obbligatorio. Un nome visualizzato per trainingPipeline.
- Se l'applicazione di addestramento utilizza un set di dati Vertex AI, specifica quanto segue:
- DATASET_ID: l'ID del set di dati.
- ANNOTATIONS_FILTER: filtra il set di dati in base alle annotazioni che specificare.
- ANNOTATION_SCHEMA_URI: filtra il set di dati in base all'annotazione specificata URI dello schema.
-
Utilizza una delle seguenti opzioni per specificare in che modo gli elementi di dati vengono suddivisi in addestramento,
di convalida e test.
- Per suddividere il set di dati in base alle frazioni che definiscono la dimensione di ogni insieme, specifica
le seguenti:
- TRAINING_FRACTION: la frazione del set di dati da utilizzare per addestrare un modello di machine learning.
- VALIDATION_FRACTION: la frazione del set di dati da utilizzare per la convalida del modello.
- TEST_FRACTION: la frazione del set di dati da utilizzare per valutare del modello.
- Per suddividere il set di dati in base ai filtri, specifica quanto segue:
- TRAINING_FILTER: filtra il set di dati in base agli elementi di dati da utilizzare per l'addestramento del modello.
- VALIDATION_FILTER: filtra il set di dati in base agli elementi di dati da utilizzare per e convalidare il modello.
- TEST_FILTER: filtra il set di dati in base agli elementi di dati da utilizzare per la valutazione del modello.
- Per utilizzare una suddivisione predefinita, specifica quanto segue:
- PREDEFINED_SPLIT_KEY: il nome della colonna da utilizzare per la suddivisione il set di dati. I valori accettati in questa colonna includono "addestramento", "convalida" e "test".
-
Per suddividere il set di dati in base al timestamp degli elementi dati, specifica quanto segue:
- TIMESTAMP_TRAINING_FRACTION: la frazione del set di dati da utilizzare per addestrare il modello.
- TIMESTAMP_VALIDATION_FRACTION: la frazione del set di dati da utilizzare per convalidare il modello.
- TIMESTAMP_TEST_FRACTION: la frazione del set di dati da utilizzare per valutare del modello.
- TIMESTAMP_SPLIT_KEY: il nome della colonna del timestamp da utilizzare per la suddivisione il set di dati.
- Per suddividere il set di dati in base alle frazioni che definiscono la dimensione di ogni insieme, specifica
le seguenti:
- OUTPUT_URI_PREFIX: la località di Cloud Storage in cui Vertex AI esporta il set di dati di addestramento, dopo averlo suddiviso in e set di dati.
- Definisci il job di addestramento personalizzato:
- MACHINE_TYPE: tipo di macchina. Invita ai tipi di macchine disponibili per l'addestramento.
- ACCELERATOR_TYPE: (facoltativo) Il tipo di acceleratore da associare a ogni Google Cloud.
- ACCELERATOR_COUNT: (facoltativo) Il numero di acceleratori a cui associarsi ogni prova.
- REPLICA_COUNT: il numero di repliche dei worker da usare per ogni prova.
- Se l'applicazione di addestramento viene eseguita in un container personalizzato, specifica quanto segue:
- CUSTOM_CONTAINER_IMAGE_URI: l'URI di un'immagine container in Artifact Registry o Docker Hub da eseguire su ogni replica del worker.
- CUSTOM_CONTAINER_COMMAND: (facoltativo) Il comando da richiamare quando container. Questo comando sostituisce l'entrypoint predefinito del container.
- CUSTOM_CONTAINER_ARGS: (facoltativo) Gli argomenti da passare quando avviando il container. La lunghezza massima di tutti gli argomenti combinati è 100.000 caratteri.
- Se l'applicazione di addestramento è un pacchetto Python eseguito in un container predefinito,
specificare quanto segue:
- PYTHON_PACKAGE_EXECUTOR_IMAGE_URI: l'URI dell'immagine container che esegue pacchetto Python fornito. Consulta le di container predefiniti disponibili addestramento.
- PYTHON_PACKAGE_URIS: la posizione in Cloud Storage dei file del pacchetto Python, ovvero il programma di addestramento e i relativi pacchetti dipendenti. Il valore massimo di URI dei pacchetti è pari a 100.
- PYTHON_MODULE: il nome del modulo Python da eseguire dopo l'installazione dei pacchetti.
- PYTHON_PACKAGE_ARGS: (facoltativo) Argomenti della riga di comando da passare il modulo Python. La lunghezza massima di tutti gli argomenti combinati è 100.000 caratteri.
- TIMEOUT: (facoltativo) Il tempo di esecuzione massimo del job.
- MODEL_NAME: un nome visualizzato per il modello caricato (creato) da TrainingPipeline.
- MODEL_DESCRIPTION: una descrizione del modello.
- IMAGE_URI: l'URI dell'immagine container da utilizzare per
eseguendo previsioni. Ad esempio:
us-docker.pkg.dev/vertex-ai/prediction/tf2-cpu.2-1:latest
. Utilizza le funzionalità di container predefiniti o container personalizzati. - modelToUpload.labels: qualsiasi insieme di coppie chiave-valore per organizzare i modelli. Ad esempio:
- "env": "prod"
- "tier": "backend"
- Specifica LABEL_NAME e LABEL_VALUE per tutte le etichette che vuoi si applicano a questa pipeline di addestramento.
Metodo HTTP e URL:
POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines
Corpo JSON della richiesta:
{ "displayName": "TRAINING_PIPELINE_NAME", "inputDataConfig": { "datasetId": DATASET_ID, "annotationsFilter": ANNOTATIONS_FILTER, "annotationSchemaUri": ANNOTATION_SCHEMA_URI, // Union field split can be only one of the following: "fractionSplit": { "trainingFraction": TRAINING_FRACTION, "validationFraction": VALIDATION_FRACTION, "testFraction": TEST_FRACTION }, "filterSplit": { "trainingFilter": TRAINING_FILTER, "validationFilter": VALIDATION_FILTER, "testFilter": TEST_FILTER }, "predefinedSplit": { "key": PREDEFINED_SPLIT_KEY }, "timestampSplit": { "trainingFraction": TIMESTAMP_TRAINING_FRACTION, "validationFraction": TIMESTAMP_VALIDATION_FRACTION, "testFraction": TIMESTAMP_TEST_FRACTION, "key": TIMESTAMP_SPLIT_KEY } // End of list of possible types for union field split. "gcsDestination": { "outputUriPrefix": OUTPUT_URI_PREFIX } }, "trainingTaskDefinition": "gs://google-cloud-aiplatform/schema/trainingjob/definition/custom_task_1.0.0.yaml", "trainingTaskInputs": { "workerPoolSpecs": [ { "machineSpec": { "machineType": MACHINE_TYPE, "acceleratorType": ACCELERATOR_TYPE, "acceleratorCount": ACCELERATOR_COUNT }, "replicaCount": REPLICA_COUNT, // Union field task can be only one of the following: "containerSpec": { "imageUri": CUSTOM_CONTAINER_IMAGE_URI, "command": [ CUSTOM_CONTAINER_COMMAND ], "args": [ CUSTOM_CONTAINER_ARGS ] }, "pythonPackageSpec": { "executorImageUri": PYTHON_PACKAGE_EXECUTOR_IMAGE_URI, "packageUris": [ PYTHON_PACKAGE_URIS ], "pythonModule": PYTHON_MODULE, "args": [ PYTHON_PACKAGE_ARGS ] } // End of list of possible types for union field task. } ], "scheduling": { "TIMEOUT": TIMEOUT } } }, "modelToUpload": { "displayName": "MODEL_NAME", "predictSchemata": {}, "containerSpec": { "imageUri": "IMAGE_URI" } }, "labels": { LABEL_NAME_1": LABEL_VALUE_1, LABEL_NAME_2": LABEL_VALUE_2 } }
Per inviare la richiesta, scegli una delle seguenti opzioni:
curl
Salva il corpo della richiesta in un file denominato request.json
,
quindi esegui il comando seguente:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines"
PowerShell
Salva il corpo della richiesta in un file denominato request.json
.
ed esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines" | Select-Object -Expand Content
La risposta contiene informazioni sulle specifiche e sulla TRAININGPIPELINE_ID.
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di Vertex AI con librerie client. Per ulteriori informazioni, consulta API Java Vertex AI documentazione di riferimento.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, vedi Installare l'SDK Vertex AI per Python. Per ulteriori informazioni, consulta documentazione di riferimento dell'API Python.
I seguenti esempi mostrano come utilizzare il parametro SDK Vertex AI per Python per creare un addestramento personalizzato una pipeline o un blocco note personalizzato. Scegli se utilizzare una un container predefinito o container per l'addestramento:
Container predefinito
Quando utilizzi l'SDK Vertex AI per Python per creare una pipeline di addestramento che esegue il codice Python in un contenitore predefinito, puoi fornire il codice di addestramento in uno dei seguenti modi:
Specifica l'URI di un pacchetto della distribuzione di origine Python in Cloud Storage.
Questa opzione è disponibile anche quando crei una pipeline di addestramento senza utilizzando l'SDK Vertex AI per Python.)
Specifica il percorso di uno script Python sulla tua macchina locale. Prima della creazione una pipeline di addestramento, l'SDK Vertex AI per Python pacchettizza lo script come origine distribuzione e la carica nel bucket Cloud Storage del tuo scelta.
Questa opzione è disponibile solo se utilizzi l'SDK Vertex AI per Python.
Per visualizzare un esempio di codice per ciascuna di queste opzioni, seleziona la scheda corrispondente:
Pacchetto
Il seguente esempio utilizza la classe CustomPythonPackageTrainingJob
.
Script
Il seguente esempio utilizza la classe CustomTrainingJob
.
Container personalizzato
L'esempio seguente utilizza la CustomContainerTrainingJob
class.
Job di ottimizzazione degli iperparametri e caricamento del modello
Questa pipeline di addestramento incapsula un job di ottimizzazione degli iperparametri con un che semplifica il deployment del modello Vertex AI dopo l'addestramento. Questa pipeline di addestramento esegue due cose:
La pipeline di addestramento crea una risorsa di job di ottimizzazione degli iperparametri. La Il job di ottimizzazione degli iperparametri crea più prove. Per ogni prova, un job personalizzato esegue l'applicazione di addestramento utilizzando le risorse di calcolo e gli iperparametri specificati.
Al termine del job di ottimizzazione degli iperparametri, la pipeline di addestramento gli artefatti del modello dalla prova migliore, all'interno della directory di output (
baseOutputDirectory
) che hai specificato per Cloud Storage di sincronizzare la directory di una VM con un bucket. La pipeline di addestramento utilizza questi artefatti per creare un modello che ti configura il deployment del modello.
Per questa pipeline di addestramento, devi specificare un elemento baseOutputDirectory
in cui
Vertex AI cerca gli artefatti del modello della prova migliore.
I job di ottimizzazione degli iperparametri hanno impostazioni aggiuntive da configurare. Scopri di più
sulle impostazioni di una HyperparameterTuningJob
.
REST
Usa il seguente esempio di codice per creare una pipeline di addestramento mediante
Metodo create
della risorsa trainingPipeline
.
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- LOCATION_ID: la regione del tuo progetto.
- PROJECT_ID: l'ID del tuo progetto.
- TRAINING_PIPELINE_NAME: campo obbligatorio. Un nome visualizzato per trainingPipeline.
- Se l'applicazione di addestramento utilizza un set di dati Vertex AI, specifica quanto segue:
- DATASET_ID: l'ID del set di dati.
- ANNOTATIONS_FILTER: filtra il set di dati in base alle annotazioni che specificare.
- ANNOTATION_SCHEMA_URI: filtra il set di dati in base all'annotazione specificata URI dello schema.
-
Utilizza una delle seguenti opzioni per specificare in che modo gli elementi di dati vengono suddivisi in addestramento,
di convalida e test.
- Per suddividere il set di dati in base alle frazioni che definiscono la dimensione di ogni insieme, specifica
le seguenti:
- TRAINING_FRACTION: la frazione del set di dati da utilizzare per addestrare un modello di machine learning.
- VALIDATION_FRACTION: la frazione del set di dati da utilizzare per la convalida del modello.
- TEST_FRACTION: la frazione del set di dati da utilizzare per valutare del modello.
- Per suddividere il set di dati in base ai filtri, specifica quanto segue:
- TRAINING_FILTER: filtra il set di dati in base agli elementi di dati da utilizzare per l'addestramento del modello.
- VALIDATION_FILTER: filtra il set di dati in base agli elementi di dati da utilizzare per e convalidare il modello.
- TEST_FILTER: filtra il set di dati in base agli elementi di dati da utilizzare per la valutazione del modello.
- Per utilizzare una suddivisione predefinita, specifica quanto segue:
- PREDEFINED_SPLIT_KEY: il nome della colonna da utilizzare per la suddivisione il set di dati. I valori accettati in questa colonna includono "addestramento", "convalida" e "test".
-
Per suddividere il set di dati in base al timestamp degli elementi dati, specifica quanto segue:
- TIMESTAMP_TRAINING_FRACTION: la frazione del set di dati da utilizzare per addestrare il modello.
- TIMESTAMP_VALIDATION_FRACTION: la frazione del set di dati da utilizzare per convalidare il modello.
- TIMESTAMP_TEST_FRACTION: la frazione del set di dati da utilizzare per valutare del modello.
- TIMESTAMP_SPLIT_KEY: il nome della colonna del timestamp da utilizzare per la suddivisione il set di dati.
- Per suddividere il set di dati in base alle frazioni che definiscono la dimensione di ogni insieme, specifica
le seguenti:
- OUTPUT_URI_PREFIX: la località di Cloud Storage in cui Vertex AI esporta il set di dati di addestramento, dopo essere stato suddiviso in e set di dati.
- Specifica il job di ottimizzazione degli iperparametri:
- Specifica le metriche:
- METRIC_ID: il nome di questa metrica.
- METRIC_GOAL: l'obiettivo di questa metrica. Può essere
MAXIMIZE
oMINIMIZE
.
- Specifica gli iperparametri:
- PARAMETER_ID: il nome di questo iperparametro.
- PARAMETER_SCALE: (facoltativo) La modalità di applicazione della scala al parametro. Non impostare
per i parametri CATEGORICAL. Può essere
UNIT_LINEAR_SCALE
,UNIT_LOG_SCALE
,UNIT_REVERSE_LOG_SCALE
oSCALE_TYPE_UNSPECIFIED
- Se il tipo di questo iperparametro è DOUBLE, specifica i valori minimo (DOUBLE_MIN_VALUE) e massimo (DOUBLE_MAX_VALUE) per questo iperparametro.
- Se il tipo di questo iperparametro è INTEGER, specifica il numero minimo (INTEGER_MIN_VALUE) e massimo (INTEGER_MAX_VALUE) per per questo iperparametro.
- Se il tipo di questo iperparametro è CATEGORICAL, specifica i valori accettabili (CATEGORICAL_VALUES) come array di stringhe.
- Se il tipo di questo iperparametro è DISCRETE, specifica i valori accettabili (DISCRETE_VALUES) come un array di numeri.
- ALGORITHM: (facoltativo) L'algoritmo di ricerca da utilizzare in questa ottimizzazione degli iperparametri
lavoro. Può essere
ALGORITHM_UNSPECIFIED
,GRID_SEARCH
oRANDOM_SEARCH
. - MAX_TRIAL_COUNT: il numero massimo di prove da eseguire in questo job.
- PARALLEL_TRIAL_COUNT: il numero massimo di prove che possono essere eseguite in parallelo.
- MAX_FAILED_TRIAL_COUNT: il numero di job che possono avere esito negativo prima dell'iperparametro il job di ottimizzazione non riesce.
- Definisci il job di addestramento personalizzato di prova:
- MACHINE_TYPE: tipo di macchina. Consulta i tipi di macchine disponibili per l'addestramento.
- ACCELERATOR_TYPE: (facoltativo) Il tipo di acceleratore da associare a ogni Google Cloud.
- ACCELERATOR_COUNT: (facoltativo) Il numero di acceleratori a cui associarsi ogni prova.
- REPLICA_COUNT: il numero di repliche dei worker da usare per ogni prova.
- Se l'applicazione di addestramento viene eseguita in un container personalizzato, specifica quanto segue:
- CUSTOM_CONTAINER_IMAGE_URI: l'URI di un'immagine container in Artifact Registry o Docker Hub da eseguire su ogni worker replica.
- CUSTOM_CONTAINER_COMMAND: (facoltativo) Il comando da richiamare quando container. Questo comando esegue l'override dell'entry point predefinito del container.
- CUSTOM_CONTAINER_ARGS: (facoltativo) Gli argomenti da passare quando avviando il container.
- Se l'applicazione di addestramento è un pacchetto Python eseguito in un container predefinito,
specificare quanto segue:
- PYTHON_PACKAGE_EXECUTOR_IMAGE_URI: l'URI dell'immagine del container che esegue il pacchetto Python fornito. Consulta le di container predefiniti disponibili addestramento.
- PYTHON_PACKAGE_URIS: la località di Cloud Storage del file Python dei pacchetti, ovvero il programma di addestramento e i pacchetti dipendenti. Il valore massimo di URI dei pacchetti è pari a 100.
- PYTHON_MODULE: il nome del modulo Python da eseguire dopo l'installazione del pacchetti.
- PYTHON_PACKAGE_ARGS: (facoltativo) Argomenti della riga di comando da passare il modulo Python.
- Scopri di più sulle opzioni di pianificazione dei job.
- TIMEOUT: (facoltativo) Il tempo di esecuzione massimo per ogni prova.
- Specifica LABEL_NAME e LABEL_VALUE per tutte le etichette che vuoi da applicare a questo job di ottimizzazione degli iperparametri.
- Specifica le metriche:
- MODEL_NAME: un nome visualizzato per il modello caricato (creato) da TrainingPipeline.
- MODEL_DESCRIPTION: facoltativo. Una descrizione del modello.
- PREDICTION_IMAGE_URI: obbligatorio. Specifica una delle due opzioni seguenti:
- L'URI dell'immagine di container predefinito per la previsione, ad esempio "tf2-cpu.2-1:latest".
- L'URI dell'immagine del tuo container personalizzato da utilizzare per la previsione.
- modelToUpload.labels: facoltativo. Qualsiasi insieme di coppie chiave-valore
per organizzare i tuoi modelli. Ad esempio:
- "env": "prod"
- "tier": "backend"
- Specifica LABEL_NAME e LABEL_VALUE per tutte le etichette che vuoi si applicano a questa pipeline di addestramento.
Metodo HTTP e URL:
POST https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines
Corpo JSON della richiesta:
{ "displayName": "TRAINING_PIPELINE_NAME", "inputDataConfig": { "datasetId": DATASET_ID, "annotationsFilter": ANNOTATIONS_FILTER, "annotationSchemaUri": ANNOTATION_SCHEMA_URI, // Union field split can be only one of the following: "fractionSplit": { "trainingFraction": TRAINING_FRACTION, "validationFraction": VALIDATION_FRACTION, "testFraction": TEST_FRACTION }, "filterSplit": { "trainingFilter": TRAINING_FILTER, "validationFilter": VALIDATION_FILTER, "testFilter": TEST_FILTER }, "predefinedSplit": { "key": PREDEFINED_SPLIT_KEY }, "timestampSplit": { "trainingFraction": TIMESTAMP_TRAINING_FRACTION, "validationFraction": TIMESTAMP_VALIDATION_FRACTION, "testFraction": TIMESTAMP_TEST_FRACTION, "key": TIMESTAMP_SPLIT_KEY } // End of list of possible types for union field split. "gcsDestination": { "outputUriPrefix": OUTPUT_URI_PREFIX } }, "trainingTaskDefinition": "gs://google-cloud-aiplatform/schema/trainingjob/definition/hyperparameter_tuning_task_1.0.0.yaml", "trainingTaskInputs": { "studySpec": { "metrics": [ { "metricId": METRIC_ID, "goal": METRIC_GOAL } ], "parameters": [ { "parameterId": PARAMETER_ID, "scaleType": PARAMETER_SCALE, // Union field parameter_value_spec can be only one of the following: "doubleValueSpec": { "minValue": DOUBLE_MIN_VALUE, "maxValue": DOUBLE_MAX_VALUE }, "integerValueSpec": { "minValue": INTEGER_MIN_VALUE, "maxValue": INTEGER_MAX_VALUE }, "categoricalValueSpec": { "values": [ CATEGORICAL_VALUES ] }, "discreteValueSpec": { "values": [ DISCRETE_VALUES ] } // End of list of possible types for union field parameter_value_spec. } ], "ALGORITHM": ALGORITHM }, "maxTrialCount": MAX_TRIAL_COUNT, "parallelTrialCount": PARALLEL_TRIAL_COUNT, "maxFailedTrialCount": MAX_FAILED_TRIAL_COUNT, "trialJobSpec": { "workerPoolSpecs": [ { "machineSpec": { "machineType": MACHINE_TYPE, "acceleratorType": ACCELERATOR_TYPE, "acceleratorCount": ACCELERATOR_COUNT }, "replicaCount": REPLICA_COUNT, // Union field task can be only one of the following: "containerSpec": { "imageUri": CUSTOM_CONTAINER_IMAGE_URI, "command": [ CUSTOM_CONTAINER_COMMAND ], "args": [ CUSTOM_CONTAINER_ARGS ] }, "pythonPackageSpec": { "executorImageUri": PYTHON_PACKAGE_EXECUTOR_IMAGE_URI, "packageUris": [ PYTHON_PACKAGE_URIS ], "pythonModule": PYTHON_MODULE, "args": [ PYTHON_PACKAGE_ARGS ] } // End of list of possible types for union field task. } ], "scheduling": { "TIMEOUT": TIMEOUT } }, "labels": { LABEL_NAME_1": LABEL_VALUE_1, LABEL_NAME_2": LABEL_VALUE_2 } }, "modelToUpload": { "displayName": "MODEL_NAME", "description": "MODEL_DESCRIPTION", "predictSchemata": {}, "containerSpec": { "imageUri": "PREDICTION_IMAGE_URI" } }, "labels": { LABEL_NAME_1": LABEL_VALUE_1, LABEL_NAME_2": LABEL_VALUE_2 } }
Per inviare la richiesta, scegli una delle seguenti opzioni:
curl
Salva il corpo della richiesta in un file denominato request.json
.
ed esegui questo comando:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines"
PowerShell
Salva il corpo della richiesta in un file denominato request.json
.
ed esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION_ID-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION_ID/trainingPipelines" | Select-Object -Expand Content
La risposta contiene informazioni sulle specifiche e sulla TRAININGPIPELINE_ID.
Monitora la formazione
Per visualizzare i log di addestramento:
Nella console Google Cloud, nella sezione Vertex AI, vai alla pagina Addestramento.
Fai clic sul nome del job per andare alla pagina del job personalizzato.
Fai clic su Visualizza log.
Puoi anche usare un modello interattivo shell per ispezionare il tuo addestramento dei container mentre è in esecuzione la pipeline di addestramento.
Visualizza il modello addestrato
Una volta completata la pipeline di addestramento personalizzato, della console Google Cloud, nella sezione Vertex AI, Pagina Modelli.
Passaggi successivi
- Scopri come individuare i colli di bottiglia delle prestazioni di addestramento per addestrare più velocemente i modelli e meno costoso utilizzando Cloud Profiler.
- Esegui il deployment del modello in un endpoint.
- Crea un job di ottimizzazione degli iperparametri.