Ai fini del logging, utilizza l'SDK Vertex AI per Python.
Metriche e parametri supportati:
- metriche di riepilogo
- metriche delle serie temporali
- parametri
- metriche di classificazione
SDK Vertex AI per Python
Nota: quando il parametro facoltativo resume
è specificato come TRUE
,
l'esecuzione avviata in precedenza riprende. Se non specificato, il valore predefinito di resume
è
FALSE
e viene creata una nuova esecuzione.
Il seguente esempio utilizza la classe
init
dalle funzioni iplatform.
Metriche di riepilogo
Le metriche di riepilogo sono metriche scalari a valore singolo archiviate accanto alle serie temporali e rappresentano il riepilogo finale dell'esecuzione di un esperimento.
Un esempio di caso d'uso è l'interruzione anticipata quando una configurazione della pazienza consente
ha continuato l'addestramento, ma il modello candidato viene ripristinato da un passaggio precedente
e le metriche calcolate per il modello in quel passaggio sarebbero rappresentate come
una metrica di riepilogo perché l'ultima metrica della serie temporale non è rappresentativa
del modello ripristinato. L'API log_metrics
per le metriche di riepilogo
viene utilizzato a questo scopo.
Python
experiment_name
: assegna un nome all'esperimento. Puoi trovare le di esperimenti nella console Google Cloud selezionando Esperimenti nel menu di navigazione della sezione.run_name
: specifica un nome per l'esecuzione (vedistart_run
).metric
: coppie chiave-valore delle metriche. Ad esempio:{'learning_rate': 0.1}
project
: il tuo ID progetto. Puoi trovare queste informazioni nella console Google Cloud pagina di benvenuto.location
: consulta l'elenco delle località disponibili
Metriche delle serie temporali
Per registrare le metriche delle serie temporali, Vertex AI Experiments richiede un supporto Vertex AI TensorBoard.
Assegna la risorsa di supporto Vertex AI TensorBoard per la metrica delle serie temporali Logging.
Tutte le metriche hanno eseguito l'accesso
log_time_series_metrics
vengono archiviati
metriche delle serie temporali.
Vertex AI TensorBoard è l'archivio delle metriche delle serie temporali di supporto.
Il valore experiment_tensorboard
può essere impostato sia a livello di esperimento che di
esecuzione dell'esperimento. Impostazione
experiment_tensorboard
in fuga
sostituisce l'impostazione a livello di esperimento. Una volta
experiment_tensorboard
è impostato in un'esecuzione; il valore experiment_tensorboard
dell'esecuzione non può essere modificato.
- Imposta
experiment_tensorboard
a livello di esperimento:aiplatform.
init
(experiment='my-experiment', experiment_tensorboard='projects/.../tensorboard/my-tb-resource') - Imposta
experiment_tensorboard
a livello di esecuzione: Nota: sostituisce l'impostazione a livello di esperimento.aiplatform.
start_run
(run_name='my-other-run', tensorboard='projects/.../.../other-resource') aiplatform.log_time_series_metrics(...)
Python
experiment_name
: indica il nome dell'esperimento. Puoi trovare l'elenco degli esperimenti nella Console Google Cloud selezionando Esperimenti nella sezione di navigazione.run_name
: specifica un nome per l'esecuzione (vedistart_run
).metrics
: dizionario di dove le chiavi sono nomi e valori delle metriche sono valori delle metriche.step
: facoltativo. Indice dei passaggi di questo punto dati nell'esecuzione.wall_time
: facoltativo. Timestamp dell'ora di addestramento quando questo punto dati è generate dall'utente finale. Se non viene specificato, viene generato il valorewall_time
in base al valore di time.time()project
: il tuo ID progetto. Puoi trovare queste informazioni nella console Google Cloud pagina di benvenuto.location
: consulta l'elenco delle località disponibili
Passi e tempo reale
L'API log_time_series_metrics
accetta facoltativamente step
e walltime
.
step
: facoltativo. Indice dei passaggi di questo punto dati all'interno della vengono eseguiti tutti i test delle unità. Se non viene specificato, un incremento nel passaggio più recente tra tutti i valori vengono utilizzate metriche della serie già registrate. Se il passaggio esiste per una qualsiasi delle chiavi delle metriche fornite, il passaggio viene sovrascritto.wall_time
: facoltativo. I secondi dopo l'epoca metrica registrata. Se non viene fornito, l'impostazione predefinita è il linguaggiotime.time
.
Ad esempio:
aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00})
Accedi a un passaggio specifico
aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00}, step=8)
Includi wall_time
aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00}, step=10)
Parametri
I parametri sono valori di input con chiave che configurano un'esecuzione, regolano il comportamento dell'esecuzione e influire sui risultati dell'esecuzione. Alcuni esempi sono il tasso di apprendimento, il tasso di abbandono e il numero passaggi di addestramento. Registra i parametri utilizzando il metodo log_params.
Python
aiplatform.log_params({"learning_rate": 0.01, "n_estimators": 10})
experiment_name
: assegna un nome all'esperimento. Puoi trovare l'elenco degli esperimenti nella Console Google Cloud selezionando Esperimenti nella sezione di navigazione.run_name
: specifica un nome per l'esecuzione (vedistart_run
).params
: coppie chiave-valore dei parametri Ad esempio:{'accuracy': 0.9}
(vedilog_params
). pagina di benvenuto.location
: consulta l'elenco delle località disponibili
Metriche di classificazione
Oltre alle metriche di riepilogo e alle metriche delle serie temporali, sono disponibili anche matrici di confusione e curve ROC
metriche di uso comune. Possono essere registrate in Vertex AI Experiments utilizzando
log_classification_metrics
tramite Google Cloud CLI
o tramite l'API Compute Engine.
Python
experiment_name
: assegna un nome all'esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nella sezione di navigazione.run_name
: specifica un nome esecuzione (vedistart_run
).project
: il tuo ID progetto. Puoi trovare queste informazioni nella console Google Cloud pagina di benvenuto.location
: consulta l'elenco delle località disponibili.labels
: elenco dei nomi delle etichette per la matrice di confusione. Deve essere impostato se "matrix" è impostata.matrix
: valori della matrice di confusione. Deve essere impostato se "etichette" è impostata.fpr
: elenco dei tassi di falsi positivi per la curva ROC. Deve essere impostato se "tpr" o "soglie" è impostata.tpr
: elenco dei tassi di veri positivi per la curva ROC. Deve essere impostato se "fpr" o "soglie" è impostata.threshold
: elenco delle soglie per la curva ROC. Deve essere impostato se "fpr" o "tpr" è impostata.display_name
: il nome definito dall'utente per l'artefatto della metrica di classificazione.
Visualizza l'elenco delle esecuzioni dell'esperimento nella console Google Cloud
- Nella console Google Cloud, vai alla pagina Esperimenti.
Vai a Esperimenti
Viene visualizzato un elenco di esperimenti. - Seleziona l'esperimento che vuoi controllare.
elenco A il numero di esecuzioni.
Per maggiori dettagli, consulta Confrontare e analizzare le esecuzioni.