Ai fini del logging, utilizza l'SDK Vertex AI per Python.
Metriche e parametri supportati:
- metriche di riepilogo
- metriche delle serie temporali
- parametri
- metriche di classificazione
SDK Vertex AI per Python
Nota: quando il parametro facoltativo resume
viene specificato su TRUE
,
riprende l'esecuzione avviata in precedenza. Se non specificato, il valore predefinito di resume
è
FALSE
e viene creata una nuova esecuzione.
Nell'esempio seguente viene utilizzato il metodo init
delle funzioni iplatform.
Metriche di riepilogo
Le metriche di riepilogo sono metriche scalari con valore singolo archiviate accanto alle metriche delle serie temporali e rappresentano un riepilogo finale dell'esecuzione dell'esperimento.
Un caso d'uso di esempio è l'interruzione anticipata, in cui una configurazione della pazienza consente l'addestramento continuo, ma il modello candidato viene ripristinato da un passaggio precedente e le metriche calcolate per il modello in quel passaggio sarebbero rappresentate come una metrica di riepilogo perché l'ultima metrica delle serie temporali non è rappresentativa del modello ripristinato. A questo scopo viene utilizzata l'API log_metrics
per
le metriche di riepilogo.
Python
experiment_name
: assegna un nome all'esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nel menu di navigazione della sezione.run_name
: specifica un nome per l'esecuzione (vedistart_run
).metric
: coppie chiave-valore delle metriche. Ad esempio:{'learning_rate': 0.1}
project
: il tuo ID progetto. Puoi trovarli nella pagina di benvenuto della console Google Cloud.location
: consulta l'elenco delle località disponibili
Metriche delle serie temporali
Per registrare le metriche delle serie temporali, Vertex AI Experiments richiede un'istanza Vertex AI TensorBoard di supporto.
Assegnare la risorsa di supporto Vertex AI TensorBoard per il logging delle metriche delle serie temporali.
Tutte le metriche registrate tramite
log_time_series_metrics
vengono archiviate come
metriche delle serie temporali.
Vertex AI TensorBoard è l'archivio delle metriche delle serie temporali di supporto.
Il valore experiment_tensorboard
può essere impostato sia a livello di esperimento che di esecuzione dell'esperimento. L'impostazione di experiment_tensorboard
a livello di esecuzione sostituisce l'impostazione a livello di esperimento. Dopo aver impostato experiment_tensorboard
in un'esecuzione, il valore experiment_tensorboard
dell'esecuzione non può essere modificato.
- Imposta
experiment_tensorboard
a livello di esperimento:aiplatform.
init
(experiment='my-experiment', experiment_tensorboard='projects/.../tensorboard/my-tb-resource') - Imposta
experiment_tensorboard
a livello di esecuzione: Nota: esegue l'override dell'impostazione a livello di esperimento.aiplatform.
start_run
(run_name='my-other-run', tensorboard='projects/.../.../other-resource') aiplatform.log_time_series_metrics(...)
Python
experiment_name
: indica il nome dell'esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nel menu di navigazione della sezione.run_name
: specifica un nome per l'esecuzione (vedistart_run
).metrics
: dizionario in cui le chiavi sono nomi delle metriche e i valori sono valori delle metriche.step
: facoltativo. Indice dei passaggi di questo punto dati nell'esecuzione.wall_time
: facoltativo. Timestamp dell'ora di addestramento quando questo punto dati viene generato dall'utente finale. Se non viene specificato,wall_time
viene generato in base al valore da time.time()project
: il tuo ID progetto. Puoi trovarli nella pagina di benvenuto della console Google Cloud.location
: consulta l'elenco delle località disponibili
Passi e tempo reale
L'API log_time_series_metrics
accetta facoltativamente step
e walltime
.
step
: facoltativo. Indice dei passaggi di questo punto dati nell'esecuzione. Se non viene fornito, viene utilizzato un incremento nel passaggio più recente tra tutte le metriche delle serie temporali già registrate. Se il passaggio esiste per una qualsiasi delle chiavi delle metriche fornite, viene sovrascritto.wall_time
: facoltativo. I secondi dopo l'epoca della metrica registrata. Se non viene fornito, il valore predefinito ètime.time
di Python.
Ad esempio:
aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00})
Accedi a un passaggio specifico
aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00}, step=8)
Includi wall_time
aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00}, step=10)
Parametri
I parametri sono valori di input con chiave che configurano un'esecuzione, regolano il suo comportamento e ne influenzano i risultati. Alcuni esempi sono il tasso di apprendimento, il tasso di abbandono e il numero di passaggi di addestramento. Registra i parametri utilizzando il metodo log_params.
Python
aiplatform.log_params({"learning_rate": 0.01, "n_estimators": 10})
experiment_name
: assegna un nome all'esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nel menu di navigazione della sezione.run_name
: specifica un nome per l'esecuzione (vedistart_run
).params
: coppie chiave-valore di parametro Ad esempio:{'accuracy': 0.9}
(vedilog_params
). welcome.location
: consulta l'elenco delle località disponibili
Metriche di classificazione
Oltre alle metriche di riepilogo e alle metriche delle serie temporali, le matrici di confusione e le curve ROC sono metriche comunemente utilizzate. Possono essere registrate in Vertex AI Experiments utilizzando l'API log_classification_metrics
.
Python
experiment_name
: assegna un nome all'esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nel menu di navigazione della sezione.run_name
: specifica un nome esecuzione (vedistart_run
).project
: il tuo ID progetto. Puoi trovarli nella pagina di benvenuto della console Google Cloud.location
: consulta l'elenco delle località disponibili.labels
: elenco dei nomi delle etichette per la matrice di confusione. Deve essere impostato se è impostata la modalità "matrix".matrix
: valori della matrice di confusione. Deve essere impostato se si impostano "etichette".fpr
: elenco dei tassi di falsi positivi per la curva ROC. Deve essere impostato se è impostato "tpr" o "soglie".tpr
: elenco dei tassi di veri positivi per la curva ROC. Deve essere impostato se è impostato "fpr" o "soglie".threshold
: elenco delle soglie per la curva ROC. Deve essere impostato se è impostato "fpr" o "tpr".display_name
: il nome definito dall'utente per l'artefatto della metrica di classificazione.
Visualizza l'elenco delle esecuzioni dell'esperimento nella console Google Cloud
- Nella console Google Cloud, vai alla pagina Esperimenti.
Vai a Esperimenti
Viene visualizzato un elenco di esperimenti. - Seleziona l'esperimento che vuoi controllare.
Viene visualizzato un elenco di esecuzioni.
Per maggiori dettagli, consulta Confrontare e analizzare le esecuzioni.