Registra automaticamente i dati per l'esecuzione di un esperimento

Autologging è una funzionalità dell'SDK Vertex AI che registra automaticamente parametri e metriche dalle esecuzioni di addestramento dei modelli in Vertex AI Experiments. Ciò consente di risparmiare tempo e fatica, eliminando la necessità di registrare manualmente i dati. Attualmente, il logging automatico supporta solo il logging di parametri e metriche.

Dati di Autolog

Esistono due opzioni per registrare automaticamente i dati in Vertex AI Experiments.

  1. Consenti all'SDK Vertex AI di creare automaticamente risorse ExperimentRun.
  2. Specifica la risorsa ExampleRun in cui vuoi che vengano scritti i parametri e le metriche con registrazione automatica.

Creato automaticamente

L'SDK Vertex AI per Python gestisce la creazione di risorse ExampleRun al posto tuo. Le risorse esperimentoRun create automaticamente avranno un nome esecuzione nel seguente formato: {ml-framework-name}-{timestamp}-{uid}, ad esempio: "tensorflow-2023-01-04-16-09-20-86a88".

L'esempio seguente utilizza il metodo init, dalle funzioni pacchetto di aiplatform.

Python

def autologging_with_auto_run_creation_sample(
    experiment_name: str,
    project: str,
    location: str,
    experiment_tensorboard: Optional[Union[str, aiplatform.Tensorboard]] = None,
):
    aiplatform.init(
        experiment=experiment_name,
        project=project,
        location=location,
        experiment_tensorboard=experiment_tensorboard,
    )

    aiplatform.autolog()

    # Your model training code goes here

    aiplatform.autolog(disable=True)
  • experiment_name: assegna un nome all'esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nel menu di navigazione delle sezioni.
  • experiment_tensorboard: (facoltativo) fornisci un nome per l'istanza di Vertex AI TensorBoard.
  • project: il tuo ID progetto. Puoi trovare questi ID progetto nella pagina di benvenuto della console Google Cloud.
  • location: consulta l'elenco delle località disponibili

Specificato dall'utente

Fornisci i tuoi nomi ExampleRun e fai in modo che le metriche e i parametri di più esecuzioni di addestramento dei modelli vengano registrati nella stessa ExampleRun. Tutte le metriche dal modello all'esecuzione attuale impostate chiamando aiplatform.start_run("your-run-name") fino alla chiamata di aiplatform.end_run().

L'esempio seguente utilizza il metodo init, dalle funzioni pacchetto di aiplatform.

Python

def autologging_with_manual_run_creation_sample(
    experiment_name: str,
    run_name: str,
    project: str,
    location: str,
    experiment_tensorboard: Optional[Union[str, aiplatform.Tensorboard]] = None,
):
    aiplatform.init(
        experiment=experiment_name,
        project=project,
        location=location,
        experiment_tensorboard=experiment_tensorboard,
    )

    aiplatform.autolog()

    aiplatform.start_run(run=run_name)

    # Your model training code goes here

    aiplatform.end_run()

    aiplatform.autolog(disable=True)
  • experiment_name: indica il nome dell'esperimento.
  • run_name: assegna un nome all'esecuzione dell'esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nel menu di navigazione delle sezioni.
  • project: il tuo ID progetto. Puoi trovare questi ID progetto nella pagina di benvenuto della console Google Cloud.
  • location: consulta l'elenco delle località disponibili
  • experiment_tensorboard: (facoltativo) fornisci un nome per l'istanza di Vertex AI TensorBoard.

Il logging automatico dell'SDK Vertex AI utilizza la registrazione automatica di MLFlow nella sua implementazione. Le metriche e i parametri di valutazione dei seguenti framework vengono registrati in ExampleRun quando è abilitato il logging automatico.

  • IAI
  • Gluon
  • Keras
  • LightGBM
  • Fulmine di Pytorch
  • Scikit-learn
  • Spark
  • Modelli di statistica
  • XGBoost

Visualizza parametri e metriche registrati automaticamente

Usa l'SDK Vertex AI per Python per confrontare le esecuzioni e ottenere i dati delle esecuzioni. La console Google Cloud offre un modo semplice per confrontare queste esecuzioni.

Esempio di blocco note pertinente

Blog post