Visualizzazione dell'architettura del modello con Cloud Logging

Questa pagina fornisce informazioni su come utilizzare Cloud Logging per visualizzare i dettagli di un modello di AutoML Tables. Utilizzando il logging, puoi vedere gli iperparametri finali del modello, così come gli iperparametri e i valori degli oggetti utilizzati durante l'addestramento e l'ottimizzazione del modello.

Puoi anche visualizzare i log generali di AutoML Tables nel tuo progetto.

Dati registrati

I messaggi di logging prodotti da AutoML Tables forniscono:

  • Iperparametri in modello finale come coppie chiave-valore.
  • Iperparametri utilizzati durante le prove di ottimizzazione, nonché un valore obiettivo.

Per impostazione predefinita, i log vengono eliminati dopo 30 giorni.

Prima di iniziare

Autorizzazioni richieste per questa attività

Per eseguire questa attività, devi disporre delle seguenti autorizzazioni:

  • logging.logServiceIndexes.list nel progetto
  • logging.logServices.list nel progetto

Visualizzazione dei log di addestramento

Accesso ai log dei modelli da Google Cloud Console

Puoi accedere ai log degli iperparametri finali e ai log degli iperparametri di correzione direttamente da AutoML Tables.

  1. Vai alla pagina AutoML Tables in Google Cloud Console.

    Vai alla pagina Tabelle AutoML

  2. Seleziona la scheda Modelli nel riquadro di navigazione a sinistra e fai clic sul nome del modello per aprire il modello.

  3. Seleziona la scheda Modelli.

    Dettagli modello, che mostra i link "Modello" e "Prove"

  4. Per visualizzare i log finali degli iperparametri, fai clic su Modello.

  5. Per visualizzare gli iperparametri di prova di ottimizzazione, fai clic su Prove.

  6. Espandi il payload come mostrato di seguito:

    Log dei modelli espansi

Lettura dei log dell'architettura del modello

I log delle attività sono strutturati come descritto nella documentazione del tipo LogEntry.

I log del modello AutoML Tables includono, tra gli altri campi:

  • automl_tables come valore del campo log_type
  • jsonPayload che contiene i dettagli specifici della voce di log
  • timestamp che descrive quando è stato creato il modello

Payload content (Contenuti payload)

I contenuti di una voce di log vengono forniti in formato JSON e sono archiviati nel campo jsonPayload. Il campo jsonPayload contiene le seguenti informazioni.

Campo Tipo Descrizione
modelStructure JSON

Una descrizione della struttura del modello Tabelle AutoML. Questo campo contiene uno o più campi modelParameters che contengono gli iperparametri di ogni modello utilizzato. Quando vengono utilizzati più modelli, questi vengono combinati come insieme per creare il modello finale.

Consulta l'elenco degli iperparametri per maggiori dettagli.

trainingObjectivePoint JSON L'obiettivo di ottimizzazione utilizzato per l'addestramento del modello. Questa voce include un timestamp e un valore obiettivo al momento della registrazione della voce di log.

Elenco di iperparametri

I dati degli iperparametri specificati nei log sono diversi a seconda del tipo di modello. Le seguenti sezioni descrivono gli iperparametri per ogni tipo di modello.

Modelli di AdaNet

  • Tipo di modello: AdaNet
  • Lambda AdaNet
  • Tipo di complessità
  • Numero iniziale di livelli
  • Ultimo tipo di livello (logits o prelogits)
  • Aumenta le dimensioni del livello
  • Scopri le ponderazioni della miscela (True o False)
  • Scopri i residui (True o False)
  • Aumento delle iterazioni
  • Ottimizzatore (adagrad o adam)

    Riferimento Python open source

Modelli di AutoEnsemble di AdaNet

  • Tipo di modello: AdaNet AutoEnsembler
  • Il numero di livelli nascosti
  • Dimensione del livello nascosto
  • Escludi
  • Intensità regolazione L1
  • Intensità regolazione L2
  • Intensità di restringimento L2
  • Complessità dell'albero
  • Profondità massima albero
  • Bias di centro (True o False)
  • Modalità di crescita (layer o tree)
  • Aumento delle iterazioni
  • Strumento per ottimizzare la DNN (adagrad o adam)

    Riferimento Python open source

Modelli lineari DNN

  • Tipo di modello: DNNLinear
  • Il numero di livelli nascosti
  • Dimensione del livello nascosto
  • Escludi
  • Intensità regolazione L1
  • Intensità regolazione L2
  • Intensità di restringimento L2

    Riferimento Python open source

Modelli di albero decisionale basato sulle sfumature

  • Tipo di modello: GDBT
  • Profondità massima albero
  • Standardizzazione L1 albero
  • Normalizzazione albero L2
  • Complessità dell'albero
  • Numero di alberi
  • Bias di centro (True o False)

    Riferimento Python open source

Modelli di rete neurale in feed

  • Tipo di modello: nn
  • Dimensione del livello nascosto
  • Tasso di abbandono
  • Attiva l'incorporamento numerico (True o False)
  • Attiva L1 (True o False)
  • Attiva L2 (True o False)
  • Attiva l'incorporamento L1 (True o False)
  • Attiva l'incorporamento di L2 (True o False)
  • Attiva LayerNorm (True o False)
  • Attiva batchNorm (True o False)
  • Il numero di livelli nascosti
  • Numero di livelli incrociati
  • Ignora tipo di connessione (dense, disable, concat o slice_or_padding)
  • Normalizza la colonna numerica (True o False)

Voci di log di esempio

L'esempio seguente mostra una voce di log per l'architettura del modello finale per un modello nn, come indicato dal parametro model_type. Se sono stati utilizzati più di un modello per creare il modello finale, gli iperparametri per ogni modello vengono restituiti come una voce nell'array modelParameters, indicizzati per posizione (0, 1, 2 e così via).

{
 insertId: "qx7z0ifhtjpkv"
 jsonPayload: {
  @type: "type.googleapis.com/google.cloud.automl.master.TuningTrial"
  modelStructure: {
   modelParameters: [
    0: {
      Dropout rate: 0.75
      Embedding numerical embedding: "True"
      Enable L1: "False"
      Enable L2: "False"
      Enable batchNorm: "True"
      Enable embedding L1: "False"
      Enable embedding L2: "False"
      Enable layerNorm: "False"
      Hidden layer size: 16
      Normalize numerical column: "True"
      Number of cross layers: "1"
      Number of hidden layers: "2"
      Skip connections type: "dense"
      Model type: "nn"
    }
   ]
  }
  trainingObjectivePoint: {
   createTime: "2019-10-15T04:52:00Z"
   value: 0.002069325
  }
 }
 labels: {
  log_type: "automl_tables"
 }
 logName: "projects/project-id/logs/automl.googleapis.com%2Ftuning"
 receiveTimestamp: "2019-10-15T10:46:06.916277805Z"
 resource: {
  labels: {
   job_id: "109476078648557568"
   project_id: "project-id"
   region: "us-central1"
  }
  type: "cloudml_job"
 }
 severity: "INFO"
 timestamp: "2019-10-15T10:46:06.916277805Z"
}

L'esempio seguente mostra una voce di log per l'architettura del modello durante l'ottimizzazione.

{
 insertId: "nl7815f7p0cjb"
 jsonPayload: {
  @type: "type.googleapis.com/google.cloud.automl.master.TuningTrial"
  modelStructure: {
   modelParameters: [
    0: {
     hyperparameters: {
      Boosting iterations: "2"
      Grow layer size: "30"
      Initial number of layers: "1"
      Last layer type: "prelogits"
      Learn residuals: "False"
      Model type: "AdaNet"
      Optimizer: "adam"
      }
    }
   ]
  }
  trainingObjectivePoint: {
   createTime: "2019-10-13T20:42:25Z"
   value: 0.0000011595778
  }
 }
 labels: {
  log_type: "automl_tables"
 }
 logName: "projects/project-id/logs/automl.googleapis.com%2Ftuning"
 receiveTimestamp: "2019-10-13T21:20:08.189302731Z"
 resource: {
  labels: {
   job_id: "2804289077287845888"
   project_id: "project-id"
   region: "us-central1"
  }
  type: "cloudml_job"
 }
 severity: "INFO"
 timestamp: "2019-10-13T21:20:08.189302731Z"
}

Visualizzazione dei log generali di AutoML Tables

Puoi visualizzare i log delle attività del progetto tramite Logs Explorer in Google Cloud Console:

  1. Vai alla pagina Logging in Google Cloud Console.
  2. In Esplora log, seleziona e filtra il tipo di risorsa dal primo menu a discesa.
  3. Seleziona automl.googleapis.com/setup dal menu a discesa Tutti i log per visualizzare i log di AutoML Tables.

Esportazione dei log

Puoi esportare i log su BigQuery, Cloud Storage o Pub/Sub.

Per scoprire come esportare i log delle attività, consulta la sezione Configurare l'esportazione dei log nella documentazione di Logging.