Usa il logging delle previsioni online

Per i modelli tabulari AutoML, i modelli di immagini AutoML e i modelli con addestramento personalizzato, puoi attivare o disattivare i log di previsione durante il deployment del modello o la creazione dell'endpoint. Questa pagina spiega i diversi tipi di previsione log disponibili e come abilitarli o disabilitarli.

Tipi di log di previsione

Esistono diversi tipi di log di previsione che puoi utilizzare per ottenere informazioni dai nodi di previsione:

• Logging dei container, che registra gli stream stdout e stderr dai tuoi nodi di previsione in Cloud Logging. Questi log sono necessari per il debug.

  • Nell'endpoint del servizio v1, il logging dei container è abilitato per impostazione predefinita. Puoi disattivarlo quando esegui il deployment di un modello. Puoi anche disattivare o attivare il logging quando mutui il modello di cui è stato eseguito il deployment.

  • Nell'endpoint del servizio v1beta1, il logging dei container è disabilitato per impostazione predefinita. Puoi abilitarla quando esegui il deployment di un modello. Puoi anche disattivare o attivare il logging quando mutui il modello di cui è stato eseguito il deployment.

  Nota: il comportamento di registrazione predefinito in Python invia gli output a stderr, che verrà visualizzato a livello di ERROR in Cloud Logging. Se vuoi che i log del contenitore vengano visualizzati a livello di INFO, configura il logging del contenitore in modo da inviare gli output a stdout.

• Access logging, che registra informazioni come timestamp e latenza per ogni richiesta in Cloud Logging.

  In entrambi gli endpoint di servizio v1 e v1beta1, il logging degli accessi è disattivato per impostazione predefinita. Puoi attivare il logging degli accessi quando esegui il deployment di un modello in un endpoint.

  Nota: se hai abilitato Controlli di servizio VPC per il tuo progetto, il logging degli accessi non è supportato.

• Registrazione delle richieste e delle risposte, che registra un campione di richieste e risposte di previsione online in una tabella BigQuery.

  Puoi abilitare il logging richiesta-risposta creando o applicando una patch al dell'endpoint di previsione.

Puoi attivare o disattivare ciascun tipo di log in modo indipendente.

Impostazioni del log delle previsioni

Puoi attivare o disattivare i log di previsione online quando crei un endpoint, esegui il deployment di un modello nell'endpoint o esegui la mutazione di un modello di cui è stato eseguito il deployment.

Per aggiornare le impostazioni per i log di accesso, devi eseguire il ritiro del modello e poi ridistribuirlo con le nuove impostazioni. Puoi aggiornare le impostazioni per i log dei container senza dover eseguire nuovamente il deployment del modello.

La previsione online con un'elevata frequenza di query al secondo (QPS) può produrre un un numero considerevole di log, che sono soggetti Prezzi di Cloud Logging. Per stimare i prezzi per per i log delle previsioni online, Stima delle fatture per il logging. Per ridurre questo costo, puoi disabilitare il logging delle previsioni.

Abilita e disabilita i log di previsione

Gli esempi riportati di seguito mostrano dove modificare le impostazioni di log predefinite:

Console

Quando esegui il deployment di un modello in un endpoint o ne crei uno nuovo nella console Google Cloud, puoi specificare i tipi di log di previsione da attivare nel passaggio Logging. Seleziona le caselle di controllo per attivare Accedi al logging o Logging dei container o deseleziona le caselle di controllo per disattivare i log.

Utilizza l'API REST per aggiornare le impostazioni dei log dei container.

Utilizza l'API REST per attivare il logging delle richieste e delle risposte. La console Google Cloud e il client gcloud non supportano la configurazione del logging richiesta-risposta.

Per saperne di più su come eseguire il deployment dei modelli, consulta Esegui il deployment di un modello utilizzando la console Google Cloud.

gcloud

Per modificare il comportamento predefinito per i log abilitati nei modelli di cui è stato eseguito il deployment, aggiungi flag al comando gcloud:

Endpoint di servizio v1

Esegui gcloud ai endpoints deploy-model:

gcloud ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --disable-container-logging \
  --enable-access-logging

Endpoint di servizio v1beta1

Esegui gcloud beta ai endpoints deploy-model:

gcloud beta ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --enable-access-logging \
  --enable-container-logging

Utilizza l'API REST per aggiornare le impostazioni dei log dei container.

Utilizza l'API REST per abilitare il logging delle richieste e delle risposte. La La console Google Cloud e gcloud CLI non supportano richiesta-risposta configurazione del logging.

Per saperne di più su come eseguire il deployment dei modelli, consulta Eseguire il deployment di un modello utilizzando l'API Vertex AI.

REST

Per modificare il comportamento predefinito per cui i log sono abilitati in di cui è stato eseguito il deployment, imposta i campi pertinenti su True:

Endpoint di servizio v1

Per disattivare il logging dei container, imposta il campo disableContainerLogging su True quando chiami projects.locations.endpoints.deployModel o projects.locations.endpoints.mutateDeployedModel.

Per attivare il logging degli accessi, imposta enableAccessLogging su True quando esegui il deployment del tuo modello projects.locations.endpoints.deployModel.

Endpoint di servizio v1beta1

Per abilitare il logging dei container, imposta il campo enableContainerLogging su True quando chiami projects.locations.endpoints.deployModel o projects.locations.endpoints.mutateDeployedModel.

Per attivare il logging degli accessi, imposta enableAccessLogging su True quando esegui il deployment del tuo modello projects.locations.endpoints.deployModel.

Per maggiori informazioni su come eseguire il deployment dei modelli, consulta Eseguire il deployment di un modello mediante l'API Vertex AI.

Logging di richieste-risposte

Puoi attivare il logging delle richieste e delle risposte solo quando invii un messaggio create an endpoint (Crea un endpoint) utilizzando projects.locations.endpoints.create o esegui la patch di un endpoint esistente utilizzando projects.locations.endpoints.patch.

Il logging di richiesta-risposta avviene a livello di endpoint, quindi le richieste inviati a qualsiasi modello di cui è stato eseguito il deployment nello stesso endpoint vengono registrati.

Quando crei o esegui la patch di un endpoint, compila il campo predictRequestResponseLoggingConfig della risorsa endpoint con le seguenti voci:

• enabled: impostato su True per abilitare il logging delle richieste e delle risposte.

• samplingPercentage: un numero compreso tra 0 e 1 che definisce la frazione di richieste da registrare. Ad esempio, imposta questo valore su 1 per registrare tutti richieste o a 0.1 per registrare il 10% delle richieste.

• BigQueryDestination: la tabella BigQuery da utilizzare per il logging. Se specifichi solo il nome di un progetto, viene creato un nuovo set di dati il nome logging_ENDPOINT_DISPLAY_NAME_ENDPOINT_ID, dove ENDPOINT_DISPLAY_NAME segue Regole di denominazione BigQuery. Se non specifichi un nome tabella, viene creata una nuova tabella con il nome request_response_logging.

  Lo schema della tabella BigQuery dovrebbe avere il seguente aspetto:

  Nome campo	Tipo	Modalità
  endpoint	STRING	NULLABLE
  deployed_model_id	STRING	NULLABLE
  logging_time	TIMESTAMP	NULLABLE
  request_id	NUMERICO	NULLABLE
  request_payload	STRING	REPEATED
  response_payload	STRING	REPEATED

Di seguito è riportato un esempio di configurazione:

{
   "predict_request_response_logging_config": {
     "enabled": true,
     "sampling_rate": 0.5,
     "bigquery_destination": {
       "output_uri": "bq://PROJECT_ID.DATASET_NAME.TABLE_NAME"
     }
   }
}

Logging richiesta-risposta e monitoraggio dei modelli v1

Logging di richiesta-risposta e utilizzo di Model Monitoring v1 la stessa tabella BigQuery sul backend per registrare le richieste in entrata. Per evitare modifiche impreviste a questa tabella BigQuery, quando utilizzi entrambe le funzionalità contemporaneamente vengono applicate le seguenti limitazioni:

• Se per un endpoint è abilitato il monitoraggio dei modelli, non puoi attivare il logging delle richieste e delle risposte per lo stesso endpoint.

• Se attivi il logging delle richieste e delle risposte e poi il monitoraggio dei modelli nello stesso endpoint, non potrai modificare la configurazione del logging delle richieste e delle risposte.

Passaggi successivi

• Stima i prezzi per il logging della previsione online.
• Esegui il deployment di un modello utilizzando la console Google Cloud o utilizzando l'API Vertex AI.
• Scopri come creare una tabella BigQuery.