Log di previsione online

Per i modelli tabulari AutoML, i modelli di immagine AutoML e i modelli con addestramento personalizzato, puoi abilitare o disabilitare i log di previsione durante deployment del modello o endpoint . Questa pagina spiega i diversi tipi di previsione log disponibili e come abilitarli o disabilitarli.

Tipi di log di previsione

Esistono diversi tipi di log di previsione che puoi utilizzare per ottenere informazioni dai nodi di previsione:

• Logging del container, che registra i flussi stdout e stderr dal tuo nodi di previsione in Cloud Logging. Questi log per il debug.

  • Nell'endpoint di servizio v1, il logging dei container è abilitato per impostazione predefinita. Puoi disabilitarla quando esegui il deployment di un modello. Puoi anche disattivare o Abilita il logging quando mutate del modello di cui è stato eseguito il deployment.

  • Nell'endpoint di servizio v1beta1, il logging dei container è disabilitato predefinito. Puoi abilitarla quando esegui il deployment di un modello. Puoi anche disattivare o abilita il logging quando mutate del modello di cui è stato eseguito il deployment.

  Nota: il comportamento di logging predefinito in Python invia gli output a stderr, che verrà visualizzato a livello ERROR in Cloud Logging. Se desideri i log dei container vengano visualizzati a livello di INFO; configura il tuo container per inviare output a stdout.

• Accedi al logging, che registra informazioni come timestamp e latenza per ogni richiesta a Cloud Logging.

  Il logging degli accessi è disabilitato su entrambi gli endpoint di servizio v1 e v1beta1 per impostazione predefinita. Puoi abilitare il logging degli accessi quando esegui il deployment di un modello in una endpoint.

  Nota: se hai abilitato Controlli di servizio VPC per il tuo progetto, il logging degli accessi non è supportato.

• Logging di richiesta-risposta, che registra un campione di previsioni online. richieste e risposte a una tabella BigQuery.

  Puoi abilitare il logging richiesta-risposta creando o applicando una patch al endpoint di previsione.

Puoi abilitare o disabilitare ogni tipo di log in modo indipendente.

Impostazioni del log delle previsioni

Puoi abilitare o disabilitare i log di previsione online quando crei un endpoint, eseguire il deployment di un modello nell'endpoint o modificare un modello di cui è stato eseguito il deployment.

Per aggiornare le impostazioni per i log di accesso, è necessario annullare il deployment del modello, e poi eseguire nuovamente il deployment del modello con le nuove impostazioni. Puoi aggiornare le impostazioni per i log dei container senza dover eseguire nuovamente il deployment del modello.

La previsione online con un'elevata frequenza di query al secondo (QPS) può produrre un un numero considerevole di log, che sono soggetti Prezzi di Cloud Logging. Per stimare i prezzi per per i log delle previsioni online, Stima delle fatture per il logging. Per ridurre questo costo, puoi disabilitare il logging delle previsioni.

Abilita e disabilita i log di previsione

I seguenti esempi evidenziano dove modificare le impostazioni di log predefinite:

Console

Quando esegui il deployment di un modello su un endpoint o crei un nuovo endpoint Nella console Google Cloud, puoi specificare quali tipi di log di previsione abilitare nel passaggio Logging. Seleziona le caselle di controllo per attivare Accedi al logging o Logging dei container o deseleziona le caselle di controllo per disattivare i log.

Utilizza l'API REST per aggiornare le impostazioni per i log dei container.

Utilizza l'API REST per abilitare il logging di richiesta-risposta. La La console Google Cloud e gcloud CLI non supportano richiesta-risposta configurazione del logging.

Per saperne di più su come eseguire il deployment dei modelli, consulta Esegui il deployment di un modello utilizzando la console Google Cloud.

gcloud

Per modificare il comportamento predefinito per cui i log sono abilitati in di cui è stato eseguito il deployment, aggiungi flag al tuo comando gcloud:

Endpoint di servizio v1

Esegui gcloud ai endpoints deploy-model:

gcloud ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --disable-container-logging \
  --enable-access-logging

Endpoint di servizio v1beta1

Esegui gcloud beta ai endpoints deploy-model:

gcloud beta ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --enable-access-logging \
  --enable-container-logging

Utilizza l'API REST per aggiornare le impostazioni per i log dei container.

Utilizza l'API REST per abilitare il logging di richiesta-risposta. La La console Google Cloud e gcloud CLI non supportano richiesta-risposta configurazione del logging.

Per saperne di più su come eseguire il deployment dei modelli, consulta Eseguire il deployment di un modello utilizzando l'API Vertex AI.

REST

Per modificare il comportamento predefinito per cui i log sono abilitati in di cui è stato eseguito il deployment, imposta i campi pertinenti su True:

Endpoint di servizio v1

Per disabilitare il logging del container, imposta il campo disableContainerLogging su True quando chiami projects.locations.endpoints.deployModel o projects.locations.endpoints.mutateDeployedModel.

Per attivare il logging degli accessi, imposta enableAccessLogging su True quando esegui il deployment del tuo modello projects.locations.endpoints.deployModel.

Endpoint di servizio v1beta1

Per abilitare il logging dei container, imposta il campo enableContainerLogging su True quando chiami projects.locations.endpoints.deployModel o projects.locations.endpoints.mutateDeployedModel.

Per attivare il logging degli accessi, imposta enableAccessLogging su True quando esegui il deployment del tuo modello projects.locations.endpoints.deployModel.

Per saperne di più su come eseguire il deployment dei modelli, consulta Eseguire il deployment di un modello utilizzando l'API Vertex AI.

Logging di richieste-risposte

Puoi abilitare il logging richiesta-risposta solo quando invii una utilizzando l'endpoint projects.locations.endpoints.create o applicare una patch a una utilizzando projects.locations.endpoints.patch.

Il logging di richiesta-risposta avviene a livello di endpoint, quindi le richieste inviati a qualsiasi modello di cui è stato eseguito il deployment nello stesso endpoint vengono registrati.

Quando crei o applichi la patch a un endpoint, compila il campo Campo predictRequestResponseLoggingConfig della risorsa endpoint con le seguenti voci:

• enabled: imposta il valore True per attivare il logging delle richieste e delle risposte.

• samplingPercentage: un numero compreso tra 0 e 1 che definisce la frazione di per le richieste di log. Ad esempio, imposta questo valore su 1 per registrare tutti richieste o a 0.1 per registrare il 10% delle richieste.

• BigQueryDestination: la tabella BigQuery da utilizzare per il logging. Se specifichi solo il nome di un progetto, viene creato un nuovo set di dati il nome logging_ENDPOINT_DISPLAY_NAME_ENDPOINT_ID, dove ENDPOINT_DISPLAY_NAME segue Regole di denominazione BigQuery. Se non specifichi una tabella viene creata una nuova tabella con il nome request_response_logging.

  Lo schema per la tabella BigQuery dovrebbe essere simile al seguente:

  Nome campo	Tipo	Modalità
  endpoint	STRINGA	NULLABLE
  deployed_model_id	STRINGA	NULLABLE
  logging_time	TIMESTAMP	NULLABLE
  request_id	NUMERICO	NULLABLE
  request_payload	STRINGA	REPEATED
  response_payload	STRINGA	REPEATED

Di seguito è riportato un esempio di configurazione:

{
   "predict_request_response_logging_config": {
     "enabled": true,
     "sampling_rate": 0.5,
     "bigquery_destination": {
       "output_uri": "bq://PROJECT_ID.DATASET_NAME.TABLE_NAME"
     }
   }
}

Logging richiesta-risposta e monitoraggio dei modelli v1

Logging di richiesta-risposta e utilizzo di Model Monitoring v1 la stessa tabella BigQuery sul backend per registrare le richieste in entrata. Per evitare modifiche impreviste a questa tabella BigQuery, il Quando si utilizzano entrambe le funzionalità contemporaneamente, vengono applicate le seguenti limitazioni:

• Se per un endpoint è abilitato il monitoraggio dei modelli, non puoi Abilita il logging di richiesta-risposta per lo stesso endpoint.

• Se abiliti il logging delle richieste-risposte e Model Monitoring sullo stesso endpoint, non potrai per modificare la configurazione del logging richiesta-risposta.

Passaggi successivi

• Fai una stima dei prezzi per la previsione online log.
• Esegui il deployment di un modello usando la console Google Cloud oppure utilizzando l'API Vertex AI.
• Scopri come creare una tabella BigQuery.