Per i modelli tabulari AutoML, i modelli di immagine AutoML e i modelli con addestramento personalizzato, puoi abilitare o disabilitare i log di previsione durante deployment del modello o endpoint . Questa pagina spiega i diversi tipi di previsione log disponibili e come abilitarli o disabilitarli.
Tipi di log di previsione
Esistono diversi tipi di log di previsione che puoi utilizzare per ottenere informazioni dai nodi di previsione:
Logging dei container, che registra i flussi
stdout
estderr
dal tuo nodi di previsione in Cloud Logging. Questi log per il debug.Nell'endpoint di servizio
v1
, il logging dei container è abilitato per impostazione predefinita. Puoi disabilitarla quando esegui il deployment di un modello. Puoi anche disattivare o Abilita il logging quando modifichi del modello di cui è stato eseguito il deployment.Nell'endpoint di servizio
v1beta1
, il logging dei container è disabilitato predefinito. Puoi abilitarla quando esegui il deployment di un modello. Puoi anche disattivare o abilita il logging quando modifichi del modello di cui è stato eseguito il deployment.
Accedi al logging, che registra informazioni come timestamp e latenza per ogni richiesta a Cloud Logging.
Il logging degli accessi è disabilitato su entrambi gli endpoint di servizio
v1
ev1beta1
per impostazione predefinita. Puoi abilitare il logging degli accessi quando esegui il deployment di un modello in una endpoint.Logging di richiesta-risposta, che registra un campione di previsioni online. richieste e risposte a una tabella BigQuery.
Puoi abilitare il logging richiesta-risposta creando o applicando una patch al endpoint di previsione.
Puoi abilitare o disabilitare ogni tipo di log in modo indipendente.
Impostazioni del log delle previsioni
Puoi abilitare o disabilitare i log di previsione online quando crei un endpoint, eseguire il deployment di un modello nell'endpoint o modificare un modello di cui è stato eseguito il deployment.
Per aggiornare le impostazioni per i log di accesso, è necessario annullare il deployment del modello, e poi eseguire nuovamente il deployment del modello con le nuove impostazioni. Puoi aggiornare le impostazioni per i log dei container senza dover eseguire nuovamente il deployment del modello.
La previsione online con un'elevata frequenza di query al secondo (QPS) può produrre un un numero considerevole di log, che sono soggetti Prezzi di Cloud Logging. Per stimare i prezzi per per i log delle previsioni online, Stima delle fatture per il logging. Per ridurre questo costo, puoi disabilitare il logging delle previsioni.
Abilita e disabilita i log di previsione
I seguenti esempi evidenziano dove modificare le impostazioni di log predefinite:
Console
Quando esegui il deployment di un modello su un endpoint o crei un nuovo endpoint Nella console Google Cloud, puoi specificare quali tipi di log di previsione abilitare nel passaggio Logging. Seleziona le caselle di controllo per attivare Accedi al logging o Logging dei container o deseleziona le caselle di controllo per disattivare i log.
Utilizza l'API REST per aggiornare le impostazioni per i log dei container.
Utilizza l'API REST per abilitare il logging di richiesta-risposta. La La console Google Cloud e gcloud CLI non supportano richiesta-risposta configurazione del logging.
Per saperne di più su come eseguire il deployment dei modelli, consulta Esegui il deployment di un modello utilizzando la console Google Cloud.
gcloud
Per modificare il comportamento predefinito per cui i log sono abilitati in
di cui è stato eseguito il deployment, aggiungi flag al tuo comando gcloud
:
Endpoint di servizio v1
Esegui gcloud ai endpoints deploy-model
:
gcloud ai endpoints deploy-model ENDPOINT_ID\
--region=LOCATION \
--model=MODEL_ID \
--display-name=DEPLOYED_MODEL_NAME \
--machine-type=MACHINE_TYPE \
--accelerator=count=2,type=nvidia-tesla-t4 \
--disable-container-logging \
--enable-access-logging
Endpoint di servizio v1beta1
Esegui gcloud beta ai endpoints deploy-model
:
gcloud beta ai endpoints deploy-model ENDPOINT_ID\
--region=LOCATION \
--model=MODEL_ID \
--display-name=DEPLOYED_MODEL_NAME \
--machine-type=MACHINE_TYPE \
--accelerator=count=2,type=nvidia-tesla-t4 \
--enable-access-logging \
--enable-container-logging
Utilizza l'API REST per aggiornare le impostazioni per i log dei container.
Utilizza l'API REST per abilitare il logging di richiesta-risposta. La La console Google Cloud e gcloud CLI non supportano richiesta-risposta configurazione del logging.
Per saperne di più su come eseguire il deployment dei modelli, consulta Eseguire il deployment di un modello utilizzando l'API Vertex AI.
REST
Per modificare il comportamento predefinito per cui i log sono abilitati in
di cui è stato eseguito il deployment, imposta i campi pertinenti su True
:
Endpoint di servizio v1
Per disabilitare il logging del container, imposta il campo disableContainerLogging
su
True
quando chiami
projects.locations.endpoints.deployModel
o projects.locations.endpoints.mutateDeployedModel
.
Per attivare il logging degli accessi, imposta enableAccessLogging
su True
quando esegui il deployment del tuo modello
projects.locations.endpoints.deployModel
.
Endpoint di servizio v1beta1
Per abilitare il logging dei container, imposta il campo enableContainerLogging
su
True
quando chiami
projects.locations.endpoints.deployModel
o projects.locations.endpoints.mutateDeployedModel
.
Per attivare il logging degli accessi, imposta enableAccessLogging
su True
quando esegui il deployment del tuo modello
projects.locations.endpoints.deployModel
.
Per saperne di più su come eseguire il deployment dei modelli, consulta Eseguire il deployment di un modello utilizzando l'API Vertex AI.
Logging di richieste-risposte
Puoi abilitare il logging richiesta-risposta solo quando invii una
utilizzando l'endpoint
projects.locations.endpoints.create
o applicare una patch a una
utilizzando projects.locations.endpoints.patch
.
Il logging di richiesta-risposta avviene a livello di endpoint, quindi le richieste inviati a qualsiasi modello di cui è stato eseguito il deployment nello stesso endpoint vengono registrati.
Quando crei o applichi la patch a un endpoint, compila il campo
Campo predictRequestResponseLoggingConfig
della risorsa endpoint
con le seguenti voci:
enabled
: imposta il valoreTrue
per attivare il logging delle richieste e delle risposte.samplingPercentage
: un numero compreso tra 0 e 1 che definisce la frazione di per le richieste di log. Ad esempio, imposta questo valore su1
per registrare tutti richieste o a0.1
per registrare il 10% delle richieste.BigQueryDestination
: la tabella BigQuery da utilizzare per il logging. Se specifichi solo il nome di un progetto, viene creato un nuovo set di dati il nomelogging_ENDPOINT_DISPLAY_NAME_ENDPOINT_ID
, doveENDPOINT_DISPLAY_NAME
segue Regole di denominazione BigQuery. Se non specifichi una tabella viene creata una nuova tabella con il nomerequest_response_logging
.Lo schema per la tabella BigQuery dovrebbe essere simile al seguente:
Nome campo Tipo Modalità endpoint
STRINGA NULLABLE deployed_model_id
STRINGA NULLABLE logging_time
TIMESTAMP NULLABLE request_id
NUMERICO NULLABLE request_payload
STRINGA REPEATED response_payload
STRINGA REPEATED
Di seguito è riportato un esempio di configurazione:
{ "predict_request_response_logging_config": { "enabled": true, "sampling_rate": 0.5, "bigquery_destination": { "output_uri": "bq://PROJECT_ID.DATASET_NAME.TABLE_NAME" } } }
Logging richiesta-risposta e monitoraggio dei modelli v1
Logging di richiesta-risposta e utilizzo di Model Monitoring v1 la stessa tabella BigQuery sul backend per registrare le richieste in entrata. Per evitare modifiche impreviste a questa tabella BigQuery, il Quando si utilizzano entrambe le funzionalità contemporaneamente, vengono applicate le seguenti limitazioni:
Se in un endpoint è abilitato il monitoraggio dei modelli, non puoi Abilita il logging di richiesta-risposta per lo stesso endpoint.
Se abiliti la registrazione richiesta-risposta e Model Monitoring sullo stesso endpoint, non potrai per modificare la configurazione del logging richiesta-risposta.
Passaggi successivi
- Fai una stima dei prezzi per la previsione online log.
- Esegui il deployment di un modello usando la console Google Cloud oppure utilizzando l'API Vertex AI.
- Scopri come creare una tabella BigQuery.