Monitoraggio di disallineamenti e deviazioni delle caratteristiche

Questa pagina descrive come creare, gestire e interpretare i risultati dei job di monitoraggio dei modelli per i modelli di cui è stato eseguito il deployment negli endpoint di previsione online. Vertex AI Model Monitoring supporta il rilevamento di disallineamento e deriva delle caratteristiche per caratteristiche di input categorici e numerici.

Quando viene eseguito il deployment di un modello in produzione con il monitoraggio dei modelli abilitato, le richieste di previsione in entrata vengono registrate in una tabella BigQuery nel tuo progetto Google Cloud. I valori delle funzionalità di input contenuti nelle richieste registrate vengono quindi analizzati per rilevare eventuali disallineamenti o deviazioni.

Puoi abilitare il rilevamento del disallineamento se fornisci il set di dati di addestramento originale per il modello; in caso contrario, devi abilitare il rilevamento delle deviazioni. Per ulteriori informazioni, consulta Introduzione al monitoraggio dei modelli di Vertex AI.

Prerequisiti

Per utilizzare Model Monitoring, segui questi passaggi:

  1. Avere un modello disponibile in Vertex AI che sia un AutoML tabulare o un tipo di addestramento personalizzato tabulare importato.

    • Se utilizzi un endpoint esistente, assicurati che tutti i modelli di cui è stato eseguito il deployment in base all'endpoint siano tipi tabulari AutoML o di addestramento personalizzato importati.
  2. Se abiliti il rilevamento del disallineamento, carica i dati di addestramento in Cloud Storage o BigQuery e ottieni il link dell'URI ai dati. Per il rilevamento delle deviazioni, non sono richiesti dati di addestramento.

  3. (Facoltativo) Per i modelli con addestramento personalizzato, carica lo schema dell'istanza di analisi per il tuo modello in Cloud Storage. Model Monitoring richiede che lo schema inizi il processo di monitoraggio e calcoli la distribuzione di riferimento per il rilevamento del disallineamento. Se non fornisci lo schema durante la creazione del job, quest'ultimo rimane in stato In attesa finché Model Monitoring non riesce ad analizzare automaticamente lo schema delle prime 1000 richieste di previsione ricevute dal modello.

Crea un job di monitoraggio dei modelli

Per configurare il rilevamento del disallineamento o delle deviazioni, crea un job di monitoraggio del deployment del modello:

Console

Per creare un job di monitoraggio del deployment dei modelli utilizzando la console Google Cloud, crea un endpoint:

  1. Nella console Google Cloud, vai alla pagina Vertex AI Endpoints.

    Vai a Endpoints

  2. Fai clic su Crea endpoint.

  3. Nel riquadro Nuovo endpoint, assegna un nome all'endpoint e imposta una regione.

  4. Fai clic su Continua.

  5. Nel campo Nome modello, seleziona un modello AutoML tabulare o di addestramento personalizzato importato.

  6. Nel campo Versione, seleziona una versione del modello.

  7. Fai clic su Continua.

  8. Nel riquadro Monitoraggio del modello, assicurati che l'opzione Abilita il monitoraggio del modello per questo endpoint sia attivata. Qualsiasi impostazione di monitoraggio configurata viene applicata a tutti i modelli di cui è stato eseguito il deployment nell'endpoint.

  9. Inserisci un Nome visualizzato del job di monitoraggio.

  10. Inserisci un valore in Lunghezza della finestra di Monitoring.

  11. In Email di notifica, inserisci uno o più indirizzi email separati da virgole per ricevere avvisi quando un modello supera una soglia di avviso.

  12. (Facoltativo) Per i canali di notifica, aggiungi canali Cloud Monitoring per ricevere avvisi quando un modello supera una soglia di avviso. Puoi selezionare i canali di Cloud Monitoring esistenti o crearne uno nuovo facendo clic su Gestisci canali di notifica. La console supporta i canali di notifica PagerDuty, Slack e Pub/Sub.

  13. Inserisci una Frequenza di campionamento.

  14. (Facoltativo) Inserisci lo schema di input della previsione e lo schema di input dell'analisi.

  15. Fai clic su Continua. Si apre il riquadro Obiettivo di Monitoring, con le opzioni per il rilevamento dell'inclinazione o della deviazione:

    Rilevamento del disallineamento

    1. Seleziona Rilevamento del disallineamento addestramento/produzione.
    2. In Origine dati di addestramento, fornisci un'origine dati di addestramento.
    3. In Colonna di destinazione, inserisci il nome della colonna nei dati di addestramento che il modello è addestrato a prevedere. Questo campo è escluso dall'analisi di monitoraggio.
    4. (Facoltativo) In Soglie di avviso, specifica le soglie su cui attivare gli avvisi. Per informazioni su come formattare le soglie, tieni il puntatore del mouse sull'icona della Guida di .
    5. Fai clic su Crea.

    Rilevamento delle deviazioni

    1. Seleziona Rilevamento della deviazione della previsione.
    2. (Facoltativo) In Soglie di avviso, specifica le soglie su cui attivare gli avvisi. Per informazioni su come formattare le soglie, tieni il puntatore del mouse sull'icona della Guida di .
    3. Fai clic su Crea.

gcloud

Per creare un job di monitoraggio del deployment dei modelli con gcloud CLI, esegui prima il deployment del modello su un endpoint:

La configurazione di un job di monitoraggio si applica a tutti i modelli di cui è stato eseguito il deployment in un endpoint.

Esegui il comando gcloud ai model-monitoring-jobs create.

gcloud ai model-monitoring-jobs create \
  --project=PROJECT_ID \
  --region=REGION \
  --display-name=MONITORING_JOB_NAME \
  --emails=EMAIL_ADDRESS_1,EMAIL_ADDRESS_2 \
  --endpoint=ENDPOINT_ID \
  [--feature-thresholds=FEATURE_1=THRESHOLD_1, FEATURE_2=THRESHOLD_2] \
  [--prediction-sampling-rate=SAMPLING_RATE] \
  [--monitoring-frequency=MONITORING_FREQUENCY] \
  [--analysis-instance-schema=ANALYSIS_INSTANCE_SCHEMA] \
  --target-field=TARGET_FIELD \
  --bigquery-uri=BIGQUERY_URI

dove:

  • PROJECT_ID è l'ID del tuo progetto Google Cloud. Ad esempio, my-project.

  • REGION è la località del job di monitoraggio. Ad esempio, us-central1.

  • MONITORING_JOB_NAME è il nome del job di monitoraggio. Ad esempio, my-job.

  • EMAIL_ADDRESS è l'indirizzo email a cui vuoi ricevere avvisi da Model Monitoring. Ad esempio, example@example.com.

  • ENDPOINT_ID è l'ID dell'endpoint in cui viene eseguito il deployment del modello. Ad esempio, 1234567890987654321.

  • (Facoltativo) FEATURE_1=THRESHOLD_1 è la soglia di avviso per ogni funzionalità che vuoi monitorare. Ad esempio, se specifichi Age=0.4, il monitoraggio dei modelli registra un avviso quando la distanza statistica tra le distribuzioni di input e di riferimento per la funzionalità Age supera 0,4. Per impostazione predefinita, ogni caratteristica categorica e numerica viene monitorata con valori di soglia pari a 0,3.

  • (Facoltativo) SAMPLING_RATE è la frazione delle richieste di previsione in entrata che vuoi registrare. Ad esempio, 0.5. Se non specificato, Model Monitoring registra tutte le richieste di previsione.

  • Facoltativo: MONITORING_FREQUENCY è la frequenza con cui vuoi che il job di monitoraggio venga eseguito sugli input registrati di recente. La granularità minima è di 1 ora. Il valore predefinito è 24 ore. Ad esempio, 2.

  • Facoltativo: ANALYSIS_INSTANCE_SCHEMA è l'URI Cloud Storage del file di schema che descrive il formato dei dati di input. Ad esempio, gs://test-bucket/schema.yaml.

  • (obbligatorio solo per il rilevamento del disallineamento) TARGET_FIELD è il campo previsto dal modello. Questo campo è escluso dall'analisi di monitoraggio. Ad esempio, housing-price.

  • (obbligatorio solo per il rilevamento del disallineamento) BIGQUERY_URI è il link al set di dati di addestramento archiviato in BigQuery nel seguente formato:

    bq://\PROJECT.\DATASET.\TABLE
    

    Ad esempio, bq://\my-project.\housing-data.\san-francisco.

    Puoi sostituire il flag bigquery-uri con link alternativi al tuo set di dati di addestramento:

    • Per un file CSV archiviato in un bucket Cloud Storage, utilizza --data-format=csv --gcs-uris=gs://BUCKET_NAME/OBJECT_NAME.

    • Per un file TFRecord archiviato in un bucket Cloud Storage, utilizza --data-format=tf-record --gcs-uris=gs://BUCKET_NAME/OBJECT_NAME.

    • Per un set di dati tabulare gestito da AutoML, utilizza --dataset=DATASET_ID.

SDK Python

Per informazioni sul flusso di lavoro completo dell'API Model Monitoring end-to-end, consulta il blocco note di esempio.

API REST

  1. Se non lo hai già fatto, esegui il deployment del modello su un endpoint. Durante il passaggio Recupero dell'ID endpoint nelle istruzioni per il deployment del modello, prendi nota del valore deployedModels.id nella risposta JSON per utilizzarlo successivamente:

  2. Creare una richiesta di job di monitoraggio del modello. Le istruzioni riportate di seguito mostrano come creare un job di monitoraggio di base per il rilevamento delle deviazioni. Per personalizzare la richiesta JSON, consulta il riferimento del job di Monitoring.

    Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

    • PROJECT_ID: è l'ID del tuo progetto Google Cloud. Ad esempio, my-project.
    • LOCATION: è la località del job di monitoraggio. Ad esempio, us-central1.
    • MONITORING_JOB_NAME: è il nome del job di monitoraggio. Ad esempio, my-job.
    • PROJECT_NUMBER: è il numero del tuo progetto Google Cloud. Ad esempio, 1234567890.
    • ENDPOINT_ID è l'ID dell'endpoint in cui viene eseguito il deployment del modello. Ad esempio, 1234567890.
    • DEPLOYED_MODEL_ID: è l'ID del modello di cui è stato eseguito il deployment.
    • FEATURE:VALUE è la soglia di avviso per ogni funzionalità che vuoi monitorare. Ad esempio, se specifichi "Age": {"value": 0.4}, Model Monitoring registra un avviso quando la distanza statistica tra le distribuzioni di input e di riferimento per la funzionalità Age supera 0,4. Per impostazione predefinita, ogni caratteristica categorica e numerica viene monitorata con valori di soglia pari a 0,3.
    • EMAIL_ADDRESS: è l'indirizzo email a cui vuoi ricevere avvisi da Model Monitoring. Ad esempio, example@example.com.
    • NOTIFICATION_CHANNELS: un elenco di canali di notifica di Cloud Monitoring dove vuoi ricevere avvisi da Model Monitoring. Utilizza i nomi delle risorse per i canali di notifica, che puoi recuperare elencare i canali di notifica nel tuo progetto. Ad esempio: "projects/my-project/notificationChannels/1355376463305411567", "projects/my-project/notificationChannels/1355376463305411568".
    • (Facoltativo) ANALYSIS_INSTANCE_SCHEMA è l'URI Cloud Storage del file di schema che descrive il formato dei dati di input. Ad esempio, gs://test-bucket/schema.yaml.

    Corpo JSON della richiesta:

    {
      "displayName":"MONITORING_JOB_NAME",
      "endpoint":"projects/PROJECT_NUMBER/locations/LOCATION/endpoints/ENDPOINT_ID",
      "modelDeploymentMonitoringObjectiveConfigs": {
         "deployedModelId": "DEPLOYED_MODEL_ID",
         "objectiveConfig":  {
            "predictionDriftDetectionConfig": {
                "driftThresholds": {
                  "FEATURE_1": {
                    "value": VALUE_1
                   },
                  "FEATURE_2": {
                    "value": VALUE_2
                   }
                }
             },
          },
      },
      "loggingSamplingStrategy": {
         "randomSampleConfig":  {
            "sampleRate":  0.5,
         },
      },
      "modelDeploymentMonitoringScheduleConfig": {
         "monitorInterval": {
            "seconds": 3600,
         },
      },
      "modelMonitoringAlertConfig": {
         "emailAlertConfig": {
            "userEmails": ["EMAIL_ADDRESS"],
         },
         "notificationChannels": [NOTIFICATION_CHANNELS]
      },
      "analysisInstanceSchemaUri": ANALYSIS_INSTANCE_SCHEMA
    }
    

    Per inviare la richiesta, espandi una di queste opzioni:

    Dovresti ricevere una risposta JSON simile alla seguente:

    {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/modelDeploymentMonitoringJobs/MONITORING_JOB_NUMBER",
      ...
      "state": "JOB_STATE_PENDING",
      "scheduleState": "OFFLINE",
      ...
      "bigqueryTables": [
        {
          "logSource": "SERVING",
          "logType": "PREDICT",
          "bigqueryTablePath": "bq://PROJECT_ID.model_deployment_monitoring_8451189418714202112.serving_predict"
        }
      ],
      ...
    }
    

Dopo la creazione del job di monitoraggio, Model Monitoring registra le richieste di previsione in arrivo in una tabella BigQuery generata denominata PROJECT_ID.model_deployment_monitoring_ENDPOINT_ID.serving_predict. Se il logging richiesta-risposta è abilitato, il monitoraggio dei modelli registra le richieste in entrata nella stessa tabella BigQuery utilizzata per il logging richiesta-risposta.

(Facoltativo) Configurare avvisi per il job di monitoraggio dei modelli

Puoi monitorare ed eseguire il debug del job di monitoraggio dei modelli tramite gli avvisi. Model Monitoring ti avvisa automaticamente via email degli aggiornamenti dei job, ma puoi anche configurare avvisi tramite i canali di notifica di Cloud Logging e Cloud Monitoring.

Email

Per i seguenti eventi, Model Monitoring invia una notifica via email a ogni indirizzo email specificato durante la creazione del job di monitoraggio dei modelli:

  • Ogni volta che viene impostato il rilevamento di disallineamenti o deviazioni.
  • Ogni volta che viene aggiornata la configurazione di un job di monitoraggio dei modelli esistente.
  • Ogni volta che l'esecuzione di una pipeline di monitoraggio pianificata non va a buon fine.

Cloud Logging

Per abilitare i log per le esecuzioni pianificate della pipeline di monitoraggio, imposta il campo enableMonitoringPipelineLogs nella configurazione di modelDeploymentMonitoringJobs su true. I log di debug vengono scritti in Cloud Logging quando il job di monitoraggio è configurato e a ogni intervallo di monitoraggio.

I log di debug vengono scritti in Cloud Logging con il nome log: model_monitoring. Ad esempio:

logName="projects/model-monitoring-demo/logs/aiplatform.googleapis.com%2Fmodel_monitoring" resource.labels.model_deployment_monitoring_job=6680511704087920640

Ecco un esempio di voce di log di avanzamento del job:

{
"insertId": "e2032791-acb9-4d0f-ac73-89a38788ccf3@a1",
"jsonPayload": {
  "@type": "type.googleapis.com/google.cloud.aiplatform.logging.ModelMonitoringPipelineLogEntry",
  "statusCode": {
    "message": "Scheduled model monitoring pipeline finished successfully for job projects/677687165274/locations/us-central1/modelDeploymentMonitoringJobs/6680511704087920640"
  },
  "modelDeploymentMonitoringJob": "projects/677687165274/locations/us-central1/modelDeploymentMonitoringJobs/6680511704087920640"
},
"resource": {
  "type": "aiplatform.googleapis.com/ModelDeploymentMonitoringJob",
  "labels": {
    "model_deployment_monitoring_job": "6680511704087920640",
    "location": "us-central1",
    "resource_container": "projects/677687165274"
  }
},
"timestamp": "2022-02-04T15:33:54.778883Z",
"severity": "INFO",
"logName": "projects/model-monitoring-demo/logs/staging-aiplatform.sandbox.googleapis.com%2Fmodel_monitoring",
"receiveTimestamp": "2022-02-04T15:33:56.343298321Z"
}

Canali di notifica

Ogni volta che l'esecuzione di una pipeline di monitoraggio pianificata non va a buon fine, il monitoraggio dei modelli invia una notifica ai canali di notifica di Cloud Monitoring che hai specificato durante la creazione del job di monitoraggio dei modelli.

Configurare avvisi per le anomalie delle funzionalità

Il monitoraggio dei modelli rileva un'anomalia quando viene superata la soglia impostata per una funzionalità. Model Monitoring ti avvisa automaticamente via email delle anomalie rilevate, ma puoi anche configurare avvisi tramite i canali di notifica di Cloud Logging e Cloud Monitoring.

Email

A ogni intervallo di monitoraggio, se la soglia di almeno una funzionalità supera la soglia, Model Monitoring invia un avviso via email a ciascun indirizzo email specificato durante la creazione del job di monitoraggio dei modelli. Il messaggio e-mail include quanto segue:

  • L'ora in cui è stato eseguito il job di monitoraggio.
  • Il nome dell'elemento inclinato o deviato.
  • La soglia di avviso e la misura statistica della distanza registrata.

Cloud Logging

Per abilitare gli avvisi di Cloud Logging, imposta il campo enableLogging della configurazione di ModelMonitoringAlertConfig su true.

A ogni intervallo di monitoraggio, viene scritto un log delle anomalie in Cloud Logging se la distribuzione di almeno una funzionalità supera la relativa soglia. Puoi inoltrare i log a qualsiasi servizio supportato da Cloud Logging, come Pub/Sub.

Le anomalie vengono scritte in Cloud Logging con il nome log: model_monitoring_anomaly. Ad esempio:

logName="projects/model-monitoring-demo/logs/aiplatform.googleapis.com%2Fmodel_monitoring_anomaly" resource.labels.model_deployment_monitoring_job=6680511704087920640

Ecco un esempio di voce di log di un'anomalia:

{
"insertId": "b0e9c0e9-0979-4aff-a5d3-4c0912469f9a@a1",
"jsonPayload": {
  "anomalyObjective": "RAW_FEATURE_SKEW",
  "endTime": "2022-02-03T19:00:00Z",
  "featureAnomalies": [
    {
      "featureDisplayName": "age",
      "deviation": 0.9,
      "threshold": 0.7
    },
    {
      "featureDisplayName": "education",
      "deviation": 0.6,
      "threshold": 0.3
    }
  ],
  "totalAnomaliesCount": 2,
  "@type": "type.googleapis.com/google.cloud.aiplatform.logging.ModelMonitoringAnomaliesLogEntry",
  "startTime": "2022-02-03T18:00:00Z",
  "modelDeploymentMonitoringJob": "projects/677687165274/locations/us-central1/modelDeploymentMonitoringJobs/6680511704087920640",
  "deployedModelId": "1645828169292316672"
},
"resource": {
  "type": "aiplatform.googleapis.com/ModelDeploymentMonitoringJob",
  "labels": {
    "model_deployment_monitoring_job": "6680511704087920640",
    "location": "us-central1",
    "resource_container": "projects/677687165274"
  }
},
"timestamp": "2022-02-03T19:00:00Z",
"severity": "WARNING",
"logName": "projects/model-monitoring-demo/logs/staging-aiplatform.sandbox.googleapis.com%2Fmodel_monitoring_anomaly",
"receiveTimestamp": "2022-02-03T19:59:52.121398388Z"
}

Canali di notifica

A ogni intervallo di monitoraggio, se la soglia di almeno una funzionalità supera la soglia, Model Monitoring invia un avviso ai canali di notifica di Cloud Monitoring che hai specificato durante la creazione del job di monitoraggio dei modelli. L'avviso include informazioni sul job di monitoraggio dei modelli che ha attivato l'avviso.

Aggiorna un job di monitoraggio dei modelli

Puoi visualizzare, aggiornare, mettere in pausa ed eliminare un job di monitoraggio dei modelli. Devi mettere in pausa un job prima di poterlo eliminare.

Console

La messa in pausa e l'eliminazione non sono supportate nella console Google Cloud. Utilizza invece gcloud CLI.

Per aggiornare i parametri per un job di monitoraggio dei modelli:

  1. Nella console Google Cloud, vai alla pagina Vertex AI Endpoints.

    Vai a Endpoints

  2. Fai clic sul nome dell'endpoint da modificare.

  3. Fai clic su Modifica impostazioni.

  4. Nel riquadro Modifica endpoint, seleziona Monitoraggio del modello o Obiettivi di Monitoring.

  5. Aggiorna i campi che vuoi modificare.

  6. Fai clic su Update (Aggiorna).

Per visualizzare le metriche, gli avvisi e le proprietà di monitoraggio di un modello:

  1. Nella console Google Cloud, vai alla pagina Vertex AI Endpoints.

    Vai a Endpoints

  2. Fai clic sul nome dell'endpoint.

  3. Nella colonna Monitoring relativa al modello da visualizzare, fai clic su Abilitato.

gcloud

Esegui questo comando:

gcloud ai model-monitoring-jobs COMMAND MONITORING_JOB_ID \
  --PARAMETER=VALUE --project=PROJECT_ID --region=LOCATION

dove:

  • COMMAND è il comando da eseguire nel job di monitoraggio. Ad esempio, update, pause, resume o delete. Per ulteriori informazioni, consulta il riferimento gcloud CLI.

  • MONITORING_JOB_ID è l'ID del job di monitoraggio. Ad esempio, 123456789. Puoi trovare l'ID [recuperando le informazioni dell'endpoint][retrieve-id] o visualizzando le proprietà Monitoring di un modello nella console Google Cloud. L'ID è incluso nel nome della risorsa del job di monitoraggio nel formato projects/PROJECT_NUMBER/locations/LOCATION/modelDeploymentMonitoringJobs/MONITORING_JOB_ID.

  • (Facoltativo) PARAMETER=VALUE è il parametro da aggiornare. Questo flag è obbligatorio solo se si utilizza il comando update. Ad esempio, monitoring-frequency=2. Per un elenco dei parametri che puoi aggiornare, consulta il riferimento di gcloud CLI.

  • PROJECT_ID è l'ID del tuo progetto Google Cloud. Ad esempio, my-project.

  • LOCATION è la località del job di monitoraggio. Ad esempio, us-central1.

API REST

Metti in pausa un job

Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

  • PROJECT_NUMBER: il numero del tuo progetto Google Cloud. Ad esempio, 1234567890.
  • LOCATION: località del job di monitoraggio. Ad esempio, us-central1.
  • MONITORING_JOB_ID: ID del job di monitoraggio. Ad esempio, 0987654321.

Per inviare la richiesta, espandi una di queste opzioni:

Dovresti ricevere una risposta JSON simile alla seguente:

{}

Eliminazione di un job

Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

  • PROJECT_NUMBER: il numero del tuo progetto Google Cloud. Ad esempio, my-project.
  • LOCATION: località del job di monitoraggio. Ad esempio, us-central1.
  • MONITORING_JOB_ID: ID del job di monitoraggio. Ad esempio, 0987654321.

Per inviare la richiesta, espandi una di queste opzioni:

Dovresti ricevere una risposta JSON simile alla seguente:

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/operations/MONITORING_JOB_ID",
  ...
  "done": true,
  ...
}

Analizzare i dati di inclinazione e deriva

Puoi utilizzare la console Google Cloud per visualizzare le distribuzioni di ogni funzionalità monitorata e scoprire quali modifiche hanno causato deviazioni o deviazioni nel tempo. Puoi visualizzare le distribuzioni dei valori delle caratteristiche come istogramma.

Console

  1. Per accedere agli istogrammi di distribuzione delle funzionalità nella console Google Cloud, vai alla pagina Endpoint.

    Vai a Endpoints

  2. Nella pagina Endpoint, fai clic sull'endpoint da analizzare.

  3. Nella pagina dei dettagli dell'endpoint selezionato è presente un elenco di tutti i modelli di cui è stato eseguito il deployment su quell'endpoint. Fai clic sul nome di un modello da analizzare.

  4. La pagina dei dettagli del modello elenca le caratteristiche di input del modello, insieme a informazioni pertinenti, come la soglia di avviso per ogni caratteristica e il numero di avvisi precedenti per la caratteristica.

  5. Fai clic sul nome di un elemento per analizzarlo. Una pagina mostra gli istogrammi della distribuzione delle caratteristiche per tale funzionalità.

    Per ogni funzionalità monitorata, puoi visualizzare le distribuzioni dei 50 job di monitoraggio più recenti nella console Google Cloud. Per il rilevamento del disallineamento, la distribuzione dei dati di addestramento viene visualizzata proprio accanto alla distribuzione dei dati di input:

    Istogrammi che mostrano la distribuzione dei dati di input di esempio e la distribuzione dei dati di addestramento per il rilevamento del disallineamento.

    La visualizzazione della distribuzione dei dati come istogrammi ti consente di concentrarti rapidamente sulle modifiche che si sono verificate nei dati. Dopodiché potresti decidere di modificare la pipeline di generazione delle caratteristiche o riaddestrare il modello.

Passaggi successivi