Monitoraggio di disallineamenti e deviazioni delle caratteristiche

In questa pagina viene descritto come creare, gestire e interpretare i risultati di Job di monitoraggio dei modelli per i modelli di cui è stato eseguito il deployment online endpoint di previsione. Vertex AI Model Monitoring supporta il disallineamento delle funzionalità e rilevamento della deviazione per caratteristiche di input categorici e numerici.

Quando viene eseguito il deployment di un modello in produzione con Model Monitoring abilitato, le richieste di previsione in entrata vengono registrate del progetto Google Cloud. I valori delle caratteristiche di input contenuti nel e le richieste vengono quindi analizzate per individuare disallineamenti o deviazioni.

Puoi abilitare il rilevamento del disallineamento se fornisci il set di dati di addestramento originale il modello; altrimenti dovresti abilitare il rilevamento della deviazione. Per ulteriori informazioni, consulta Introduzione a Vertex AI Model Monitoring.

Prerequisiti

Per utilizzare Model Monitoring, completa la seguenti:

  1. Avere un modello disponibile in Vertex AI che sia un modello tabulare AutoML o dati tabulari importati di addestramento personalizzato.

    • Se utilizzi un endpoint esistente, assicurati che tutti i modelli di cui è stato eseguito il deployment sotto l'endpoint ci sono AutoML tabulari o tipi di addestramento personalizzato importati.

  2. Se attivi il rilevamento del disallineamento, carica i dati di addestramento Cloud Storage o BigQuery e ottenere il link URI ai dati. Per il rilevamento della deviazione, i dati di addestramento obbligatorio.

  3. (Facoltativo) Per i modelli con addestramento personalizzato, carica l'istanza di analisi schema per il tuo modello in Cloud Storage. Model Monitoring richiede lo schema per iniziare del processo di monitoraggio e calcolare la distribuzione di base per il rilevamento del disallineamento. Se non fornisci lo schema durante la creazione, il job rimane in uno in stato di attesa finché Model Monitoring non riesce analizzare lo schema delle prime 1000 richieste di previsione ricevute dal modello.

crea un job di monitoraggio dei modelli

Crea un modello per configurare il rilevamento del disallineamento o della deviazione il job di monitoraggio del deployment:

Console

Per creare un job di monitoraggio del deployment del modello utilizzando la console Google Cloud, crea un endpoint:

  1. Nella console Google Cloud, vai alla pagina Vertex AI Endpoints.

    Vai a Endpoints

  2. Fai clic su Crea endpoint.

  3. Nel riquadro Nuovo endpoint, assegna un nome all'endpoint e imposta una regione.

  4. Fai clic su Continua.

  5. Nel campo Nome modello, seleziona un modello personalizzato di addestramento o un modello AutoML tabulare.

  6. Nel campo Versione, seleziona una versione per il modello.

  7. Fai clic su Continua.

  8. Nel riquadro Monitoraggio del modello, assicurati che Abilita il monitoraggio del modello per l'attivazione di questo endpoint. Qualsiasi impostazione di monitoraggio configurata si applicano a tutti i modelli di cui è stato eseguito il deployment nell'endpoint.

  9. Inserisci un Nome visualizzato del job di monitoraggio.

  10. Inserisci una lunghezza della finestra di Monitoring.

  11. Per Email di notifica, inserisci uno o più indirizzi email separati da virgole per ricevere avvisi quando un modello supera una soglia di avviso.

  12. (Facoltativo) Per Canali di notifica: aggiungi canali Cloud Monitoring per ricevere avvisi quando del modello supera una soglia di avviso. Puoi selezionare una delle risorse Cloud Monitoring canali di notifica o creane uno nuovo facendo clic su Gestisci canali di notifica. La console supporta PagerDuty, Slack e Pub/Sub canali di notifica.

  13. Inserisci una Frequenza di campionamento.

  14. (Facoltativo) Inserisci lo Schema di input della previsione e lo Schema di input dell'analisi.

  15. Fai clic su Continua. Si apre il riquadro Obiettivo Monitoring, con delle opzioni per il rilevamento di disallineamenti o deviazioni:

    Rilevamento del disallineamento

    1. Seleziona Rilevamento del disallineamento addestramento/distribuzione.
    2. In Origine dati di addestramento, fornisci un corso origine dati.
    3. In Colonna di destinazione, inserisci il nome della colonna dai dati di addestramento addestrato a prevedere. Questo campo è escluso da l'analisi del monitoraggio.
    4. (Facoltativo) In Soglie di avviso, specifica le soglie a cui attivare gli avvisi. Per informazioni su come formattare le soglie, tieni il puntatore sopra Icona Guida di .
    5. Fai clic su Crea.

    Rilevamento della deviazione

    1. Seleziona Rilevamento della deviazione della previsione.
    2. (Facoltativo) In Soglie di avviso, specifica le soglie a cui attivare gli avvisi. Per informazioni su come formattare le soglie, tieni il puntatore sopra Icona Guida di .
    3. Fai clic su Crea.

gcloud

Per creare un job di monitoraggio del deployment del modello utilizzando gcloud CLI, esegui prima il deployment del modello su un endpoint:

Una configurazione del job di monitoraggio si applica a tutti i modelli di cui è stato eseguito il deployment in un endpoint.

Esegui il comando gcloud ai model-monitoring-jobs create.

gcloud ai model-monitoring-jobs create \
  --project=PROJECT_ID \
  --region=REGION \
  --display-name=MONITORING_JOB_NAME \
  --emails=EMAIL_ADDRESS_1,EMAIL_ADDRESS_2 \
  --endpoint=ENDPOINT_ID \
  [--feature-thresholds=FEATURE_1=THRESHOLD_1, FEATURE_2=THRESHOLD_2] \
  [--prediction-sampling-rate=SAMPLING_RATE] \
  [--monitoring-frequency=MONITORING_FREQUENCY] \
  [--analysis-instance-schema=ANALYSIS_INSTANCE_SCHEMA] \
  --target-field=TARGET_FIELD \
  --bigquery-uri=BIGQUERY_URI

dove:

  • PROJECT_ID è l'ID del tuo progetto Google Cloud. Ad esempio, my-project.

  • REGION è la località del job di monitoraggio. Ad esempio: us-central1.

  • MONITORING_JOB_NAME è il nome del job di monitoraggio. Ad esempio, my-job.

  • EMAIL_ADDRESS è l'indirizzo email a cui vuoi ricevere di monitoraggio del modello. Ad esempio: example@example.com.

  • ENDPOINT_ID è l'ID dell'endpoint sotto il quale del modello. Ad esempio, 1234567890987654321.

  • (Facoltativo) FEATURE_1=THRESHOLD_1 è la soglia di avviso per ciascuna caratteristica che vuoi monitorare. Ad esempio, se specifichi Age=0.4, Model Monitoring registra un avviso quando le distanza tra le distribuzioni di input e di riferimento per La funzionalità Age supera 0,4. Per impostazione predefinita, ogni valore viene monitorata con valori soglia di 0,3.

  • (Facoltativo) SAMPLING_RATE è la frazione del traffico in entrata richieste di previsione che vuoi registrare. Ad esempio, 0.5. Se non specificato, Model Monitoring registra tutte le richieste di previsione.

  • (Facoltativo) MONITORING_FREQUENCY è la frequenza con cui che il job di monitoraggio venga eseguito su input registrati di recente. Il minimo è di 1 ora. Il valore predefinito è 24 ore. Ad esempio, 2.

  • (Facoltativo) ANALYSIS_INSTANCE_SCHEMA è l'URI Cloud Storage per il file di schema che descrive il formato dei dati di input. Ad esempio: gs://test-bucket/schema.yaml.

  • (obbligatorio solo per il rilevamento del disallineamento) TARGET_FIELD è il campo che viene previsto dal modello. Questo campo è escluso dalla l'analisi del monitoraggio. Ad esempio, housing-price.

  • (obbligatorio solo per il rilevamento del disallineamento) BIGQUERY_URI è il link alla di addestramento archiviato in BigQuery, utilizzando formato:

    bq://\PROJECT.\DATASET.\TABLE

    Ad esempio, bq://\my-project.\housing-data.\san-francisco.

    Puoi sostituire il flag bigquery-uri con link alternativi al tuo set di dati di addestramento:

    • Per un file CSV archiviato in un bucket Cloud Storage, utilizza --data-format=csv --gcs-uris=gs://BUCKET_NAME/OBJECT_NAME.

    • Per un file TFRecord archiviato in un bucket Cloud Storage, utilizza --data-format=tf-record --gcs-uris=gs://BUCKET_NAME/OBJECT_NAME.

    • Per un set di dati tabulare gestito da AutoML, utilizza --dataset=DATASET_ID.

SDK Python

Per informazioni sull'architettura end-to-end completa flusso di lavoro dell'API Model Monitoring, consulta blocco note di esempio.

API REST

  1. Se non lo hai già fatto, esegui il deployment del modello in un endpoint. Durante il passaggio Ottenere l'ID endpoint nelle istruzioni per il deployment del modello, tieni presente il valore deployedModels.id nella risposta JSON per un utilizzo futuro:

  2. Crea una richiesta di job di monitoraggio del modello. Le istruzioni riportate di seguito mostrano come creare un job di monitoraggio di base per il rilevamento della deviazione. Per personalizzare il file JSON consulta il riferimento del job di Monitoring.

    Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

    • PROJECT_ID: è l'ID del tuo progetto Google Cloud. Per ad esempio my-project.
    • LOCATION: è la posizione del job di monitoraggio. Ad esempio: us-central1.
    • MONITORING_JOB_NAME: è il nome del job di monitoraggio. Per ad esempio my-job.
    • PROJECT_NUMBER: è il numero del tuo progetto Google Cloud. Per ad esempio 1234567890.
    • ENDPOINT_ID è l'ID dell'endpoint in cui viene eseguito il deployment del modello. Per ad esempio 1234567890.
    • DEPLOYED_MODEL_ID: è l'ID del modello di cui è stato eseguito il deployment.
    • FEATURE:VALUE è la soglia di avviso per ogni caratteristica che vuoi monitorare. Ad esempio, se specifichi "Age": {"value": 0.4}, Model Monitoring registra un avviso quando distanza statistica tra le distribuzioni di input e di riferimento per la funzionalità Age è maggiore di 0,4. Per impostazione predefinita, ogni caratteristica categorica e numerica viene monitorata con valori di soglia di 0,3.
    • EMAIL_ADDRESS: è l'indirizzo email a cui vuoi ricevere di monitoraggio del modello. Ad esempio: example@example.com.
    • NOTIFICATION_CHANNELS: un elenco di Canali di notifica di Cloud Monitoring per ricevere avvisi da Model Monitoring. Utilizza i nomi delle risorse per i canali di notifica, che puoi recuperare elencare i canali di notifica nel tuo progetto. Ad esempio: "projects/my-project/notificationChannels/1355376463305411567", "projects/my-project/notificationChannels/1355376463305411568".
    • (Facoltativo) ANALYSIS_INSTANCE_SCHEMA è l'URI Cloud Storage per il file di schema che descrive il formato dei dati di input. Ad esempio: gs://test-bucket/schema.yaml.

    Corpo JSON della richiesta: 

    {
  "displayName":"MONITORING_JOB_NAME",
  "endpoint":"projects/PROJECT_NUMBER/locations/LOCATION/endpoints/ENDPOINT_ID",
  "modelDeploymentMonitoringObjectiveConfigs": {
     "deployedModelId": "DEPLOYED_MODEL_ID",
     "objectiveConfig":  {
        "predictionDriftDetectionConfig": {
            "driftThresholds": {
              "FEATURE_1": {
                "value": VALUE_1
               },
              "FEATURE_2": {
                "value": VALUE_2
               }
            }
         },
      },
  },
  "loggingSamplingStrategy": {
     "randomSampleConfig":  {
        "sampleRate":  0.5,
     },
  },
  "modelDeploymentMonitoringScheduleConfig": {
     "monitorInterval": {
        "seconds": 3600,
     },
  },
  "modelMonitoringAlertConfig": {
     "emailAlertConfig": {
        "userEmails": ["EMAIL_ADDRESS"],
     },
     "notificationChannels": [NOTIFICATION_CHANNELS]
  },
  "analysisInstanceSchemaUri": ANALYSIS_INSTANCE_SCHEMA
}

    Per inviare la richiesta, espandi una delle seguenti opzioni:

    Dovresti ricevere una risposta JSON simile alla seguente:

    {
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/modelDeploymentMonitoringJobs/MONITORING_JOB_NUMBER",
  ...
  "state": "JOB_STATE_PENDING",
  "scheduleState": "OFFLINE",
  ...
  "bigqueryTables": [
    {
      "logSource": "SERVING",
      "logType": "PREDICT",
      "bigqueryTablePath": "bq://PROJECT_ID.model_deployment_monitoring_8451189418714202112.serving_predict"
    }
  ],
  ...
}

Dopo la creazione del job di monitoraggio, Model Monitoring registra richieste di previsione in entrata in una tabella BigQuery generata denominata PROJECT_ID.model_deployment_monitoring_ENDPOINT_ID.serving_predict. Se il logging per richieste di risposte è abilitato, Model Monitoring registra le richieste in entrata nello stesso Tabella BigQuery utilizzata per il logging di richiesta-risposta.

(Facoltativo) Configurare gli avvisi per il job di monitoraggio dei modelli

Puoi monitorare ed eseguire il debug del job di monitoraggio dei modelli tramite gli avvisi. Model Monitoring avvisa automaticamente gli aggiornamenti sulle offerte via email, ma puoi anche impostare avvisi Canali di notifica di Cloud Logging e Cloud Monitoring.

Email

Per i seguenti eventi, Model Monitoring invia un'email a ogni indirizzo email specificato durante la creazione del Job di monitoraggio dei modelli:

  • Ogni volta che viene impostato il rilevamento di disallineamenti o deviazioni.
  • Ogni volta che un modello esistente La configurazione del job di Model Monitoring è stata aggiornata.
  • Ogni volta che l'esecuzione di una pipeline di monitoraggio pianificata ha esito negativo.

Cloud Logging

Per abilitare i log per le esecuzioni pianificate della pipeline di monitoraggio, imposta il campo enableMonitoringPipelineLogs nella configurazione di modelDeploymentMonitoringJobs su true. I log di debug vengono scritti in Cloud Logging quando il job di monitoraggio e a ogni intervallo di monitoraggio.

I log di debug vengono scritti in Cloud Logging con il nome log: model_monitoring. Ad esempio:

logName="projects/model-monitoring-demo/logs/aiplatform.googleapis.com%2Fmodel_monitoring" resource.labels.model_deployment_monitoring_job=6680511704087920640

Ecco un esempio di voce di log di avanzamento del job: 

{
"insertId": "e2032791-acb9-4d0f-ac73-89a38788ccf3@a1",
"jsonPayload": {
  "@type": "type.googleapis.com/google.cloud.aiplatform.logging.ModelMonitoringPipelineLogEntry",
  "statusCode": {
    "message": "Scheduled model monitoring pipeline finished successfully for job projects/677687165274/locations/us-central1/modelDeploymentMonitoringJobs/6680511704087920640"
  },
  "modelDeploymentMonitoringJob": "projects/677687165274/locations/us-central1/modelDeploymentMonitoringJobs/6680511704087920640"
},
"resource": {
  "type": "aiplatform.googleapis.com/ModelDeploymentMonitoringJob",
  "labels": {
    "model_deployment_monitoring_job": "6680511704087920640",
    "location": "us-central1",
    "resource_container": "projects/677687165274"
  }
},
"timestamp": "2022-02-04T15:33:54.778883Z",
"severity": "INFO",
"logName": "projects/model-monitoring-demo/logs/staging-aiplatform.sandbox.googleapis.com%2Fmodel_monitoring",
"receiveTimestamp": "2022-02-04T15:33:56.343298321Z"
}

Canali di notifica

Ogni volta che l'esecuzione di una pipeline di monitoraggio pianificata non riesce, Model Monitoring invia una notifica Canali di notifica di Cloud Monitoring specificati durante la creazione Job di monitoraggio dei modelli.

Configurare avvisi per le anomalie delle funzionalità

Model Monitoring rileva un'anomalia quando la soglia impostata per una caratteristica è stato superato. Monitoraggio automatico dei modelli ti invia una notifica via email relativa alle anomalie rilevate, ma puoi anche impostare avvisi tramite i canali di notifica di Cloud Logging e Cloud Monitoring.

Email

A ciascun intervallo di monitoraggio, se la soglia di almeno una caratteristica supera soglia, Model Monitoring invia un avviso via email ogni indirizzo email specificato durante la creazione del monitoraggio del modello un lavoro. L'email include quanto segue:

  • L'ora in cui è stato eseguito il job di monitoraggio.
  • Il nome della caratteristica che ha un disallineamento o una deviazione.
  • La soglia di avviso e la misura della distanza statistica registrata.

Cloud Logging

Per abilitare gli avvisi di Cloud Logging, imposta il campo enableLogging di ModelMonitoringAlertConfig configurazione in true.

A ogni intervallo di monitoraggio, viene scritto un log relativo a un'anomalia in Cloud Logging se la distribuzione di almeno una caratteristica supera la relativa soglia funzionalità. Puoi inoltrare i log a qualsiasi servizio supportato da Cloud Logging, ad esempio Pub/Sub.

Le anomalie vengono scritte in Cloud Logging con il nome log: model_monitoring_anomaly. Ad esempio:

logName="projects/model-monitoring-demo/logs/aiplatform.googleapis.com%2Fmodel_monitoring_anomaly" resource.labels.model_deployment_monitoring_job=6680511704087920640

Ecco un esempio di voce di log anomalia: 

{
"insertId": "b0e9c0e9-0979-4aff-a5d3-4c0912469f9a@a1",
"jsonPayload": {
  "anomalyObjective": "RAW_FEATURE_SKEW",
  "endTime": "2022-02-03T19:00:00Z",
  "featureAnomalies": [
    {
      "featureDisplayName": "age",
      "deviation": 0.9,
      "threshold": 0.7
    },
    {
      "featureDisplayName": "education",
      "deviation": 0.6,
      "threshold": 0.3
    }
  ],
  "totalAnomaliesCount": 2,
  "@type": "type.googleapis.com/google.cloud.aiplatform.logging.ModelMonitoringAnomaliesLogEntry",
  "startTime": "2022-02-03T18:00:00Z",
  "modelDeploymentMonitoringJob": "projects/677687165274/locations/us-central1/modelDeploymentMonitoringJobs/6680511704087920640",
  "deployedModelId": "1645828169292316672"
},
"resource": {
  "type": "aiplatform.googleapis.com/ModelDeploymentMonitoringJob",
  "labels": {
    "model_deployment_monitoring_job": "6680511704087920640",
    "location": "us-central1",
    "resource_container": "projects/677687165274"
  }
},
"timestamp": "2022-02-03T19:00:00Z",
"severity": "WARNING",
"logName": "projects/model-monitoring-demo/logs/staging-aiplatform.sandbox.googleapis.com%2Fmodel_monitoring_anomaly",
"receiveTimestamp": "2022-02-03T19:59:52.121398388Z"
}

Canali di notifica

A ciascun intervallo di monitoraggio, se la soglia di almeno una caratteristica supera la soglia, Model Monitoring invia un avviso Canali di notifica di Cloud Monitoring specificati durante la creazione Job di monitoraggio dei modelli. L'avviso include informazioni sul job Model Monitoring che ha attivato avviso.

Aggiorna un job di monitoraggio dei modelli

Puoi visualizzare, aggiornare, mettere in pausa ed eliminare un modello di monitoraggio un lavoro. Devi mettere in pausa un job prima di poterlo eliminare.

Console

La messa in pausa e l'eliminazione non sono supportate nella console Google Cloud. utilizza la con gcloud CLI.

Per aggiornare i parametri per un job di Model Monitoring:

  1. Nella console Google Cloud, vai alla pagina Vertex AI Endpoints.

    Vai a Endpoints

  2. Fai clic sul nome dell'endpoint da modificare.

  3. Fai clic su Modifica impostazioni.

  4. Nel riquadro Modifica endpoint, seleziona Monitoraggio del modello o Monitoring degli obiettivi.

  5. Aggiorna i campi che vuoi modificare.

  6. Fai clic su Aggiorna.

Per visualizzare le metriche, gli avvisi e le proprietà di monitoraggio per un modello:

  1. Nella console Google Cloud, vai alla pagina Vertex AI Endpoints.

    Vai a Endpoints

  2. Fai clic sul nome dell'endpoint.

  3. Nella colonna Monitoring relativa al modello che vuoi visualizzare, fai clic su Attivato.

gcloud

Esegui questo comando:

gcloud ai model-monitoring-jobs COMMAND MONITORING_JOB_ID \
  --PARAMETER=VALUE --project=PROJECT_ID --region=LOCATION

dove:

  • COMMAND è il comando che vuoi eseguire sul job di monitoraggio. Ad esempio, update, pause, resume o delete. Per ulteriori informazioni, consulta il riferimento dell'interfaccia a riga di comando gcloud.

  • MONITORING_JOB_ID è l'ID del job di monitoraggio. Ad esempio: 123456789. Puoi trovare l'ID [recuperando le informazioni dell'endpoint][retrieve-id] o la visualizzazione delle proprietà di Monitoring per un modello nella console Google Cloud. L'ID è incluso nel nome della risorsa del job di monitoraggio nel formato projects/PROJECT_NUMBER/locations/LOCATION/modelDeploymentMonitoringJobs/MONITORING_JOB_ID.

  • (Facoltativo) PARAMETER=VALUE è il parametro che vuoi aggiornare. Questo flag è obbligatorio solo se viene usato il comando update. Ad esempio: monitoring-frequency=2. Per un elenco dei parametri che possono essere aggiornati, consulta Riferimento dell'interfaccia a riga di comando gcloud.

  • PROJECT_ID è l'ID del tuo progetto Google Cloud. Ad esempio, my-project.

  • LOCATION è la località del job di monitoraggio. Ad esempio: us-central1.

API REST

Mettere in pausa un job

Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

  • PROJECT_NUMBER: il numero del tuo progetto Google Cloud. Per ad esempio 1234567890.
  • LOCATION: località del job di monitoraggio. Ad esempio: us-central1.
  • MONITORING_JOB_ID: ID del job di monitoraggio. Per ad esempio 0987654321.

Per inviare la richiesta, espandi una delle seguenti opzioni:

Dovresti ricevere una risposta JSON simile alla seguente:

{}

Elimina un job

Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

  • PROJECT_NUMBER: il numero del tuo progetto Google Cloud. Per ad esempio my-project.
  • LOCATION: località del job di monitoraggio. Ad esempio: us-central1.
  • MONITORING_JOB_ID: ID del job di monitoraggio. Per ad esempio 0987654321.

Per inviare la richiesta, espandi una delle seguenti opzioni:

Dovresti ricevere una risposta JSON simile alla seguente:

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/operations/MONITORING_JOB_ID",
  ...
  "done": true,
  ...
}

Analizzare i dati di disallineamento e deviazione

Puoi utilizzare la console Google Cloud per visualizzare le distribuzioni di ogni funzionalità monitorata e scoprire quali cambiamenti hanno portato a disallineamenti o deviazioni nel tempo. Puoi visualizza le distribuzioni dei valori delle caratteristiche sotto forma di istogramma.

Console

  1. Per accedere agli istogrammi di distribuzione delle caratteristiche nella Nella console Google Cloud, vai alla pagina Endpoint.

    Vai a Endpoints

  2. Nella pagina Endpoint, fai clic sull'endpoint da analizzare.

  3. Nella pagina dei dettagli dell'endpoint selezionato, è presente un elenco di tutte le di cui è stato eseguito il deployment sull'endpoint. Fai clic sul nome di un modello da analizzare.

  4. La pagina dei dettagli del modello elenca le caratteristiche di input del modello, insieme con informazioni pertinenti, come la soglia di avviso per ogni caratteristica e il numero di avvisi precedenti per la funzionalità.

  5. Per analizzare un elemento, fai clic sul suo nome. Una pagina mostra degli istogrammi della distribuzione delle caratteristiche in questione.

    Per ogni funzionalità monitorata, puoi visualizzare le distribuzioni delle 50 funzionalità a job di monitoraggio recenti nella console Google Cloud. Per il rilevamento del disallineamento, la distribuzione dei dati di addestramento è visualizzata accanto ai dati di input distribuzione:

    Istogrammi che mostrano la distribuzione e l'addestramento dei dati di input di esempio la distribuzione dei dati per il rilevamento del disallineamento.

    La visualizzazione della distribuzione dei dati sotto forma di istogrammi consente di concentrarti rapidamente delle modifiche apportate ai dati. In seguito, puoi decidere di la tua pipeline di generazione delle caratteristiche o riaddestrare il modello.

Passaggi successivi