Prova i modelli Gemini 1.5, i più recenti modelli multimodali in Vertex AI, e scopri cosa puoi creare con una finestra contestuale fino a 2 milioni di token. Prova i modelli Gemini 1.5, i più recenti modelli multimodali in Vertex AI, e scopri cosa puoi creare con una finestra contestuale fino a 2 milioni di token.

Questa pagina è stata tradotta dall'API Cloud Translation.

Valutare i modelli di classificazione e regressione AutoML

Questa pagina mostra come valutare la classificazione AutoML di regressione lineare e.

Vertex AI fornisce metriche di valutazione del modello per aiutarti a determinare delle prestazioni dei tuoi modelli, come le metriche di precisione e richiamo. Vertex AI calcola le metriche di valutazione utilizzando set di test.

Prima di iniziare

Prima di poter valutare il modello, è necessario addestrarlo.

Come utilizzare le metriche di valutazione del modello

Le metriche di valutazione del modello forniscono misurazioni quantitative del modo in cui il modello eseguita sul set di test. Il modo in cui interpreti e utilizzi queste metriche dipende le esigenze aziendali e il problema che il modello è addestrato a risolvere. Ad esempio: potresti avere una tolleranza inferiore per i falsi positivi rispetto ai falsi negativi il contrario. Questo tipo di domande determina quali metriche su cui concentrarti.

Recupero delle metriche di valutazione

Puoi ottenere un insieme aggregato di metriche di valutazione per il tuo modello e, per alcune obiettivi, metriche di valutazione per una determinata classe o etichetta. Valutazione per una determinata classe o etichetta è nota anche come sezione di valutazione. Di seguito viene descritto come ottenere metriche di valutazione aggregata e le sezioni di valutazione mediante l'API o la console Google Cloud.

Console Google Cloud

Nella console Google Cloud, nella sezione Vertex AI, vai a la pagina Modelli.

Vai alla pagina Modelli
Nel menu a discesa Regione, seleziona la regione in cui si trova il modello.
Dall'elenco dei modelli, fai clic sul tuo modello per aprire la sezione Scheda Valuta.

Nella scheda Valuta puoi visualizzare la valutazione aggregata del tuo modello. come Precisione media e Richiamo.

Se l'obiettivo del modello ha sezioni di valutazione, la console mostra un elenco etichette. Puoi fare clic su un'etichetta per visualizzare le relative metriche di valutazione, come mostrato nell'esempio seguente:

API

Le richieste API per ottenere le metriche di valutazione sono le stesse per ogni tipo di dati e ma gli output sono diversi. I seguenti esempi mostrano lo stesso richiesta, ma risposte diverse.

Recupero delle metriche di valutazione del modello aggregato

Le metriche di valutazione del modello aggregato forniscono informazioni sul modello un insieme. Per visualizzare le informazioni su una sezione specifica, elenca sezioni di valutazione del modello.

Per visualizzare le metriche di valutazione del modello aggregato, utilizza projects.locations.models.evaluations.get .

Seleziona la scheda di seguito per il tuo scopo:

Classificazione

Vertex AI restituisce un array di metriche di affidabilità. Ogni elemento mostra le metriche di valutazione con un valore confidenceThreshold diverso (a partire da 0 fino a 1). Visualizzando diversi valori di soglia, può vedere come la soglia influisce su altre metriche, come precisione e richiamo.

Seleziona una scheda corrispondente alla tua lingua o al tuo ambiente:

REST

Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

LOCATION: regione in cui è archiviato il modello.
PROJECT: il tuo ID progetto.
MODEL_ID: l'ID della risorsa del modello.
PROJECT_NUMBER: il numero di progetto generato automaticamente per il tuo progetto.
EVALUATION_ID: ID per la valutazione del modello (viene visualizzato nella risposta).

Metodo HTTP e URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations

Per inviare la richiesta, scegli una delle seguenti opzioni:

curl

Nota: Il comando seguente presuppone che tu abbia eseguito l'accesso a l'interfaccia a riga di comando gcloud con il tuo account utente eseguendo gcloud init o gcloud auth login oppure utilizzando Cloud Shell, che ti consente di accedere automaticamente all'interfaccia a riga di comando gcloud di Google. Puoi controllare l'account attualmente attivo eseguendo gcloud auth list

Esegui questo comando:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"

PowerShell

Esegui questo comando:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente:

Risposta

{
  "modelEvaluations": [
    {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID",
      "metricsSchemaUri": "gs://google-cloud-aiplatform/schema/modelevaluation/classification_metrics_1.0.0.yaml",
      "metrics": {
        "auPrc": 0.97762364,
        "auRoc": 0.97566897,
        "logLoss": 0.19153881,
        "confidenceMetrics": [
          {
            "recall": 1,
            "precision": 0.5,
            "falsePositiveRate": 1,
            "f1Score": 0.6666667,
            "recallAt1": 0.90911126,
            "precisionAt1": 0.90911126,
            "falsePositiveRateAt1": 0.09088874,
            "f1ScoreAt1": 0.90911126,
            "truePositiveCount": "4467",
            "falsePositiveCount": "4467"
          },
          {
            "confidenceThreshold": 0.003269856,
            "recall": 0.9997761,
            "precision": 0.56993365,
            "falsePositiveRate": 0.7544213,
            "f1Score": 0.7260018,
            "recallAt1": 0.90911126,
            "precisionAt1": 0.90911126,
            "falsePositiveRateAt1": 0.09088874,
            "f1ScoreAt1": 0.90911126,
            "truePositiveCount": "4466",
            "falsePositiveCount": "3370",
            "falseNegativeCount": "1",
            "trueNegativeCount": "1097"
          },
          {
            "confidenceThreshold": 0.1103351,
            "recall": 0.9899261,
            "precision": 0.79819494,
            "falsePositiveRate": 0.25027984,
            "f1Score": 0.8837814,
            "recallAt1": 0.90911126,
            "precisionAt1": 0.90911126,
            "falsePositiveRateAt1": 0.09088874,
            "f1ScoreAt1": 0.90911126,
            "truePositiveCount": "4422",
            "falsePositiveCount": "1118",
            "falseNegativeCount": "45",
            "trueNegativeCount": "3349"
          },
          ...
        ],
        "confusionMatrix": {
          "annotationSpecs": [
            {
              "displayName": "1"
            },
            {
              "displayName": "2"
            }
          ],
          "rows": [
            [
              3817,
              140
            ],
            [
              266,
              244
            ]
          ]
        }
      },
      "createTime": "2020-10-09T00:19:15.463930Z",
      "sliceDimensions": [
        "annotationSpec"
      ],
      "modelExplanation": {
        "meanAttributions": [
          {
            "featureAttributions": {
              "Age": 0.022972771897912025,
              "Job": 0.031542550772428513,
              "MaritalStatus": 0.015506803058087826,
              "Education": 0.019189134240150452,
              "Default": 0.00021766019926872104,
              "Balance": 0.031217793002724648,
              "Housing": 0.06786702573299408,
              "Loan": 0.0072592208161950111,
              "Contact": 0.083566240966320038,
              "Day": 0.074894927442073822,
              "Month": 0.19679982960224152,
              "Duration": 0.35500210523605347,
              "Campaign": 0.033425047993659973,
              "PDays": 0.013902961276471615,
              "Previous": 0.0061685866676270962,
              "POutcome": 0.040467333048582077
            }
          }
        ]
      }
    }
  ]
}

Java

Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di Vertex AI con librerie client. Per ulteriori informazioni, consulta API Java Vertex AI documentazione di riferimento.

Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.


import com.google.cloud.aiplatform.v1.ModelEvaluation;
import com.google.cloud.aiplatform.v1.ModelEvaluationName;
import com.google.cloud.aiplatform.v1.ModelServiceClient;
import com.google.cloud.aiplatform.v1.ModelServiceSettings;
import java.io.IOException;

public class GetModelEvaluationTabularClassificationSample {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    // To obtain evaluationId run the code block below after setting modelServiceSettings.
    //
    // try (ModelServiceClient modelServiceClient = ModelServiceClient.create(modelServiceSettings))
    // {
    //   String location = "us-central1";
    //   ModelName modelFullId = ModelName.of(project, location, modelId);
    //   ListModelEvaluationsRequest modelEvaluationsrequest =
    //   ListModelEvaluationsRequest.newBuilder().setParent(modelFullId.toString()).build();
    //   for (ModelEvaluation modelEvaluation :
    //     modelServiceClient.listModelEvaluations(modelEvaluationsrequest).iterateAll()) {
    //       System.out.format("Model Evaluation Name: %s%n", modelEvaluation.getName());
    //   }
    // }
    String project = "YOUR_PROJECT_ID";
    String modelId = "YOUR_MODEL_ID";
    String evaluationId = "YOUR_EVALUATION_ID";
    getModelEvaluationTabularClassification(project, modelId, evaluationId);
  }

  static void getModelEvaluationTabularClassification(
      String project, String modelId, String evaluationId) throws IOException {
    ModelServiceSettings modelServiceSettings =
        ModelServiceSettings.newBuilder()
            .setEndpoint("us-central1-aiplatform.googleapis.com:443")
            .build();

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests. After completing all of your requests, call
    // the "close" method on the client to safely clean up any remaining background resources.
    try (ModelServiceClient modelServiceClient = ModelServiceClient.create(modelServiceSettings)) {
      String location = "us-central1";
      ModelEvaluationName modelEvaluationName =
          ModelEvaluationName.of(project, location, modelId, evaluationId);
      ModelEvaluation modelEvaluation = modelServiceClient.getModelEvaluation(modelEvaluationName);

      System.out.println("Get Model Evaluation Tabular Classification Response");
      System.out.format("\tName: %s\n", modelEvaluation.getName());
      System.out.format("\tMetrics Schema Uri: %s\n", modelEvaluation.getMetricsSchemaUri());
      System.out.format("\tMetrics: %s\n", modelEvaluation.getMetrics());
      System.out.format("\tCreate Time: %s\n", modelEvaluation.getCreateTime());
      System.out.format("\tSlice Dimensions: %s\n", modelEvaluation.getSliceDimensionsList());
    }
  }
}

Node.js

Prima di provare questo esempio, segui le istruzioni per la configurazione di Node.js nel Guida rapida di Vertex AI con librerie client. Per ulteriori informazioni, consulta API Node.js Vertex AI documentazione di riferimento.

Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.

/**
 * TODO(developer): Uncomment these variables before running the sample
 * (not necessary if passing values as arguments). To obtain evaluationId,
 * instantiate the client and run the following the commands.
 */
// const parentName = `projects/${project}/locations/${location}/models/${modelId}`;
// const evalRequest = {
//   parent: parentName
// };
// const [evalResponse] = await modelServiceClient.listModelEvaluations(evalRequest);
// console.log(evalResponse);

// const modelId = 'YOUR_MODEL_ID';
// const evaluationId = 'YOUR_EVALUATION_ID';
// const project = 'YOUR_PROJECT_ID';
// const location = 'YOUR_PROJECT_LOCATION';

// Imports the Google Cloud Model Service Client library
const {ModelServiceClient} = require('@google-cloud/aiplatform');

// Specifies the location of the api endpoint
const clientOptions = {
  apiEndpoint: 'us-central1-aiplatform.googleapis.com',
};

// Instantiates a client
const modelServiceClient = new ModelServiceClient(clientOptions);

async function getModelEvaluationTabularClassification() {
  // Configure the parent resources
  const name = `projects/${project}/locations/${location}/models/${modelId}/evaluations/${evaluationId}`;
  const request = {
    name,
  };

  // Get model evaluation request
  const [response] = await modelServiceClient.getModelEvaluation(request);

  console.log('Get model evaluation tabular classification response');
  console.log(`\tName : ${response.name}`);
  console.log(`\tMetrics schema uri : ${response.metricsSchemaUri}`);
  console.log(`\tMetrics : ${JSON.stringify(response.metrics)}`);
  console.log(`\tCreate time : ${JSON.stringify(response.createTime)}`);
  console.log(`\tSlice dimensions : ${response.sliceDimensions}`);

  const modelExplanation = response.modelExplanation;
  console.log('\tModel explanation');
  if (!modelExplanation) {
    console.log('\t\t{}');
  } else {
    const meanAttributions = modelExplanation.meanAttributions;
    if (!meanAttributions) {
      console.log('\t\t\t []');
    } else {
      for (const meanAttribution of meanAttributions) {
        console.log('\t\tMean attribution');
        console.log(
          `\t\t\tBaseline output value : \
            ${meanAttribution.baselineOutputValue}`
        );
        console.log(
          `\t\t\tInstance output value : \
            ${meanAttribution.instanceOutputValue}`
        );
        console.log(
          `\t\t\tFeature attributions : \
            ${JSON.stringify(meanAttribution.featureAttributions)}`
        );
        console.log(`\t\t\tOutput index : ${meanAttribution.outputIndex}`);
        console.log(
          `\t\t\tOutput display name : \
            ${meanAttribution.outputDisplayName}`
        );
        console.log(
          `\t\t\tApproximation error : \
            ${meanAttribution.approximationError}`
        );
      }
    }
  }
}
getModelEvaluationTabularClassification();

Python

Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, vedi Installare l'SDK Vertex AI per Python. Per ulteriori informazioni, consulta documentazione di riferimento dell'API Python.

from google.cloud import aiplatform


def get_model_evaluation_tabular_classification_sample(
    project: str,
    model_id: str,
    evaluation_id: str,
    location: str = "us-central1",
    api_endpoint: str = "us-central1-aiplatform.googleapis.com",
):
    """
    To obtain evaluation_id run the following commands where LOCATION
    is the region where the model is stored, PROJECT is the project ID,
    and MODEL_ID is the ID of your model.

    model_client = aiplatform.gapic.ModelServiceClient(
        client_options={
            'api_endpoint':'LOCATION-aiplatform.googleapis.com'
            }
        )
    evaluations = model_client.list_model_evaluations(parent='projects/PROJECT/locations/LOCATION/models/MODEL_ID')
    print("evaluations:", evaluations)
    """
    # The AI Platform services require regional API endpoints.
    client_options = {"api_endpoint": api_endpoint}
    # Initialize client that will be used to create and send requests.
    # This client only needs to be created once, and can be reused for multiple requests.
    client = aiplatform.gapic.ModelServiceClient(client_options=client_options)
    name = client.model_evaluation_path(
        project=project, location=location, model=model_id, evaluation=evaluation_id
    )
    response = client.get_model_evaluation(name=name)
    print("response:", response)

Regressione

Seleziona una scheda corrispondente alla tua lingua o al tuo ambiente:

REST

Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

LOCATION: regione in cui è archiviato il modello.
PROJECT: il tuo ID progetto.
MODEL_ID: l'ID della risorsa del modello.
PROJECT_NUMBER: il numero di progetto generato automaticamente per il tuo progetto.
EVALUATION_ID: ID per la valutazione del modello (viene visualizzato nella risposta).

Metodo HTTP e URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations

Per inviare la richiesta, scegli una delle seguenti opzioni:

curl

Esegui questo comando:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"

PowerShell

Esegui questo comando:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente:

Risposta

{
  "modelEvaluations": [
    {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID",
      "metricsSchemaUri": "gs://google-cloud-aiplatform/schema/modelevaluation/regression_metrics_1.0.0.yaml",
      "metrics": {
        "rootMeanSquaredError": 2553.6309,
        "meanAbsoluteError": 1373.3932,
        "meanAbsolutePercentageError": "Infinity",
        "rSquared": 0.060764354,
        "rootMeanSquaredLogError": "NaN"
      },
      "createTime": "2020-10-09T01:20:37.045482Z",
      "modelExplanation": {
        "meanAttributions": [
          {
            "featureAttributions": {
              "Age": 0.22535169124603271,
              "Job": 0.049311652779579163,
              "MaritalStatus": 0.033439181745052338,
              "Education": 0.10934026539325714,
              "Default": 0.021301545202732086,
              "Housing": 0.0631907731294632,
              "Loan": 0.055760543793439865,
              "Contact": 0.010930608958005905,
              "Day": 0.14066702127456665,
              "Month": 0.17570944130420685,
              "Duration": 0.054339192807674408,
              "Campaign": 0.015468073077499866,
              "PDays": 0.020416950806975365,
              "Previous": 0.0037290120963007212,
              "POutcome": 0.0040646209381520748,
              "Deposit": 0.016979435458779335
            }
          }
        ]
      }
    }
  ]
}

Java

Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.


import com.google.cloud.aiplatform.v1.ModelEvaluation;
import com.google.cloud.aiplatform.v1.ModelEvaluationName;
import com.google.cloud.aiplatform.v1.ModelServiceClient;
import com.google.cloud.aiplatform.v1.ModelServiceSettings;
import java.io.IOException;

public class GetModelEvaluationTabularRegressionSample {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    // To obtain evaluationId run the code block below after setting modelServiceSettings.
    //
    // try (ModelServiceClient modelServiceClient = ModelServiceClient.create(modelServiceSettings))
    // {
    //   String location = "us-central1";
    //   ModelName modelFullId = ModelName.of(project, location, modelId);
    //   ListModelEvaluationsRequest modelEvaluationsrequest =
    //   ListModelEvaluationsRequest.newBuilder().setParent(modelFullId.toString()).build();
    //   for (ModelEvaluation modelEvaluation :
    //     modelServiceClient.listModelEvaluations(modelEvaluationsrequest).iterateAll()) {
    //       System.out.format("Model Evaluation Name: %s%n", modelEvaluation.getName());
    //   }
    // }
    String project = "YOUR_PROJECT_ID";
    String modelId = "YOUR_MODEL_ID";
    String evaluationId = "YOUR_EVALUATION_ID";
    getModelEvaluationTabularRegression(project, modelId, evaluationId);
  }

  static void getModelEvaluationTabularRegression(
      String project, String modelId, String evaluationId) throws IOException {
    ModelServiceSettings modelServiceSettings =
        ModelServiceSettings.newBuilder()
            .setEndpoint("us-central1-aiplatform.googleapis.com:443")
            .build();

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests. After completing all of your requests, call
    // the "close" method on the client to safely clean up any remaining background resources.
    try (ModelServiceClient modelServiceClient = ModelServiceClient.create(modelServiceSettings)) {
      String location = "us-central1";
      ModelEvaluationName modelEvaluationName =
          ModelEvaluationName.of(project, location, modelId, evaluationId);
      ModelEvaluation modelEvaluation = modelServiceClient.getModelEvaluation(modelEvaluationName);

      System.out.println("Get Model Evaluation Tabular Regression Response");
      System.out.format("\tName: %s\n", modelEvaluation.getName());
      System.out.format("\tMetrics Schema Uri: %s\n", modelEvaluation.getMetricsSchemaUri());
      System.out.format("\tMetrics: %s\n", modelEvaluation.getMetrics());
      System.out.format("\tCreate Time: %s\n", modelEvaluation.getCreateTime());
      System.out.format("\tSlice Dimensions: %s\n", modelEvaluation.getSliceDimensionsList());
    }
  }
}

Node.js

Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.

/**
 * TODO(developer): Uncomment these variables before running the sample
 * (not necessary if passing values as arguments). To obtain evaluationId,
 * instantiate the client and run the following the commands.
 */
// const parentName = `projects/${project}/locations/${location}/models/${modelId}`;
// const evalRequest = {
//   parent: parentName
// };
// const [evalResponse] = await modelServiceClient.listModelEvaluations(evalRequest);
// console.log(evalResponse);

// const modelId = 'YOUR_MODEL_ID';
// const evaluationId = 'YOUR_EVALUATION_ID';
// const project = 'YOUR_PROJECT_ID';
// const location = 'YOUR_PROJECT_LOCATION';

// Imports the Google Cloud Model Service Client library
const {ModelServiceClient} = require('@google-cloud/aiplatform');

// Specifies the location of the api endpoint
const clientOptions = {
  apiEndpoint: 'us-central1-aiplatform.googleapis.com',
};

// Instantiates a client
const modelServiceClient = new ModelServiceClient(clientOptions);

async function getModelEvaluationTabularRegression() {
  // Configure the parent resources
  const name = `projects/${project}/locations/${location}/models/${modelId}/evaluations/${evaluationId}`;
  const request = {
    name,
  };

  // Get model evaluation request
  const [response] = await modelServiceClient.getModelEvaluation(request);

  console.log('Get model evaluation tabular regression response');
  console.log(`\tName : ${response.name}`);
  console.log(`\tMetrics schema uri : ${response.metricsSchemaUri}`);
  console.log(`\tMetrics : ${JSON.stringify(response.metrics)}`);
  console.log(`\tCreate time : ${JSON.stringify(response.createTime)}`);
  console.log(`\tSlice dimensions : ${response.sliceDimensions}`);

  const modelExplanation = response.modelExplanation;
  console.log('\tModel explanation');
  if (!modelExplanation) {
    console.log('\t\t{}');
  } else {
    const meanAttributions = modelExplanation.meanAttributions;
    if (!meanAttributions) {
      console.log('\t\t\t []');
    } else {
      for (const meanAttribution of meanAttributions) {
        console.log('\t\tMean attribution');
        console.log(
          `\t\t\tBaseline output value : \
            ${meanAttribution.baselineOutputValue}`
        );
        console.log(
          `\t\t\tInstance output value : \
            ${meanAttribution.instanceOutputValue}`
        );
        console.log(
          `\t\t\tFeature attributions : \
            ${JSON.stringify(meanAttribution.featureAttributions)}`
        );
        console.log(`\t\t\tOutput index : ${meanAttribution.outputIndex}`);
        console.log(
          `\t\t\tOutput display name : \
            ${meanAttribution.outputDisplayName}`
        );
        console.log(
          `\t\t\tApproximation error : \
            ${meanAttribution.approximationError}`
        );
      }
    }
  }
}
getModelEvaluationTabularRegression();

Python

Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, vedi Installare l'SDK Vertex AI per Python. Per ulteriori informazioni, consulta documentazione di riferimento dell'API Python.

from google.cloud import aiplatform


def get_model_evaluation_tabular_regression_sample(
    project: str,
    model_id: str,
    evaluation_id: str,
    location: str = "us-central1",
    api_endpoint: str = "us-central1-aiplatform.googleapis.com",
):
    """
    To obtain evaluation_id run the following commands where LOCATION
    is the region where the model is stored, PROJECT is the project ID,
    and MODEL_ID is the ID of your model.

    model_client = aiplatform.gapic.ModelServiceClient(
        client_options={
            'api_endpoint':'LOCATION-aiplatform.googleapis.com'
            }
        )
    evaluations = model_client.list_model_evaluations(parent='projects/PROJECT/locations/LOCATION/models/MODEL_ID')
    print("evaluations:", evaluations)
    """
    # The AI Platform services require regional API endpoints.
    client_options = {"api_endpoint": api_endpoint}
    # Initialize client that will be used to create and send requests.
    # This client only needs to be created once, and can be reused for multiple requests.
    client = aiplatform.gapic.ModelServiceClient(client_options=client_options)
    name = client.model_evaluation_path(
        project=project, location=location, model=model_id, evaluation=evaluation_id
    )
    response = client.get_model_evaluation(name=name)
    print("response:", response)

Elenco di tutte le sezioni di valutazione (solo modelli di classificazione)

La projects.locations.models.evaluations.slices.list elenca tutte le sezioni di valutazione per il tuo modello. Devi avere l'ID valutazione del modello, che puoi ottenere visualizzare le metriche di valutazione aggregate.

Puoi utilizzare le sezioni di valutazione del modello per determinare le prestazioni del modello su una un'etichetta specifica. Il campo value indica l'etichetta a cui si riferiscono le metriche.

REST

Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

LOCATION: regione in cui si trova il modello. Ad esempio: us-central1.
PROJECT: il tuo ID progetto.
MODEL_ID: l'ID del modello.
EVALUATION_ID: ID della valutazione del modello che contiene la le sezioni di valutazione da elencare.

Metodo HTTP e URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices

Per inviare la richiesta, scegli una delle seguenti opzioni:

curl

Esegui questo comando:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices"

PowerShell

Esegui questo comando:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente:

Risposta

{
  "modelEvaluationSlices": [
    {
      "name": "projects/693884908213/locations/us-central1/models/705305922892726272/evaluations/4515484958386859492/slices/1785244630562158241",
      "slice": {
        "dimension": "annotationSpec",
        "value": "2"
      },
      "metricsSchemaUri": "gs://google-cloud-aiplatform/schema/modelevaluation/classification_metrics_1.0.0.yaml",
      "metrics": {
        "auPrc": 0.6108714,
        "auRoc": 0.9362428,
        "logLoss": 0.9680687,
        "confidenceMetrics": [
          {
            "recall": 1,
            "precision": 0.11417058,
            "falsePositiveRate": 1,
            "f1Score": 0.20494273,
            "recallAt1": 0.47843137,
            "precisionAt1": 0.6354167,
            "falsePositiveRateAt1": 0.035380337,
            "f1ScoreAt1": 0.5458613,
            "truePositiveCount": "510",
            "falsePositiveCount": "3957"
          },
          {
            "confidenceThreshold": 0.003269856,
            "recall": 0.9980392,
            "precision": 0.15108341,
            "falsePositiveRate": 0.7227698,
            "f1Score": 0.26243877,
            "recallAt1": 0.47843137,
            "precisionAt1": 0.6354167,
            "falsePositiveRateAt1": 0.035380337,
            "f1ScoreAt1": 0.5458613,
            "truePositiveCount": "509",
            "falsePositiveCount": "2860",
            "falseNegativeCount": "1",
            "trueNegativeCount": "1097"
          },
          {
            "confidenceThreshold": 0.016592776,
            "recall": 0.9882353,
            "precision": 0.23344141,
            "falsePositiveRate": 0.41824615,
            "f1Score": 0.37766954,
            "recallAt1": 0.47843137,
            "precisionAt1": 0.6354167,
            "falsePositiveRateAt1": 0.035380337,
            "f1ScoreAt1": 0.5458613,
            "truePositiveCount": "504",
            "falsePositiveCount": "1655",
            "falseNegativeCount": "6",
            "trueNegativeCount": "2302"
          },
          ...
        ]
      },
      "createTime": "2020-10-09T00:19:15.480435Z"
    },
    {
      "name": "projects/693884908213/locations/us-central1/models/705305922892726272/evaluations/4515484958386859492/slices/8107013027312442123",
      "slice": {
        "dimension": "annotationSpec",
        "value": "1"
      },
      "metricsSchemaUri": "gs://google-cloud-aiplatform/schema/modelevaluation/classification_metrics_1.0.0.yaml",
      "metrics": {
        "auPrc": 0.9916441,
        "auRoc": 0.93830043,
        "logLoss": 0.09145534,
        "confidenceMetrics": [
          {
            "recall": 1,
            "precision": 0.8858294,
            "falsePositiveRate": 1,
            "f1Score": 0.93945867,
            "recallAt1": 0.96461964,
            "precisionAt1": 0.9348518,
            "falsePositiveRateAt1": 0.52156866,
            "f1ScoreAt1": 0.94950247,
            "truePositiveCount": "3957",
            "falsePositiveCount": "510"
          },
          {
            "confidenceThreshold": 0.064618945,
            "recall": 0.9997473,
            "precision": 0.88639927,
            "falsePositiveRate": 0.9941176,
            "f1Score": 0.93966746,
            "recallAt1": 0.96461964,
            "precisionAt1": 0.9348518,
            "falsePositiveRateAt1": 0.52156866,
            "f1ScoreAt1": 0.94950247,
            "truePositiveCount": "3956",
            "falsePositiveCount": "507",
            "falseNegativeCount": "1",
            "trueNegativeCount": "3"
          },
          ...

Java

Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.


import com.google.cloud.aiplatform.v1.ModelEvaluationName;
import com.google.cloud.aiplatform.v1.ModelEvaluationSlice;
import com.google.cloud.aiplatform.v1.ModelEvaluationSlice.Slice;
import com.google.cloud.aiplatform.v1.ModelServiceClient;
import com.google.cloud.aiplatform.v1.ModelServiceSettings;
import java.io.IOException;

public class ListModelEvaluationSliceSample {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    // To obtain evaluationId run the code block below after setting modelServiceSettings.
    //
    // try (ModelServiceClient modelServiceClient = ModelServiceClient.create(modelServiceSettings))
    // {
    //   String location = "us-central1";
    //   ModelName modelFullId = ModelName.of(project, location, modelId);
    //   ListModelEvaluationsRequest modelEvaluationsrequest =
    //   ListModelEvaluationsRequest.newBuilder().setParent(modelFullId.toString()).build();
    //   for (ModelEvaluation modelEvaluation :
    //     modelServiceClient.listModelEvaluations(modelEvaluationsrequest).iterateAll()) {
    //       System.out.format("Model Evaluation Name: %s%n", modelEvaluation.getName());
    //   }
    // }
    String project = "YOUR_PROJECT_ID";
    String modelId = "YOUR_MODEL_ID";
    String evaluationId = "YOUR_EVALUATION_ID";
    listModelEvaluationSliceSample(project, modelId, evaluationId);
  }

  static void listModelEvaluationSliceSample(String project, String modelId, String evaluationId)
      throws IOException {
    ModelServiceSettings modelServiceSettings =
        ModelServiceSettings.newBuilder()
            .setEndpoint("us-central1-aiplatform.googleapis.com:443")
            .build();

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests. After completing all of your requests, call
    // the "close" method on the client to safely clean up any remaining background resources.
    try (ModelServiceClient modelServiceClient = ModelServiceClient.create(modelServiceSettings)) {
      String location = "us-central1";
      ModelEvaluationName modelEvaluationName =
          ModelEvaluationName.of(project, location, modelId, evaluationId);

      for (ModelEvaluationSlice modelEvaluationSlice :
          modelServiceClient.listModelEvaluationSlices(modelEvaluationName).iterateAll()) {
        System.out.format("Model Evaluation Slice Name: %s\n", modelEvaluationSlice.getName());
        System.out.format("Metrics Schema Uri: %s\n", modelEvaluationSlice.getMetricsSchemaUri());
        System.out.format("Metrics: %s\n", modelEvaluationSlice.getMetrics());
        System.out.format("Create Time: %s\n", modelEvaluationSlice.getCreateTime());

        Slice slice = modelEvaluationSlice.getSlice();
        System.out.format("Slice Dimensions: %s\n", slice.getDimension());
        System.out.format("Slice Value: %s\n\n", slice.getValue());
      }
    }
  }
}

Node.js

Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.

/**
 * TODO(developer): Uncomment these variables before running the sample
 * (not necessary if passing values as arguments). To obtain evaluationId,
 * instantiate the client and run the following the commands.
 */
// const parentName = `projects/${project}/locations/${location}/models/${modelId}`;
// const evalRequest = {
//   parent: parentName
// };
// const [evalResponse] = await modelServiceClient.listModelEvaluations(evalRequest);
// console.log(evalResponse);

// const modelId = 'YOUR_MODEL_ID';
// const evaluationId = 'YOUR_EVALUATION_ID';
// const project = 'YOUR_PROJECT_ID';
// const location = 'YOUR_PROJECT_LOCATION';

// Imports the Google Cloud Model Service Client library
const {ModelServiceClient} = require('@google-cloud/aiplatform');

// Specifies the location of the api endpoint
const clientOptions = {
  apiEndpoint: 'us-central1-aiplatform.googleapis.com',
};

// Instantiates a client
const modelServiceClient = new ModelServiceClient(clientOptions);

async function listModelEvaluationSlices() {
  // Configure the parent resources
  const parent = `projects/${project}/locations/${location}/models/${modelId}/evaluations/${evaluationId}`;
  const request = {
    parent,
  };

  // Get and print out a list of all the evaluation slices for this resource
  const [response] =
    await modelServiceClient.listModelEvaluationSlices(request);
  console.log('List model evaluation response', response);
  console.log(response);
}
listModelEvaluationSlices();

Python

Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, vedi Installare l'SDK Vertex AI per Python. Per ulteriori informazioni, consulta documentazione di riferimento dell'API Python.

from google.cloud import aiplatform


def list_model_evaluation_slices_sample(
    project: str,
    model_id: str,
    evaluation_id: str,
    location: str = "us-central1",
    api_endpoint: str = "us-central1-aiplatform.googleapis.com",
):
    """
    To obtain evaluation_id run the following commands where LOCATION
    is the region where the model is stored, PROJECT is the project ID,
    and MODEL_ID is the ID of your model.

    model_client = aiplatform.gapic.ModelServiceClient(
        client_options={
            'api_endpoint':'LOCATION-aiplatform.googleapis.com'
            }
        )
    evaluations = model_client.list_model_evaluations(parent='projects/PROJECT/locations/LOCATION/models/MODEL_ID')
    print("evaluations:", evaluations)
    """
    # The AI Platform services require regional API endpoints.
    client_options = {"api_endpoint": api_endpoint}
    # Initialize client that will be used to create and send requests.
    # This client only needs to be created once, and can be reused for multiple requests.
    client = aiplatform.gapic.ModelServiceClient(client_options=client_options)
    parent = client.model_evaluation_path(
        project=project, location=location, model=model_id, evaluation=evaluation_id
    )
    response = client.list_model_evaluation_slices(parent=parent)
    for model_evaluation_slice in response:
        print("model_evaluation_slice:", model_evaluation_slice)

Recupero delle metriche per una singola sezione

Per visualizzare le metriche di valutazione per una singola sezione, utilizza la proprietà projects.locations.models.evaluations.slices.get . Devi avere l'ID sezione, che viene fornito quando elenchi tutte le sezioni sezioni. Il seguente esempio si applica a tutti i tipi di dati e degli obiettivi.

REST

Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

LOCATION: regione in cui si trova il modello. Ad esempio: us-central1.
PROJECT: il tuo ID progetto.
MODEL_ID: l'ID del modello.
EVALUATION_ID: ID della valutazione del modello che contiene la la sezione di valutazione da recuperare.
SLICE_ID: ID di una sezione di valutazione da ottenere.
PROJECT_NUMBER: il numero di progetto generato automaticamente per il tuo progetto.
EVALUATION_METRIC_SCHEMA_FILE_NAME: il nome di un file di schema che definisce le metriche di valutazione da restituire come classification_metrics_1.0.0.

Metodo HTTP e URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices/SLICE_ID

Per inviare la richiesta, scegli una delle seguenti opzioni:

curl

Esegui questo comando:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices/SLICE_ID"

PowerShell

Esegui questo comando:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices/SLICE_ID" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente:

Risposta

{
  "name": "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices/SLICE_ID",
  "slice": {
    "dimension": "annotationSpec",
    "value": "a particular class or label"
  },
  "metricsSchemaUri": "gs://google-cloud-aiplatform/schema/modelevaluation/EVALUATION_METRIC_SCHEMA_FILE_NAME.yaml",
  "metrics": {
    evaluation metrics for the slice
  },
  "createTime": "2020-10-08T23:35:54.770876Z"
}

Java

Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.


import com.google.cloud.aiplatform.v1.ModelEvaluationSlice;
import com.google.cloud.aiplatform.v1.ModelEvaluationSlice.Slice;
import com.google.cloud.aiplatform.v1.ModelEvaluationSliceName;
import com.google.cloud.aiplatform.v1.ModelServiceClient;
import com.google.cloud.aiplatform.v1.ModelServiceSettings;
import java.io.IOException;

public class GetModelEvaluationSliceSample {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    // To obtain evaluationId run the code block below after setting modelServiceSettings.
    //
    // try (ModelServiceClient modelServiceClient = ModelServiceClient.create(modelServiceSettings))
    // {
    //   String location = "us-central1";
    //   ModelName modelFullId = ModelName.of(project, location, modelId);
    //   ListModelEvaluationsRequest modelEvaluationsrequest =
    //   ListModelEvaluationsRequest.newBuilder().setParent(modelFullId.toString()).build();
    //   for (ModelEvaluation modelEvaluation :
    //     modelServiceClient.listModelEvaluations(modelEvaluationsrequest).iterateAll()) {
    //       System.out.format("Model Evaluation Name: %s%n", modelEvaluation.getName());
    //   }
    // }
    String project = "YOUR_PROJECT_ID";
    String modelId = "YOUR_MODEL_ID";
    String evaluationId = "YOUR_EVALUATION_ID";
    String sliceId = "YOUR_SLICE_ID";
    getModelEvaluationSliceSample(project, modelId, evaluationId, sliceId);
  }

  static void getModelEvaluationSliceSample(
      String project, String modelId, String evaluationId, String sliceId) throws IOException {
    ModelServiceSettings modelServiceSettings =
        ModelServiceSettings.newBuilder()
            .setEndpoint("us-central1-aiplatform.googleapis.com:443")
            .build();

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests. After completing all of your requests, call
    // the "close" method on the client to safely clean up any remaining background resources.
    try (ModelServiceClient modelServiceClient = ModelServiceClient.create(modelServiceSettings)) {
      String location = "us-central1";
      ModelEvaluationSliceName modelEvaluationSliceName =
          ModelEvaluationSliceName.of(project, location, modelId, evaluationId, sliceId);

      ModelEvaluationSlice modelEvaluationSlice =
          modelServiceClient.getModelEvaluationSlice(modelEvaluationSliceName);

      System.out.println("Get Model Evaluation Slice Response");
      System.out.format("Model Evaluation Slice Name: %s\n", modelEvaluationSlice.getName());
      System.out.format("Metrics Schema Uri: %s\n", modelEvaluationSlice.getMetricsSchemaUri());
      System.out.format("Metrics: %s\n", modelEvaluationSlice.getMetrics());
      System.out.format("Create Time: %s\n", modelEvaluationSlice.getCreateTime());

      Slice slice = modelEvaluationSlice.getSlice();
      System.out.format("Slice Dimensions: %s\n", slice.getDimension());
      System.out.format("Slice Value: %s\n", slice.getValue());
    }
  }
}

Node.js

Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.

/**
 * TODO(developer): Uncomment these variables before running the sample
 * (not necessary if passing values as arguments). To obtain evaluationId,
 * instantiate the client and run the following the commands.
 */
// const parentName = `projects/${project}/locations/${location}/models/${modelId}`;
// const evalRequest = {
//   parent: parentName
// };
// const [evalResponse] = await modelServiceClient.listModelEvaluations(evalRequest);
// console.log(evalResponse);

// const modelId = 'YOUR_MODEL_ID';
// const evaluationId = 'YOUR_EVALUATION_ID';
// const sliceId = 'YOUR_SLICE_ID';
// const project = 'YOUR_PROJECT_ID';
// const location = 'YOUR_PROJECT_LOCATION';

// Imports the Google Cloud Model Service client library
const {ModelServiceClient} = require('@google-cloud/aiplatform');
// Specifies the location of the api endpoint
const clientOptions = {
  apiEndpoint: 'us-central1-aiplatform.googleapis.com',
};
// Specifies the location of the api endpoint
const modelServiceClient = new ModelServiceClient(clientOptions);

async function getModelEvaluationSlice() {
  // Configure the parent resource
  const name = `projects/${project}/locations/${location}/models/${modelId}/evaluations/${evaluationId}/slices/${sliceId}`;
  const request = {
    name,
  };

  // Get and print out a list of all the endpoints for this resource
  const [response] =
    await modelServiceClient.getModelEvaluationSlice(request);

  console.log('Get model evaluation slice');
  console.log(`\tName : ${response.name}`);
  console.log(`\tMetrics_Schema_Uri : ${response.metricsSchemaUri}`);
  console.log(`\tMetrics : ${JSON.stringify(response.metrics)}`);
  console.log(`\tCreate time : ${JSON.stringify(response.createTime)}`);

  console.log('Slice');
  const slice = response.slice;
  console.log(`\tDimension :${slice.dimension}`);
  console.log(`\tValue :${slice.value}`);
}
getModelEvaluationSlice();

Python

Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, vedi Installare l'SDK Vertex AI per Python. Per ulteriori informazioni, consulta documentazione di riferimento dell'API Python.

from google.cloud import aiplatform


def get_model_evaluation_slice_sample(
    project: str,
    model_id: str,
    evaluation_id: str,
    slice_id: str,
    location: str = "us-central1",
    api_endpoint: str = "us-central1-aiplatform.googleapis.com",
):
    """
    To obtain evaluation_id run the following commands where LOCATION
    is the region where the model is stored, PROJECT is the project ID,
    and MODEL_ID is the ID of your model.

    model_client = aiplatform.gapic.ModelServiceClient(
        client_options={
            'api_endpoint':'LOCATION-aiplatform.googleapis.com'
            }
        )
    evaluations = model_client.list_model_evaluations(parent='projects/PROJECT/locations/LOCATION/models/MODEL_ID')
    print("evaluations:", evaluations)
    """
    # The AI Platform services require regional API endpoints.
    client_options = {"api_endpoint": api_endpoint}
    # Initialize client that will be used to create and send requests.
    # This client only needs to be created once, and can be reused for multiple requests.
    client = aiplatform.gapic.ModelServiceClient(client_options=client_options)
    name = client.model_evaluation_slice_path(
        project=project,
        location=location,
        model=model_id,
        evaluation=evaluation_id,
        slice=slice_id,
    )
    response = client.get_model_evaluation_slice(name=name)
    print("response:", response)

Metriche di valutazione del modello

Vertex AI restituisce diverse metriche di valutazione, soglie di precisione, richiamo e affidabilità. Le metriche che I resi di Vertex AI dipendono dall'obiettivo del modello. Ad esempio: Vertex AI fornisce diverse metriche di valutazione per un'immagine di classificazione a confronto con un modello di rilevamento degli oggetti immagine.

Un file di schema determina le metriche di valutazione di Vertex AI per ogni obiettivo.

Puoi visualizzare e scaricare file di schema dai seguenti file di Cloud Storage località:
gs://google-cloud-aiplatform/schema/modelevaluation/

Le metriche di valutazione sono:

Classificazione

AuPRC: area sotto la curva di precisione-richiamo (PR), chiamata anche media la precisione. Il valore va da zero a uno, dove un valore più elevato indica un modello di qualità superiore.
AuROC: la area sotto la curva della caratteristica operativa del ricevitore. L'intervallo varia da zero a uno, dove un valore più elevato indica un modello di qualità migliore.
Perdita logaritmica: entropia incrociata tra le previsioni del modello e il target e i relativi valori. L'intervallo va da zero a infinito, dove un valore più basso indica una un modello di qualità superiore.
Soglia di confidenza: un punteggio di confidenza che determina quali le previsioni da restituire. Un modello restituisce previsioni che raggiungono questo valore in alto. Una soglia di confidenza più alta aumenta la precisione, ma riduce il richiamo. Vertex AI restituisce metriche di confidenza con valori di soglia diversi per mostrare come la soglia influisce precisione e ricordo.
Richiamo: la frazione delle previsioni con questa classe che il modello previsto correttamente. Chiamato anche tasso di veri positivi.
Richiamo a 1: il richiamo (tasso di veri positivi) quando si considera solo l'etichetta con il punteggio di previsione più alto e non inferiore al livello di confidenza per ogni esempio.
Precisione: la frazione delle previsioni di classificazione prodotte dalla corretto.
Precisione a 1: la precisione quando viene considerata solo l'etichetta con il punteggio di previsione più alto e non al di sotto della soglia di confidenza esempio.
Punteggio F1: la media armonica di precisione e richiamo. F1 è un'informazione utile per trovare un equilibrio tra precisione e richiamo una distribuzione non uniforme delle classi.
Punteggio F1 a 1: la media armonica del richiamo a 1 e la precisione a 1.
Conteggio veri negativi: il numero di volte in cui un modello ha previsto correttamente una classe negativa.
Conteggio veri positivi: il numero di volte in cui un modello ha previsto correttamente un una classe positiva.
Conteggio falsi negativi: il numero di volte in cui un modello ha previsto erroneamente una classe negativa.
Conteggio falsi positivi: il numero di volte in cui un modello ha previsto erroneamente una classe positiva.
Percentuale di falsi positivi: la frazione di risultati previsti in modo errato su tutti i risultati previsti.
Tasso di falsi positivi a 1: il tasso di falsi positivi quando solo si considerano l'etichetta con il punteggio di previsione più alto e non inferiore al livello di confidenza per ogni esempio.
Matrice di confusione: A confusione mostra la frequenza con cui un modello ha previsto correttamente un risultato. Per errata dei risultati previsti, la matrice mostra invece ciò che è stato previsto dal modello. La la matrice di confusione aiuta a capire dove il modello "confonde" due che consentono di analizzare i dati e visualizzare i risultati.
Attribuzioni delle caratteristiche del modello: Vertex AI mostra quanto ciascuna caratteristica influisce su un modello. I valori sono forniti sotto forma percentuale per caratteristica: più alta è la percentuale, maggiore è l'impatto che l'elemento ha avuto su durante l'addestramento del modello. Esamina queste informazioni per assicurarti che tutti i più importanti più pertinenti per i dati e il problema aziendale. Per saperne di più, consulta Attribuzioni delle caratteristiche per classificazione e regressione.

Regressione

MAE: l'errore assoluto medio (MAE, Mean Absolute Error) è la differenza media assoluta. tra i valori target e quelli previsti. Questa metrica va da zero all'infinito; un valore più basso indica un modello di qualità migliore.
RMSE: l'errore quadratico medio è la radice quadrata del valore medio differenza quadrata tra i valori target e quelli previsti. L'RMSE è maggiore sensibile agli outlier rispetto al MAE. Se la preoccupazione principale riguarda gli errori di grande entità, L'RMSE può essere una metrica più utile da valutare. Simile al MAE, un valore minore indica un modello di qualità superiore (0 rappresenta un predittore perfetto).
RMSLE: la metrica dell'errore logaritmico quadratico medio è simile all'RMSE, tranne che utilizza il logaritmo naturale dei valori previsti ed effettivi più 1. Penalizza in misura maggiore la sottoprevisione rispetto alla sovraprevisione. it possono essere una buona metrica anche quando non si vuole penalizzare le differenze per valori di previsione più elevati rispetto a quelli ridotti. Questa metrica va da zero a infinito; un valore più basso indica un modello di qualità migliore. La metrica di valutazione RMSLE viene restituita solo se tutti i valori previsti e tutte le etichette sono non negativi.
r^2: r al quadrato (r^2) è il quadrato della correlazione di Pearson coefficiente tra le etichette e i valori previsti. Questa metrica va tra zero e uno. Un valore più alto indica un adattamento più vicino alla linea di regressione.
MAPE: l'errore percentuale medio assoluto (MAPE, Mean Absolute Percentage Error) è l'errore percentuale medio assoluto. di differenza percentuale tra le etichette e i valori previsti. Questa metrica va da zero a infinito, un valore più basso indica una qualità migliore un modello di machine learning.
Se la colonna di destinazione non contiene nessun valore, il MAPE non viene mostrato. In questo caso, Il MAPE non è definito.
Attribuzioni delle caratteristiche del modello: Vertex AI mostra l'impatto di ciascuna caratteristica su un modello. I valori vengono forniti come percentuale per ciascuna caratteristica: più alta è la percentuale, maggiore è l'impatto che l'elemento ha avuto durante l'addestramento del modello. Esamina queste informazioni per assicurarti che tutti i più importanti più pertinenti per i dati e il problema aziendale. Per apprendere vedi Attribuzioni delle caratteristiche per classificazione e regressione.

Passaggi successivi

Quando è tutto pronto per fare previsioni con la classificazione o la regressione modello, hai due opzioni:

Inoltre, puoi:

Visualizza l'architettura del modello.
Scopri come esportare il modello.