Créer et gérer les résultats des tests backtest

Cette page vous explique comment créer et gérer les résultats de prédiction du test AML AI. La prédiction des rétrotests utilise un modèle entraîné sur des données historiques existantes. Pour ces mois, l'ensemble de données doit contenir une étiquette.

Le même ensemble de données peut être utilisé pour l'entraînement et le test arrière, à condition que la date de fin de l'entraînement soit antérieure aux dates du test arrière.

À ce stade, il vous suffit de créer les résultats des tests backtest. Les autres méthodes de résultats de rétrotests sont fournies pour plus de commodité.

Avant de commencer

Afin d'obtenir les autorisations nécessaires pour créer et gérer les résultats des tests backtest, demandez à votre administrateur de vous attribuer le rôle IAM Administrateur des services financiers (financialservices.admin) sur votre projet. Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.
Créer une instance
Créer un modèle
Créer un ensemble de données

Créer les résultats des rétrotests

Certaines méthodes d'API renvoient une opération de longue durée (LRO). Ces méthodes sont asynchrones. L'opération peut ne pas être terminée lorsque la méthode renvoie une réponse. Pour ces méthodes, envoyez la requête, puis vérifiez le résultat.

Envoyer la requête

Pour créer des résultats de rétrotests, utilisez la méthode projects.locations.instances.backtestResults.create.

Avant d'utiliser les données de requête, effectuez les remplacements suivants:

PROJECT_ID : ID de votre projet Google Cloud répertorié dans les paramètres IAM.
LOCATION: emplacement de l'instance. Utilisez l'une des régions disponibles :
- us-central1
- us-east1
- europe-west1
- europe-west2
- europe-west4
- southamerica-east1
INSTANCE_ID: identifiant défini par l'utilisateur pour l'instance
BACKTEST_RESULTS_ID: identifiant défini par l'utilisateur pour les résultats des tests de rétrotest.
MODEL_ID: identifiant défini par l'utilisateur pour le modèle
BACKTEST_DATASET_ID: identifiant défini par l'utilisateur pour l'ensemble de données utilisé pour le test arrière. Les tables ne doivent pas comporter de colonnes d'étiquette d'entraînement.
BACKTEST_END_DATE: dernière heure à partir de laquelle les données sont utilisées pour générer des caractéristiques pour les rétrotests. Cette date doit être identique ou antérieure à l'heure de fin des ensembles de données. Utilisez le format RFC3339 UTC "Zulu" (par exemple, 2014-10-02T15:01:23Z).
PARTY_INVESTIGATIONS_PER_PERIOD_HINT: nombre qui donne au tuner une indication sur le nombre d'enquêtes qui seront effectuées sur ces données par période (mensuelle). Cette information permet de contrôler l'évaluation du modèle.

Corps JSON de la requête :

{
    "model": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/models/MODEL_ID",
    "dataset": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/BACKTEST_DATASET_ID",
    "endTime": "BACKTEST_END_DATE",
    "backtestPeriods": 5,
    "performanceTarget": {
      "partyInvestigationsPerPeriodHint": "PARTY_INVESTIGATIONS_PER_PERIOD_HINT"
    }
}

Pour envoyer votre requête, développez l'une des options suivantes :

curl (Linux, macOS ou Cloud Shell)

Remarque : La commande suivante suppose que vous êtes connecté à la CLI gcloud avec votre compte utilisateur en exécutant la commande gcloud init ou gcloud auth login, ou en utilisant Cloud Shell, qui vous connecte automatiquement à la CLI gcloud. Vous pouvez exécuter gcloud auth list pour vérifier le compte actuellement actif.

Enregistrez le corps de la requête dans un fichier nommé request.json. Exécutez la commande suivante dans le terminal pour créer ou écraser ce fichier dans le répertoire actuel :

cat > request.json << 'EOF'
{
    "model": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/models/MODEL_ID",
    "dataset": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/BACKTEST_DATASET_ID",
    "endTime": "BACKTEST_END_DATE",
    "backtestPeriods": 5,
    "performanceTarget": {
      "partyInvestigationsPerPeriodHint": "PARTY_INVESTIGATIONS_PER_PERIOD_HINT"
    }
}
EOF

Exécutez ensuite la commande suivante pour envoyer votre requête REST :

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults?backtest_result_id=BACKTEST_RESULTS_ID"

PowerShell (Windows)

Enregistrez le corps de la requête dans un fichier nommé request.json. Exécutez la commande suivante dans le terminal pour créer ou écraser ce fichier dans le répertoire actuel :

@'
{
    "model": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/models/MODEL_ID",
    "dataset": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/BACKTEST_DATASET_ID",
    "endTime": "BACKTEST_END_DATE",
    "backtestPeriods": 5,
    "performanceTarget": {
      "partyInvestigationsPerPeriodHint": "PARTY_INVESTIGATIONS_PER_PERIOD_HINT"
    }
}
'@  | Out-File -FilePath request.json -Encoding utf8

Exécutez ensuite la commande suivante pour envoyer votre requête REST :

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults?backtest_result_id=BACKTEST_RESULTS_ID" | Select-Object -Expand Content

Vous devriez recevoir une réponse JSON de ce type :

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
    "createTime": CREATE_TIME,
    "target": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID",
    "verb": "create",
    "requestedCancellation": false,
    "apiVersion": "v1"
  },
  "done": false
}

Vérifier le résultat

Pour vérifier si les résultats des rétrotests ont été créés, utilisez la méthode projects.locations.operations.get. Si la réponse contient "done": false, répétez la commande jusqu'à ce que la réponse contienne "done": true. Ces opérations peuvent prendre de quelques minutes à plusieurs heures.

Avant d'utiliser les données de requête, effectuez les remplacements suivants:

PROJECT_ID: ID de votre projet Google Cloud indiqué dans les paramètres IAM
LOCATION: emplacement de l'instance. Utilisez l'une des régions disponibles :
- us-central1
- us-east1
- europe-west1
- europe-west2
- europe-west4
- southamerica-east1
OPERATION_ID: identifiant de l'opération

Pour envoyer votre requête, développez l'une des options suivantes :

curl (Linux, macOS ou Cloud Shell)

exécutez la commande suivante :

curl -X GET \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID"

PowerShell (Windows)

exécutez la commande suivante :

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID" | Select-Object -Expand Content

Vous devriez recevoir une réponse JSON de ce type :

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
    "createTime": CREATE_TIME,
    "endTime": END_TIME,
    "target": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID",
    "verb": "create",
    "requestedCancellation": false,
    "apiVersion": "v1"
  },
  "done": true,
  "response": {
    "@type": "type.googleapis.com/dataresidency.monitoring.DataResidencyAugmentedView",
    "tpIds": [
      "i608e8cf4abb2a7d9-tp"
    ]
  }
}

Obtenir les résultats des tests les plus anciens

Pour obtenir les résultats des rétrotests, utilisez la méthode projects.locations.instances.backtestResults.get.

Avant d'utiliser les données de requête, effectuez les remplacements suivants:

PROJECT_ID : ID de votre projet Google Cloud répertorié dans les paramètres IAM.
LOCATION: emplacement de l'instance. Utilisez l'une des régions disponibles :
- us-central1
- us-east1
- europe-west1
- europe-west2
- europe-west4
- southamerica-east1
INSTANCE_ID: identifiant défini par l'utilisateur pour l'instance
BACKTEST_RESULTS_ID: identifiant défini par l'utilisateur pour les résultats des tests de rétrotest.

Pour envoyer votre requête, développez l'une des options suivantes :

curl (Linux, macOS ou Cloud Shell)

exécutez la commande suivante :

curl -X GET \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID"

PowerShell (Windows)

exécutez la commande suivante :

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID" | Select-Object -Expand Content

Vous devriez recevoir une réponse JSON de ce type :

{
    "name": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID",
    "createTime": CREATE_TIME,
    "updateTime": UPDATE_TIME,
    "state": "ACTIVE",
    "dataset": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/BACKTEST_DATASET_ID",
    "model": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/models/MODEL_ID",
    "endTime": "BACKTEST_END_DATE",
    "performanceTarget": {
      "partyInvestigationsPerPeriodHint": "PARTY_INVESTIGATIONS_PER_PERIOD_HINT"
    },
    "lineOfBusiness": "RETAIL"
}

Mettre à jour les résultats des tests backtest

Pour mettre à jour les résultats des tests de rétrotest, utilisez la méthode projects.locations.instances.backtestResults.patch.

Tous les champs des résultats des rétrotests ne peuvent pas être mis à jour. L'exemple suivant met à jour les étiquettes utilisateur de la paire clé-valeur associées aux résultats des tests de rétrotest.

Avant d'utiliser les données de requête, effectuez les remplacements suivants:

PROJECT_ID : ID de votre projet Google Cloud répertorié dans les paramètres IAM.
LOCATION: emplacement de l'instance. Utilisez l'une des régions disponibles :
- us-central1
- us-east1
- europe-west1
- europe-west2
- europe-west4
- southamerica-east1
INSTANCE_ID: identifiant défini par l'utilisateur pour l'instance
BACKTEST_RESULTS_ID: identifiant défini par l'utilisateur pour les résultats des tests de rétrotest.
KEY: clé d'une paire clé-valeur permettant d'organiser les résultats des tests antérieurs. Pour en savoir plus, consultez la page labels.
VALUE: valeur d'une paire clé-valeur permettant d'organiser les résultats des tests antérieurs. Pour en savoir plus, consultez la page labels.

Corps JSON de la requête :

{
  "labels": {
    "KEY": "VALUE"
  }
}

Pour envoyer votre requête, développez l'une des options suivantes :

curl (Linux, macOS ou Cloud Shell)

Enregistrez le corps de la requête dans un fichier nommé request.json. Exécutez la commande suivante dans le terminal pour créer ou écraser ce fichier dans le répertoire actuel :

cat > request.json << 'EOF'
{
  "labels": {
    "KEY": "VALUE"
  }
}
EOF

Exécutez ensuite la commande suivante pour envoyer votre requête REST :

curl -X PATCH \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID?updateMask=labels"

PowerShell (Windows)

Enregistrez le corps de la requête dans un fichier nommé request.json. Exécutez la commande suivante dans le terminal pour créer ou écraser ce fichier dans le répertoire actuel :

@'
{
  "labels": {
    "KEY": "VALUE"
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

Exécutez ensuite la commande suivante pour envoyer votre requête REST :

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID?updateMask=labels" | Select-Object -Expand Content

Vous devriez recevoir une réponse JSON de ce type :

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
    "createTime": CREATE_TIME,
    "target": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID",
    "verb": "update",
    "requestedCancellation": false,
    "apiVersion": "v1"
  },
  "done": false
}

Pour savoir comment obtenir le résultat de l'opération de longue durée (LRO), consultez la section Vérifier le résultat.

Lister les résultats des tests les plus anciens

Pour répertorier les résultats des tests backtest pour une instance donnée, utilisez la méthode projects.locations.instances.backtestResults.list.

Avant d'utiliser les données de requête, effectuez les remplacements suivants:

PROJECT_ID : ID de votre projet Google Cloud répertorié dans les paramètres IAM.
LOCATION: emplacement de l'instance. Utilisez l'une des régions disponibles :
- us-central1
- us-east1
- europe-west1
- europe-west2
- europe-west4
- southamerica-east1
INSTANCE_ID: identifiant défini par l'utilisateur pour l'instance

Pour envoyer votre requête, développez l'une des options suivantes :

curl (Linux, macOS ou Cloud Shell)

exécutez la commande suivante :

curl -X GET \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults"

PowerShell (Windows)

exécutez la commande suivante :

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults" | Select-Object -Expand Content

Vous devriez recevoir une réponse JSON de ce type :

{
  "backtestResults": [
    {
      "name": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID",
      "createTime": CREATE_TIME,
      "updateTime": UPDATE_TIME,
      "state": "ACTIVE",
      "dataset": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/BACKTEST_DATASET_ID",
      "model": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/models/MODEL_ID",
      "endTime": "BACKTEST_END_DATE",
      "performanceTarget": {
        "partyInvestigationsPerPeriodHint": "PARTY_INVESTIGATIONS_PER_PERIOD_HINT"
      },
      "lineOfBusiness": "RETAIL"
    }
  ]
}

Exporter les métadonnées

Pour exporter les métadonnées des résultats des tests de rétrotest, utilisez la méthode projects.locations.instances.backtestResults.exportMetadata.

Pour en savoir plus, consultez Métadonnées exportées dans le modèle de données de sortie AML.

Avant d'utiliser les données de requête, effectuez les remplacements suivants:

PROJECT_ID : ID de votre projet Google Cloud répertorié dans les paramètres IAM.
LOCATION: emplacement de l'instance. Utilisez l'une des régions disponibles :
- us-central1
- us-east1
- europe-west1
- europe-west2
- europe-west4
- southamerica-east1
INSTANCE_ID: identifiant défini par l'utilisateur pour l'instance
BACKTEST_RESULTS_ID: identifiant défini par l'utilisateur pour les résultats des tests de rétrotest.
BQ_OUTPUT_DATASET_NAME: ensemble de données BigQuery dans lequel exporter une table décrivant les métadonnées structurées des résultats des tests backtest
STRUCTURED_METADATA_TABLE: table dans laquelle écrire les métadonnées structurées
WRITE_DISPOSITION: action qui se produit si la table de destination existe déjà. Utilisez l'une des valeurs suivantes :
- WRITE_EMPTY : n'exporter les données que si la table BigQuery est vide
- WRITE_TRUNCATE: efface toutes les données existantes de la table BigQuery avant d'écrire dans la table.

Corps JSON de la requête :

{
  "structuredMetadataDestination": {
    "tableUri": "bq://PROJECT_ID.BQ_OUTPUT_DATASET_NAME.STRUCTURED_METADATA_TABLE",
    "writeDisposition": "WRITE_DISPOSITION"
  }
}

Pour envoyer votre requête, développez l'une des options suivantes :

curl (Linux, macOS ou Cloud Shell)

Enregistrez le corps de la requête dans un fichier nommé request.json. Exécutez la commande suivante dans le terminal pour créer ou écraser ce fichier dans le répertoire actuel :

cat > request.json << 'EOF'
{
  "structuredMetadataDestination": {
    "tableUri": "bq://PROJECT_ID.BQ_OUTPUT_DATASET_NAME.STRUCTURED_METADATA_TABLE",
    "writeDisposition": "WRITE_DISPOSITION"
  }
}
EOF

Exécutez ensuite la commande suivante pour envoyer votre requête REST :

curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    -d @request.json \
    "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID:exportMetadata"

PowerShell (Windows)

Enregistrez le corps de la requête dans un fichier nommé request.json. Exécutez la commande suivante dans le terminal pour créer ou écraser ce fichier dans le répertoire actuel :

@'
{
  "structuredMetadataDestination": {
    "tableUri": "bq://PROJECT_ID.BQ_OUTPUT_DATASET_NAME.STRUCTURED_METADATA_TABLE",
    "writeDisposition": "WRITE_DISPOSITION"
  }
}
'@  | Out-File -FilePath request.json -Encoding utf8

Exécutez ensuite la commande suivante pour envoyer votre requête REST :

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID:exportMetadata" | Select-Object -Expand Content

Vous devriez recevoir une réponse JSON de ce type :

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
    "createTime": CREATE_TIME,
    "target": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID",
    "verb": "exportMetadata",
    "requestedCancellation": false,
    "apiVersion": "v1"
  },
  "done": false
}

Pour savoir comment obtenir le résultat de l'opération de longue durée (LRO), consultez la section Vérifier le résultat.

Supprimer les résultats des rétrotests

Pour supprimer les résultats des tests de rétrotest, utilisez la méthode projects.locations.instances.backtestResults.delete.

Avant d'utiliser les données de requête, effectuez les remplacements suivants:

PROJECT_ID : ID de votre projet Google Cloud répertorié dans les paramètres IAM.
LOCATION: emplacement de l'instance. Utilisez l'une des régions disponibles :
- us-central1
- us-east1
- europe-west1
- europe-west2
- europe-west4
- southamerica-east1
INSTANCE_ID: identifiant défini par l'utilisateur pour l'instance
BACKTEST_RESULTS_ID: identifiant défini par l'utilisateur pour les résultats des tests de rétrotest.

Pour envoyer votre requête, développez l'une des options suivantes :

curl (Linux, macOS ou Cloud Shell)

exécutez la commande suivante :

curl -X DELETE \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID"

PowerShell (Windows)

exécutez la commande suivante :

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method DELETE `
    -Headers $headers `
    -Uri "https://financialservices.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID" | Select-Object -Expand Content

Vous devriez recevoir une réponse JSON de ce type :

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
    "createTime": CREATE_TIME,
    "target": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID",
    "verb": "delete",
    "requestedCancellation": false,
    "apiVersion": "v1"
  },
  "done": false
}

Pour savoir comment obtenir le résultat de l'opération de longue durée (LRO), consultez la section Vérifier le résultat.