Backtest-Ergebnisse erstellen und verwalten

Auf dieser Seite erfahren Sie, wie Sie AML AI-Backtest-Vorhersageergebnisse erstellen und verwalten. Die Backtest-Vorhersage verwendet ein trainiertes Modell für vorhandene Verlaufsdaten. Für diese Monate muss das Dataset ein Label enthalten.

Dasselbe Dataset kann für Training und Backtests verwendet werden, solange das Enddatum des Trainings vor den Backtest-Daten liegt.

An dieser Stelle müssen Sie nur die Backtest-Ergebnisse erstellen. Die anderen Backtest-Ergebnismethoden sollen der Einfachheit halber bereitgestellt werden.

Hinweise

Backtest-Ergebnisse erstellen

Einige API-Methoden geben einen Vorgang mit langer Ausführungszeit zurück. Diese Methoden sind asynchron. Der Vorgang ist möglicherweise nicht abgeschlossen, wenn die Methode eine Antwort zurückgibt. Senden Sie bei diesen Methoden die Anfrage und prüfen Sie dann das Ergebnis.

Anfrage senden

Verwenden Sie zum Erstellen von Backtest-Ergebnissen die Methode projects.locations.instances.backtestResults.create.

Bevor Sie die Anfragedaten verwenden, ersetzen Sie die folgenden Werte:

  • PROJECT_ID: Ihre Google Cloud-Projekt-ID, die unter IAM-Einstellungen aufgeführt ist
  • LOCATION ist der Standort der Instanz. Verwenden Sie eine der unterstützten Regionen:
    • us-central1
    • us-east1
    • europe-west1
    • europe-west2
    • europe-west4
    • southamerica-east1
  • INSTANCE_ID: eine benutzerdefinierte Kennung für die Instanz
  • BACKTEST_RESULTS_ID: eine benutzerdefinierte Kennung für die Backtest-Ergebnisse
  • MODEL_ID: eine benutzerdefinierte Kennung für das Modell
  • BACKTEST_DATASET_ID: die benutzerdefinierte Kennung für das Dataset, das für den Backtest verwendet wird. Tabellen sollten nicht die Spalten mit Trainingslabel enthalten.
  • BACKTEST_END_DATE: Der letzte Zeitpunkt, ab dem Daten zum Generieren von Features für Backtests verwendet werden. Dieses Datum muss mit dem Ende der Datasets übereinstimmen oder davor liegen. Verwenden Sie das Format RFC3339 UTC „Zulu“ (z. B. 2014-10-02T15:01:23Z).
  • PARTY_INVESTIGATIONS_PER_PERIOD_HINT: eine Zahl, die dem Tuner einen Hinweis auf die Anzahl der Prüfungen gibt, die pro Zeitraum (monatlich) an diesen Daten durchgeführt werden. Damit wird gesteuert, wie das Modell bewertet wird.

JSON-Text anfordern:

{
    "model": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/models/MODEL_ID",
    "dataset": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/BACKTEST_DATASET_ID",
    "endTime": "BACKTEST_END_DATE",
    "backtestPeriods": 5,
    "performanceTarget": {
      "partyInvestigationsPerPeriodHint": "PARTY_INVESTIGATIONS_PER_PERIOD_HINT"
    }
}

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

Sie sollten in etwa folgende JSON-Antwort erhalten:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
    "createTime": CREATE_TIME,
    "target": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID",
    "verb": "create",
    "requestedCancellation": false,
    "apiVersion": "v1"
  },
  "done": false
}

Ergebnis prüfen

Mit der Methode projects.locations.operations.get können Sie prüfen, ob Backtest-Ergebnisse erstellt wurden. Wenn die Antwort "done": false enthält, wiederholen Sie den Befehl, bis die Antwort "done": true enthält. Diese Vorgänge können einige Minuten bis mehrere Stunden dauern.

Bevor Sie die Anfragedaten verwenden, ersetzen Sie die folgenden Werte:

  • PROJECT_ID: Ihre Google Cloud-Projekt-ID, die in den IAM-Einstellungen aufgeführt ist
  • LOCATION ist der Standort der Instanz. Verwenden Sie eine der unterstützten Regionen:
    • us-central1
    • us-east1
    • europe-west1
    • europe-west2
    • europe-west4
    • southamerica-east1
  • OPERATION_ID: die ID für den Vorgang

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

Sie sollten in etwa folgende JSON-Antwort erhalten:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
    "createTime": CREATE_TIME,
    "endTime": END_TIME,
    "target": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID",
    "verb": "create",
    "requestedCancellation": false,
    "apiVersion": "v1"
  },
  "done": true,
  "response": {
    "@type": "type.googleapis.com/dataresidency.monitoring.DataResidencyAugmentedView",
    "tpIds": [
      "i608e8cf4abb2a7d9-tp"
    ]
  }
}

Backtest-Ergebnisse abrufen

Verwenden Sie die Methode projects.locations.instances.backtestResults.get, um Backtest-Ergebnisse abzurufen.

Bevor Sie die Anfragedaten verwenden, ersetzen Sie die folgenden Werte:

  • PROJECT_ID: Ihre Google Cloud-Projekt-ID, die unter IAM-Einstellungen aufgeführt ist
  • LOCATION ist der Standort der Instanz. Verwenden Sie eine der unterstützten Regionen:
    • us-central1
    • us-east1
    • europe-west1
    • europe-west2
    • europe-west4
    • southamerica-east1
  • INSTANCE_ID: die benutzerdefinierte Kennung für die Instanz
  • BACKTEST_RESULTS_ID: die benutzerdefinierte Kennung für die Backtest-Ergebnisse

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

Sie sollten in etwa folgende JSON-Antwort erhalten:

{
    "name": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID",
    "createTime": CREATE_TIME,
    "updateTime": UPDATE_TIME,
    "state": "ACTIVE",
    "dataset": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/BACKTEST_DATASET_ID",
    "model": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/models/MODEL_ID",
    "endTime": "BACKTEST_END_DATE",
    "performanceTarget": {
      "partyInvestigationsPerPeriodHint": "PARTY_INVESTIGATIONS_PER_PERIOD_HINT"
    },
    "lineOfBusiness": "RETAIL"
}

Backtest-Ergebnisse aktualisieren

Verwenden Sie die Methode projects.locations.instances.backtestResults.patch, um Backtest-Ergebnisse zu aktualisieren.

Nicht alle Felder in den Backtest-Ergebnissen können aktualisiert werden. Im folgenden Beispiel werden die Nutzerlabels des Schlüssel/Wert-Paars aktualisiert, die mit den Backtest-Ergebnissen verknüpft sind.

Bevor Sie die Anfragedaten verwenden, ersetzen Sie die folgenden Werte:

  • PROJECT_ID: Ihre Google Cloud-Projekt-ID, die unter IAM-Einstellungen aufgeführt ist
  • LOCATION ist der Standort der Instanz. Verwenden Sie eine der unterstützten Regionen:
    • us-central1
    • us-east1
    • europe-west1
    • europe-west2
    • europe-west4
    • southamerica-east1
  • INSTANCE_ID: die benutzerdefinierte Kennung für die Instanz
  • BACKTEST_RESULTS_ID: die benutzerdefinierte Kennung für die Backtest-Ergebnisse
  • KEY: Schlüssel in einem Schlüssel/Wert-Paar, mit dem Backtest-Ergebnisse organisiert werden. Weitere Informationen finden Sie unter labels.
  • VALUE: Der Wert in einem Schlüssel/Wert-Paar, mit dem Backtest-Ergebnisse organisiert werden. Weitere Informationen finden Sie unter labels.

JSON-Text anfordern:

{
  "labels": {
    "KEY": "VALUE"
  }
}

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

Sie sollten in etwa folgende JSON-Antwort erhalten:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
    "createTime": CREATE_TIME,
    "target": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID",
    "verb": "update",
    "requestedCancellation": false,
    "apiVersion": "v1"
  },
  "done": false
}

Weitere Informationen zum Abrufen des Ergebnisses des Vorgangs mit langer Ausführungszeit finden Sie unter Ergebnis prüfen.

Backtest-Ergebnisse auflisten

Verwenden Sie die Methode projects.locations.instances.backtestResults.list, um die Backtest-Ergebnisse für eine bestimmte Instanz aufzulisten.

Bevor Sie die Anfragedaten verwenden, ersetzen Sie die folgenden Werte:

  • PROJECT_ID: Ihre Google Cloud-Projekt-ID, die unter IAM-Einstellungen aufgeführt ist
  • LOCATION ist der Standort der Instanz. Verwenden Sie eine der unterstützten Regionen:
    • us-central1
    • us-east1
    • europe-west1
    • europe-west2
    • europe-west4
    • southamerica-east1
  • INSTANCE_ID: die benutzerdefinierte Kennung für die Instanz

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

Sie sollten in etwa folgende JSON-Antwort erhalten:

{
  "backtestResults": [
    {
      "name": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID",
      "createTime": CREATE_TIME,
      "updateTime": UPDATE_TIME,
      "state": "ACTIVE",
      "dataset": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/datasets/BACKTEST_DATASET_ID",
      "model": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/models/MODEL_ID",
      "endTime": "BACKTEST_END_DATE",
      "performanceTarget": {
        "partyInvestigationsPerPeriodHint": "PARTY_INVESTIGATIONS_PER_PERIOD_HINT"
      },
      "lineOfBusiness": "RETAIL"
    }
  ]
}

Metadaten exportieren

Verwenden Sie die Methode projects.locations.instances.backtestResults.exportMetadata, um Metadaten aus Backtest-Ergebnissen zu exportieren.

Weitere Informationen finden Sie unter Exportierte Metadaten im AML-Ausgabedatenmodell.

Bevor Sie die Anfragedaten verwenden, ersetzen Sie die folgenden Werte:

  • PROJECT_ID: Ihre Google Cloud-Projekt-ID, die unter IAM-Einstellungen aufgeführt ist
  • LOCATION ist der Standort der Instanz. Verwenden Sie eine der unterstützten Regionen:
    • us-central1
    • us-east1
    • europe-west1
    • europe-west2
    • europe-west4
    • southamerica-east1
  • INSTANCE_ID: die benutzerdefinierte Kennung für die Instanz
  • BACKTEST_RESULTS_ID: eine benutzerdefinierte Kennung für die Backtest-Ergebnisse
  • BQ_OUTPUT_DATASET_NAME: ein BigQuery-Dataset, in das eine Tabelle exportiert werden soll, die die strukturierten Metadaten der Backtest-Ergebnisse beschreibt
  • STRUCTURED_METADATA_TABLE: die Tabelle, in die die strukturierten Metadaten geschrieben werden sollen
  • WRITE_DISPOSITION: Die Aktion, die ausgeführt wird, wenn die Zieltabelle bereits vorhanden ist. Verwenden Sie einen der folgenden Werte:
    • WRITE_EMPTY: Nur Daten exportieren, wenn die Zieltabelle leer ist.
    • WRITE_TRUNCATE: Alle vorhandenen Daten in der BigQuery-Tabelle werden gelöscht, bevor in die Tabelle geschrieben wird.

JSON-Text anfordern:

{
  "structuredMetadataDestination": {
    "tableUri": "bq://PROJECT_ID.BQ_OUTPUT_DATASET_NAME.STRUCTURED_METADATA_TABLE",
    "writeDisposition": "WRITE_DISPOSITION"
  }
}

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

Sie sollten in etwa folgende JSON-Antwort erhalten:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
    "createTime": CREATE_TIME,
    "target": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID",
    "verb": "exportMetadata",
    "requestedCancellation": false,
    "apiVersion": "v1"
  },
  "done": false
}

Weitere Informationen zum Abrufen des Ergebnisses des Vorgangs mit langer Ausführungszeit finden Sie unter Ergebnis prüfen.

Backtest-Ergebnisse löschen

Verwenden Sie die Methode projects.locations.instances.backtestResults.delete, um Backtest-Ergebnisse zu löschen.

Bevor Sie die Anfragedaten verwenden, ersetzen Sie die folgenden Werte:

  • PROJECT_ID: Ihre Google Cloud-Projekt-ID, die unter IAM-Einstellungen aufgeführt ist
  • LOCATION ist der Standort der Instanz. Verwenden Sie eine der unterstützten Regionen:
    • us-central1
    • us-east1
    • europe-west1
    • europe-west2
    • europe-west4
    • southamerica-east1
  • INSTANCE_ID: die benutzerdefinierte Kennung für die Instanz
  • BACKTEST_RESULTS_ID: die benutzerdefinierte Kennung für die Backtest-Ergebnisse

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

Sie sollten in etwa folgende JSON-Antwort erhalten:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.financialservices.v1.OperationMetadata",
    "createTime": CREATE_TIME,
    "target": "projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID/backtestResults/BACKTEST_RESULTS_ID",
    "verb": "delete",
    "requestedCancellation": false,
    "apiVersion": "v1"
  },
  "done": false
}

Weitere Informationen zum Abrufen des Ergebnisses des Vorgangs mit langer Ausführungszeit finden Sie unter Ergebnis prüfen.