Modelle exportieren

Auf dieser Seite wird beschrieben, wie Sie mithilfe von AutoML Tables Ihr benutzerdefiniertes Modell in Cloud Storage exportieren, das Modell auf Ihren Server herunterladen und Docker dann für Vorhersagen verwenden können.

Das exportierte Modell kann nur auf x86-Architektur-CPUs ausgeführt werden, die Befehlssätze für Advanced Vector Extensions (AVX) unterstützen.

Einführung

Gehen Sie folgendermaßen vor, um Ihr Modell zu exportieren:

  1. Modell exportieren.
  2. Modellserver ausführen.
  3. Vorhersagen anfordern.

Vorbereitung

Bevor Sie diese Aufgabe durchführen können, müssen Sie die folgenden Aufgaben ausgeführt haben:

  • Richten Sie Ihr Projekt wie in Vorbereitung beschrieben ein.
  • Das Modell trainieren, das Sie herunterladen möchten.
  • Installieren und initialisieren Sie Cloud SDK auf dem Server, auf dem Sie das exportierte Modell ausführen möchten.
  • Installieren Sie Docker auf Ihrem Server.
  • Rufen Sie per Pull das Modellserver-Docker-Image von AutoML Tables ab:

    sudo docker pull gcr.io/cloud-automl-tables-public/model_server
    

Modell exportieren

Sie können kein Modell exportieren, das vor dem 23. August 2019 erstellt wurde.

Console

  1. Rufen Sie in der Google Cloud Console die Seite "AutoML Tables" auf.

    Zur Seite "AutoML Tables"

  2. Wählen Sie im linken Navigationsbereich den Tab Modelle aus.

  3. Klicken Sie unter More actions (Dreipunktmenü) für das zu exportierende Modell auf Modell exportieren.

    Dreipunkt-Menü mit "Export model"

  4. Wählen Sie einen Cloud Storage-Ordner am gewünschten Standort aus oder erstellen Sie ihn.

    Der Bucket muss die Bucket-Anforderungen erfüllen.

    Sie können ein Modell nicht in einen Bucket der obersten Ebene exportieren. Es muss mindestens eine Ordnerebene vorhanden sein.

  5. Klicken Sie auf Export (Exportieren).

    Fenster "Modell exportieren"

    Im nächsten Abschnitt laden Sie das exportierte Modell auf Ihren Server herunter.

REST UND BEFEHLSZEILE

Sie verwenden die Methode models.export, um ein Modell in Cloud Storage zu exportieren.

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

  • endpointendpointautoml.googleapis.com: eu-automl.googleapis.com für den globalen Standort und für die EU-Region.
  • project-id ist Ihre Google Cloud-Projekt-ID.
  • location: Der Standort für die Ressource: us-central1 für global oder eu für die EU.
  • model-id: Die ID des Modells, das Sie bereitstellen möchten. Beispiel: TBL543.
  • gcs-destination : Ihr Zielordner in Cloud Storage. Beispiel: gs://export-bucket/exports

    Sie können ein Modell nicht in einen Bucket der obersten Ebene exportieren. Es muss mindestens eine Ordnerebene vorhanden sein.

HTTP-Methode und URL:

POST https://endpoint/v1beta1/projects/project-id/locations/location/models/model-id:export

JSON-Text der Anfrage:

{
  "outputConfig": {
    "modelFormat": "tf_saved_model",
    "gcsDestination": {
      "outputUriPrefix": "gcs-destination"
    }
  }
}

Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:

curl

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus:

curl -X POST \
-H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://endpoint/v1beta1/projects/project-id/locations/location/models/model-id:export"

PowerShell

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus:

$cred = gcloud auth application-default print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://endpoint/v1beta1/projects/project-id/locations/location/models/model-id:export" | Select-Object -Expand Content

Sie müssten in etwa folgende JSON-Antwort erhalten:

{
  "name": "projects/292381/locations/us-central1/operations/TBL543",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.automl.v1beta1.OperationMetadata",
    "createTime": "2019-12-30T18:23:47.728373Z",
    "updateTime": "2019-12-30T18:23:47.728373Z",
    "worksOn": [
      "projects/292381/locations/us-central1/models/TBL543"
    ],
    "exportModelDetails": {
      "outputInfo": {
        "gcsOutputDirectory": "gs://export-bucket/exports/model-export/tbl/tf_saved_model-automl_integration_test_model-2019-12-30T18:23:47.461Z/"
      }
    },
    "state": "RUNNING"
  }
}

Das Exportieren eines Modells ist ein lang andauernder Vorgang. Sie können den Vorgangsstatus abfragen oder warten, bis der Vorgang beendet ist. Weitere Informationen

Modellserver ausführen

In dieser Aufgabe laden Sie das exportierte Modell aus Cloud Storage herunter und starten den Docker-Container, damit Ihr Modell Vorhersageanfragen empfangen kann.

Ihr Modell muss in einem Docker-Container ausgeführt werden.

So führen Sie den Modellserver aus:

  1. Wechseln Sie auf dem Computer, auf dem Sie das Modell ausführen möchten, in das Verzeichnis, in dem Sie das exportierte Modell speichern möchten.

  2. Laden Sie das exportierte Modell herunter:

    gsutil cp -r gcs-destination/* .

    Dabei ist gcs-destination der Pfad zum Speicherort des exportierten Modells in Cloud Storage. Beispiel:

    gsutil cp -r gs://export-us-central1/models/* .
    

    Das Modell wird unter folgendem Pfad in Ihr aktuelles Verzeichnis kopiert:

    ./model-export/tbl/tf_saved_model-<model-name>-<export-timestamp>

  3. Benennen Sie das Verzeichnis um, das den Zeitstempel enthält.

    mv model-export/tbl/tf_saved_model-<model-name>-<export-timestamp> model-export/tbl/<new-dir-name>
    

    Das Zeitstempelformat macht das Verzeichnis für Docker ungültig.

  4. Starten Sie den Docker-Container mit dem gerade erstellten Verzeichnisnamen:

    docker run -v `pwd`/model-export/tbl/new_folder_name:/models/default/0000001 -p 8080:8080 -it gcr.io/cloud-automl-tables-public/model_server
    

Sie können den Modellserver jederzeit mit Ctrl-C stoppen.

Docker-Container des Modellservers aktualisieren

Da Sie den Docker-Container des Modellservers beim Export des Modells herunterladen, müssen Sie den Modellserver explizit aktualisieren, um Updates und Fehlerkorrekturen zu erhalten. Sie sollten den Modellserver mit dem folgenden Befehl regelmäßig aktualisieren:

    docker pull gcr.io/cloud-automl-tables-public/model_server

Vorhersagen aus dem exportierten Modell abrufen

Der Modellserver im Image-Container von AutoML Tables verarbeitet Vorhersageanfragen und gibt Vorhersageergebnisse zurück.

Die Batchvorhersage ist für exportierte Modelle nicht verfügbar.

Datenformat für Vorhersagen

Sie geben die Daten (Feld payload) für Ihre Vorhersageanfrage im folgenden JSON-Format an:

{ "instances": [ { "column_name_1": value, "column_name_2": value, … } , … ] }

Welche JSON-Datentypen erforderlich sind, hängt vom AutoML Tables-Datentyp der Spalte ab. Weitere Informationen finden Sie unter Zeilenobjektformat.

Das folgende Beispiel zeigt eine Anfrage mit drei Spalten: eine kategoriale Spalte, ein numerisches Array und eine Struktur. Die Anfrage enthält zwei Zeilen.

{
  "instances": [
    {
      "categorical_col": "mouse",
      "num_array_col": [
        1,
        2,
        3
      ],
      "struct_col": {
        "foo": "piano",
        "bar": "2019-05-17T23:56:09.05Z"
      }
    },
    {
      "categorical_col": "dog",
      "num_array_col": [
        5,
        6,
        7
      ],
      "struct_col": {
        "foo": "guitar",
        "bar": "2019-06-17T23:56:09.05Z"
      }
    }
  ]
}

Vorhersageanfrage stellen

  1. Fügen Sie Ihre Anfragedaten in eine Textdatei ein, z. B. tmp/request.json.

    Die Anzahl der Datenzeilen in der Vorhersageanfrage, die als Minibatch-Größe bezeichnet wird, wirkt sich auf die Latenz der Vorhersage und den Durchsatz aus. Je größer die Minibatch-Größe, desto höher die Latenz und der Durchsatz. Verwenden Sie für eine reduzierte Latenz eine kleinere Minibatch-Größe. Für einen höheren Durchsatz erhöhen Sie die Minibatch-Größe. Die am häufigsten verwendeten Minibatch-Größen sind 1, 32, 64, 128, 256, 512 und 1024.

  2. Fordern Sie die Vorhersage an:

    curl -X POST --data @/tmp/request.json http://localhost:8080/predict
    

Format der Vorhersageergebnisse

Das Format der Ergebnisse hängt vom Typ des Modells ab.

Ergebnisse des Klassifikationsmodells

Vorhersageergebnisse für Klassifizierungsmodelle (binär und mehrklassig) geben einen Wahrscheinlichkeitswert für jeden potenziellen Wert der Zielspalte zurück. Sie müssen festlegen, wie die Bewertungen verwendet werden sollen. Um beispielsweise eine binäre Klassifizierung aus den bereitgestellten Bewertungen zu erhalten, würden Sie einen Schwellenwert angeben. Wenn es die beiden Klassen "A" und "B" gibt, sollten Sie das Beispiel mit "A" klassifizieren, wenn die Bewertung für "A" größer als der ausgewählte Grenzwert ist. Andernfalls klassifizieren Sie "B". Bei unausgewogenen Datasets kann der Grenzwert 100 % oder 0 % erreichen.

Die Ergebnisnutzlast für ein Klassifizierungsmodell sieht in etwa so aus:

{
  "predictions": [
    {
      "scores": [
        0.539999994635582,
        0.2599999845027924,
        0.2000000208627896
      ],
      "classes": [
        "apple",
        "orange",
        "grape"
      ]
    },
    {
      "scores": [
        0.23999999463558197,
        0.35999998450279236,
        0.40000002086278963
      ],
      "classes": [
        "apple",
        "orange",
        "grape"
      ]
    }
  ]
}

Ergebnisse des Regressionsmodells

Für jede gültige Zeile der Vorhersageanfrage wird ein vorhergesagter Wert zurückgegeben. Prognoseintervalle werden für exportierte Modelle nicht zurückgegeben.

Die Nutzlast der Ergebnisse für ein Regressionsmodell sieht in etwa so aus:

{
  "predictions": [
    3982.3662109375,
    3982.3662109375
  ]
}