Vorhersagen mit importierten TensorFlow-Modellen erstellen

In dieser Anleitung importieren Sie TensorFlow-Modelle in ein BigQuery ML-Dataset. Anschließend verwenden Sie eine SQL-Abfrage, um Vorhersagen aus den importierten Modellen zu treffen.

Dataset erstellen

Erstellen Sie ein BigQuery-Dataset zum Speichern Ihres ML-Modells.

Console

  1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

    Zur Seite "BigQuery"

  2. Klicken Sie im Bereich Explorer auf den Namen Ihres Projekts.

  3. Klicken Sie auf  Aktionen ansehen > Dataset erstellen.

  4. Führen Sie auf der Seite Dataset erstellen die folgenden Schritte aus:

    • Geben Sie unter Dataset-ID bqml_tutorial ein.

    • Wählen Sie als Standorttyp die Option Mehrere Regionen und dann USA (mehrere Regionen in den USA) aus.

    • Übernehmen Sie die verbleibenden Standardeinstellungen unverändert und klicken Sie auf Dataset erstellen.

bq

Wenn Sie ein neues Dataset erstellen möchten, verwenden Sie den Befehl bq mk mit dem Flag --location. Eine vollständige Liste der möglichen Parameter finden Sie in der bq mk --dataset-Befehlsreferenz.

  1. Erstellen Sie ein Dataset mit dem Namen bqml_tutorial, wobei der Datenspeicherort auf US und die Beschreibung auf BigQuery ML tutorial dataset festgelegt ist:

    bq --location=US mk -d \
 --description "BigQuery ML tutorial dataset." \
 bqml_tutorial

    Anstelle des Flags --dataset verwendet der Befehl die verkürzte Form -d. Wenn Sie -d und --dataset auslassen, wird standardmäßig ein Dataset erstellt.

  2. Prüfen Sie, ob das Dataset erstellt wurde:

    bq ls

API

Rufen Sie die Methode datasets.insert mit einer definierten Dataset-Ressource auf.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten. 

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

TensorFlow-Modell importieren

In den folgenden Schritten wird beschrieben, wie Sie ein Modell aus Cloud Storage importieren. Der Pfad zum Modell ist gs://cloud-training-demos/txtclass/export/exporter/1549825580/*. Der Name des importierten Modells ist imported_tf_model.

Der Cloud Storage-URI endet mit einem Platzhalterzeichen (*). Dieses Zeichen gibt an, dass BigQuery ML alle mit dem Modell verknüpften Assets importieren soll.

Das importierte Modell ist ein TensorFlow-Textklassifizierungsmodell, das vorhersagt, auf welcher Website ein bestimmter Artikeltitel veröffentlicht wurde.

So importieren Sie das TensorFlow-Modell in Ihr Dataset:

Console

  1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

    Zur Seite "BigQuery"

  2. Klicken Sie unter Neu erstellen auf SQL-Abfrage.

  3. Geben Sie im Abfrageeditor diese CREATE MODEL-Anweisung ein und klicken Sie dann auf Ausführen.

      CREATE OR REPLACE MODEL `bqml_tutorial.imported_tf_model`
  OPTIONS (MODEL_TYPE='TENSORFLOW',
    MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')

    Wenn der Vorgang abgeschlossen ist, sollte eine Meldung wie Successfully created model named imported_tf_model angezeigt werden.

  4. Ihr neues Modell wird im Bereich Ressourcen angezeigt. Modelle sind am Modellsymbol Modellsymbol zu erkennen.

  5. Wenn Sie das neue Modell im Feld Ressourcen auswählen, werden Informationen zum Modell unter dem Abfrageeditor angezeigt.

    TensorFlow-Modellinfo

bq

  1. Importieren Sie das TensorFlow-Modell aus Cloud Storage, indem Sie die folgende CREATE MODEL-Anweisung eingeben.

    bq query --use_legacy_sql=false \
"CREATE OR REPLACE MODEL
  `bqml_tutorial.imported_tf_model`
OPTIONS
  (MODEL_TYPE='TENSORFLOW',
    MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')"

  2. Nachdem Sie das Modell importiert haben, prüfen Sie, ob es im Dataset angezeigt wird.

    bq ls -m bqml_tutorial

    Die Ausgabe sieht etwa so aus:

    tableId             Type
------------------- -------
imported_tf_model   MODEL

API

Fügen Sie einen neuen Job ein und geben Sie das Attribut jobs#configuration.query im Anfragetext an.

{
  "query": "CREATE MODEL `PROJECT_ID:bqml_tutorial.imported_tf_model` OPTIONS(MODEL_TYPE='TENSORFLOW' MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')"
}

Ersetzen Sie PROJECT_ID durch den Namen Ihres Projekts und Datasets.

BigQuery DataFrames

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

Importieren Sie das Modell mit dem TensorFlowModel-Objekt.

import bigframes
from bigframes.ml.imported import TensorFlowModel

bigframes.options.bigquery.project = PROJECT_ID
# You can change the location to one of the valid locations: https://cloud.google.com/bigquery/docs/locations#supported_locations
bigframes.options.bigquery.location = "US"

imported_tensorflow_model = TensorFlowModel(
    model_path="gs://cloud-training-demos/txtclass/export/exporter/1549825580/*"
)

Weitere Informationen zum Importieren von TensorFlow-Modellen in BigQuery ML, einschließlich Format- und Speicheranforderungen, finden Sie unter CREATE MODEL-Anweisung zum Importieren von TensorFlow-Modellen.

Vorhersagen mit dem importierten TensorFlow-Modell treffen

Nachdem Sie das TensorFlow-Modell importiert haben, verwenden Sie die Funktion ML.PREDICT, um Vorhersagen mit dem Modell zu treffen.

In der folgenden Abfrage wird imported_tf_model verwendet, um Vorhersagen anhand von Eingabedaten aus der Tabelle full im öffentlichen Dataset hacker_news zu treffen. In der Abfrage gibt die Funktion serving_input_fn des TensorFlow-Modells an, dass das Modell einen einzelnen Eingabestring mit dem Namen input erwartet. In der Unterabfrage wird der Alias input der Spalte title in der SELECT-Anweisung der Unterabfrage zugewiesen.

Führen Sie die folgenden Schritte aus, um Vorhersagen mit dem importierten TensorFlow-Modell zu treffen.

Console

  1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

    Zur Seite "BigQuery"

  2. Klicken Sie unter Neu erstellen auf SQL-Abfrage.

  3. Geben Sie im Abfrageeditor diese Abfrage mit der Funktion ML.PREDICT ein.

    SELECT *
  FROM ML.PREDICT(MODEL `bqml_tutorial.imported_tf_model`,
    (
     SELECT title AS input
     FROM bigquery-public-data.hacker_news.full
    )
)

    Die Abfrageergebnisse sollten so aussehen:

    Abfrageergebnisse

bq

Geben Sie den folgenden Befehl ein, um die Abfrage mit ML.PREDICT auszuführen.

bq query \
--use_legacy_sql=false \
'SELECT *
FROM ML.PREDICT(
  MODEL `bqml_tutorial.imported_tf_model`,
  (SELECT title AS input FROM `bigquery-public-data.hacker_news.full`))'

Die Ergebnisse sollten so aussehen:

+------------------------------------------------------------------------+----------------------------------------------------------------------------------+
|                               dense_1                                  |                                       input                                      |
+------------------------------------------------------------------------+----------------------------------------------------------------------------------+
|   ["0.6251608729362488","0.2989124357700348","0.07592673599720001"]    | How Red Hat Decides Which Open Source Companies t...                             |
|   ["0.014276246540248394","0.972910463809967","0.01281337533146143"]   | Ask HN: Toronto/GTA mastermind around side income for big corp. dev?             |
|   ["0.9821603298187256","1.8601855117594823E-5","0.01782100833952427"] | Ask HN: What are good resources on strategy and decision making for your career? |
|   ["0.8611106276512146","0.06648492068052292","0.07240450382232666"]   | Forget about promises, use harvests                                              |
+------------------------------------------------------------------------+----------------------------------------------------------------------------------+

API

Fügen Sie einen neuen Job ein und geben Sie das Attribut jobs#configuration.query wie im Anfragetext an. Ersetzen Sie project_id durch den Namen Ihres Projekts.

{
  "query": "SELECT * FROM ML.PREDICT(MODEL `project_id.bqml_tutorial.imported_tf_model`, (SELECT * FROM input_data))"
}

BigQuery DataFrames

Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.

Verwenden Sie die Funktion predict, um das TensorFlow-Modell auszuführen:

import bigframes.pandas as bpd

df = bpd.read_gbq("bigquery-public-data.hacker_news.full")
df_pred = df.rename(columns={"title": "input"})
predictions = imported_tensorflow_model.predict(df_pred)
predictions.head(5)

Die Ergebnisse sollten so aussehen:

Screenshot: Ergebnisvisualisierung

In den Abfrageergebnissen enthält die Spalte dense_1 ein Array von Wahrscheinlichkeitswerten und die Spalte input die entsprechenden Stringwerte aus der Eingabetabelle. Jeder Elementwert des Arrays stellt die Wahrscheinlichkeit dar, dass der entsprechende Eingabestring ein Artikeltitel aus einer bestimmten Publikation ist.