In dieser Anleitung importieren Sie TensorFlow-Modelle in ein BigQuery ML-Dataset. Anschließend können Sie mit einer SQL-Abfrage Vorhersagen mit den importierten Modellen treffen.
Lernziele
- Verwenden Sie die Anweisung
CREATE MODEL
, um TensorFlow-Modelle in BigQuery ML zu importieren. - Verwenden Sie die Funktion
ML.PREDICT
, um Vorhersagen mit den importierten TensorFlow-Modellen zu treffen.
Kosten
In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:
Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen.
Nach Abschluss der in diesem Dokument beschriebenen Aufgaben können Sie weitere Kosten vermeiden, indem Sie die erstellten Ressourcen löschen. Weitere Informationen finden Sie unter Bereinigen.
Hinweise
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
Die BigQuery API muss aktiviert sein.
- Prüfen Sie, ob Sie die erforderlichen Berechtigungen haben, um die Aufgaben in diesem Dokument ausführen zu können.
Erforderliche Rollen
Wenn Sie ein neues Projekt erstellen, sind Sie der Projektinhaber und erhalten alle erforderlichen IAM-Berechtigungen (Identity and Access Management), die Sie für die Durchführung dieses Tutorials benötigen.
Wenn Sie ein vorhandenes Projekt verwenden, gewähren Sie mit der Rolle BigQuery Studio Admin (roles/bigquery.studioAdmin
) alle Berechtigungen, die für die Durchführung dieses Tutorials erforderlich sind.
Make sure that you have the following role or roles on the project:
BigQuery Studio Admin (roles/bigquery.studioAdmin
).
Check for the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
-
In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
- For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
-
In the Google Cloud console, go to the IAM page.
IAM aufrufen - Wählen Sie das Projekt aus.
- Klicken Sie auf Zugriff erlauben.
-
Geben Sie im Feld Neue Hauptkonten Ihre Nutzer-ID ein. Dies ist in der Regel die E-Mail-Adresse eines Google-Kontos.
- Wählen Sie in der Liste Rolle auswählen eine Rolle aus.
- Wenn Sie weitere Rollen hinzufügen möchten, klicken Sie auf Weitere Rolle hinzufügen und fügen Sie weitere Rollen hinzu.
- Klicken Sie auf Speichern.
Weitere Informationen zu IAM-Berechtigungen in BigQuery finden Sie unter BigQuery-Berechtigungen.
Dataset erstellen
Erstellen Sie ein BigQuery-Dataset, um Ihr ML-Modell zu speichern.
Console
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Klicken Sie im Bereich Explorer auf den Namen Ihres Projekts.
Klicken Sie auf
Aktionen ansehen > Dataset erstellen.Führen Sie auf der Seite Dataset erstellen die folgenden Schritte aus:
Geben Sie unter Dataset-ID
bqml_tutorial
ein.Wählen Sie als Standorttyp die Option Mehrere Regionen und dann USA (mehrere Regionen in den USA) aus.
Die öffentlichen Datasets sind am multiregionalen Standort
US
gespeichert. Der Einfachheit halber sollten Sie Ihr Dataset am selben Standort speichern.- Übernehmen Sie die verbleibenden Standardeinstellungen unverändert und klicken Sie auf Dataset erstellen.
bq
Wenn Sie ein neues Dataset erstellen möchten, verwenden Sie den Befehl bq mk
mit dem Flag --location
. Eine vollständige Liste der möglichen Parameter finden Sie in der bq mk --dataset
-Befehlsreferenz.
Erstellen Sie ein Dataset mit dem Namen
bqml_tutorial
, dessen Speicherort aufUS
festgelegt ist und das die BeschreibungBigQuery ML tutorial dataset
hat:bq --location=US mk -d \ --description "BigQuery ML tutorial dataset." \ bqml_tutorial
Anstelle des Flags
--dataset
verwendet der Befehl die verkürzte Form-d
. Wenn Sie-d
und--dataset
auslassen, wird standardmäßig ein Dataset erstellt.Prüfen Sie, ob das Dataset erstellt wurde:
bq ls
API
Rufen Sie die Methode datasets.insert
mit einer definierten Dataset-Ressource auf.
{ "datasetReference": { "datasetId": "bqml_tutorial" } }
TensorFlow-Modell importieren
In den folgenden Schritten wird gezeigt, wie Sie ein Modell aus Cloud Storage importieren.
Der Pfad zum Modell lautet gs://cloud-training-demos/txtclass/export/exporter/1549825580/*
. Der Name des importierten Modells lautet imported_tf_model
.
Der Cloud Storage-URI endet mit einem Platzhalterzeichen (*
). Dieses Zeichen gibt an, dass BigQuery ML alle mit dem Modell verknüpften Assets importieren soll.
Das importierte Modell ist ein TensorFlow-Textklassifizierungsmodell, das vorhersagt, auf welcher Website ein bestimmter Artikeltitel veröffentlicht wurde.
So importieren Sie das TensorFlow-Modell in Ihr Dataset:
Console
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Klicken Sie unter Neu erstellen auf SQL-Abfrage.
Geben Sie im Abfrageeditor diese
CREATE MODEL
-Anweisung ein und klicken Sie auf Ausführen.CREATE OR REPLACE MODEL `bqml_tutorial.imported_tf_model` OPTIONS (MODEL_TYPE='TENSORFLOW', MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')
Wenn der Vorgang abgeschlossen ist, sollte eine Meldung wie
Successfully created model named imported_tf_model
angezeigt werden.Ihr neues Modell wird im Bereich Ressourcen angezeigt. Modelle sind am Modellsymbol
zu erkennen.
Wenn Sie das neue Modell im Feld Ressourcen auswählen, werden Informationen zum Modell unter dem Abfrageeditor angezeigt.
bq
Importieren Sie das TensorFlow-Modell aus Cloud Storage. Geben Sie dazu die folgende
CREATE MODEL
-Anweisung ein.bq query --use_legacy_sql=false \ "CREATE OR REPLACE MODEL `bqml_tutorial.imported_tf_model` OPTIONS (MODEL_TYPE='TENSORFLOW', MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')"
Prüfen Sie nach dem Import, ob das Modell im Datensatz angezeigt wird.
bq ls bqml_tutorial
Die Ausgabe sieht in etwa so aus:
tableId Type ------------------- ------- imported_tf_model MODEL
API
Fügen Sie einen neuen Job ein und geben Sie das Attribut jobs#configuration.query im Anfragetext an.
{ "query": "CREATE MODEL `PROJECT_ID:bqml_tutorial.imported_tf_model` OPTIONS(MODEL_TYPE='TENSORFLOW' MODEL_PATH='gs://cloud-training-demos/txtclass/export/exporter/1549825580/*')" }
Ersetzen Sie PROJECT_ID
durch den Namen Ihres Projekts und Datasets.
BigQuery DataFrames
Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.
Importieren Sie das Modell mit dem TensorFlowModel
-Objekt.
Weitere Informationen zum Importieren von TensorFlow-Modellen in BigQuery ML, einschließlich Format- und Speicheranforderungen, finden Sie unter CREATE MODEL
-Anweisung zum Importieren von TensorFlow-Modellen.
Vorhersagen mit dem importierten TensorFlow-Modell treffen
Nachdem Sie das TensorFlow-Modell importiert haben, verwenden Sie die Funktion ML.PREDICT
, um Vorhersagen mit dem Modell zu treffen.
In der folgenden Abfrage werden mit imported_tf_model
Vorhersagen anhand von Eingabedaten aus der Tabelle full
im öffentlichen Dataset hacker_news
getroffen. In der Abfrage gibt die Funktion serving_input_fn
des TensorFlow-Modells an, dass das Modell einen einzelnen Eingabestring mit dem Namen input
erwartet. In der Unterabfrage wird der Spalte title
in der SELECT
-Anweisung der Alias input
zugewiesen.
So treffen Sie Vorhersagen mit dem importierten TensorFlow-Modell:
Console
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Klicken Sie unter Neu erstellen auf SQL-Abfrage.
Geben Sie im Abfrageeditor die folgende Abfrage mit der Funktion
ML.PREDICT
ein.SELECT * FROM ML.PREDICT(MODEL `bqml_tutorial.imported_tf_model`, ( SELECT title AS input FROM bigquery-public-data.hacker_news.full ) )
Die Abfrageergebnisse sollten in etwa so aussehen:
bq
Geben Sie diesen Befehl ein, um die Abfrage mit ML.PREDICT
auszuführen.
bq query \ --use_legacy_sql=false \ 'SELECT * FROM ML.PREDICT( MODEL `bqml_tutorial.imported_tf_model`, (SELECT title AS input FROM `bigquery-public-data.hacker_news.full`))'
Die Ergebnisse sollten so aussehen:
+------------------------------------------------------------------------+----------------------------------------------------------------------------------+ | dense_1 | input | +------------------------------------------------------------------------+----------------------------------------------------------------------------------+ | ["0.6251608729362488","0.2989124357700348","0.07592673599720001"] | How Red Hat Decides Which Open Source Companies t... | | ["0.014276246540248394","0.972910463809967","0.01281337533146143"] | Ask HN: Toronto/GTA mastermind around side income for big corp. dev? | | ["0.9821603298187256","1.8601855117594823E-5","0.01782100833952427"] | Ask HN: What are good resources on strategy and decision making for your career? | | ["0.8611106276512146","0.06648492068052292","0.07240450382232666"] | Forget about promises, use harvests | +------------------------------------------------------------------------+----------------------------------------------------------------------------------+
API
Fügen Sie einen neuen Job ein und geben Sie das Attribut jobs#configuration.query wie im Anfragetext an. Ersetzen Sie project_id
durch den Namen Ihres Projekts.
{ "query": "SELECT * FROM ML.PREDICT(MODEL `project_id.bqml_tutorial.imported_tf_model`, (SELECT * FROM input_data))" }
BigQuery DataFrames
Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von BigQuery DataFrames in der BigQuery-Kurzanleitung: BigQuery DataFrames verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zu BigQuery DataFrames.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter ADC für eine lokale Entwicklungsumgebung einrichten.
Verwenden Sie die Funktion predict
, um das Remote-Modell auszuführen:
Die Ergebnisse sollten so aussehen:
In den Abfrageergebnissen enthält die Spalte dense_1
ein Array von Wahrscheinlichkeitswerten und die Spalte input
die entsprechenden Stringwerte aus der Eingabetabelle. Jeder Elementwert des Arrays stellt die Wahrscheinlichkeit dar, dass der entsprechende Eingabestring ein Artikeltitel aus einer bestimmten Publikation ist.
Bereinigen
Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.
Projekt löschen
Console
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
gcloud
Delete a Google Cloud project:
gcloud projects delete PROJECT_ID
Einzelne Ressourcen löschen
Alternativ können Sie die einzelnen Ressourcen entfernen, die in dieser Anleitung verwendet werden:
Nächste Schritte
- Eine Übersicht über BigQuery ML finden Sie unter Einführung in BigQuery ML.
- Informationen zur Verwendung von BigQuery ML finden Sie unter Modelle für maschinelles Lernen in BigQuery ML erstellen.
- Weitere Informationen zum Importieren von TensorFlow-Modellen finden Sie unter
CREATE MODEL
-Anweisung zum Importieren von TensorFlow-Modellen. - Weitere Informationen zum Arbeiten mit Modellen finden Sie in folgenden Ressourcen:
- Weitere Informationen zur Verwendung der BigQuery DataFrames API in einem BigQuery-Notebook finden Sie unter: