In dieser Anleitung erfahren Sie, wie Sie mit einem multivariaten Zeitreihenmodell den zukünftigen Wert für eine bestimmte Spalte anhand der bisherigen Werte mehrerer Eingabefeatures prognostizieren.
In dieser Anleitung wird eine einzelne Zeitreihe prognostiziert. Die prognostizierten Werte werden einmal für jeden Zeitpunkt in den Eingabedaten berechnet.
In dieser Anleitung werden Daten aus dem öffentlichen Dataset bigquery-public-data.epa_historical_air_quality
verwendet. Dieses Dataset enthält Informationen zu Tageswerten für Feinstaub (PM2.5), Temperatur und Windgeschwindigkeit, die in mehreren US-Städten erfasst wurden.
Lernziele
In dieser Anleitung werden Sie durch die folgenden Aufgaben geführt:
- Erstellen eines Zeitreihenmodells zur Prognose von PM2.5-Werten mit der
CREATE MODEL
-Anweisung - Mit der Funktion
ML.ARIMA_EVALUATE
die ARIMA-Informationen (Autoregressive Integrated Moving Average) im Modell bewerten - Mit der
ML.ARIMA_COEFFICIENTS
-Funktion die Modellkoeffizienten prüfen - Die prognostizierten PM2.5-Werte mithilfe der Funktion
ML.FORECAST
aus dem Modell abrufen. - Die Genauigkeit des Modells mit der Funktion
ML.EVALUATE
bewerten. - Komponenten der Zeitreihe wie Saisonabhängigkeit, Trend und Feature-Attributionen mithilfe der Funktion
ML.EXPLAIN_FORECAST
abrufen Sie können diese Zeitreihenkomponenten prüfen, um die prognostizierten Werte zu erklären.
Kosten
In dieser Anleitung werden kostenpflichtige Komponenten von Google Cloud verwendet, darunter:
- BigQuery
- BigQuery ML
Weitere Informationen zu den Kosten von BigQuery finden Sie auf der Seite BigQuery-Preise.
Weitere Informationen zu den Kosten für BigQuery ML finden Sie unter BigQuery ML-Preise.
Vorbereitung
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
- BigQuery ist in neuen Projekten automatisch aktiviert.
Zum Aktivieren von BigQuery in einem vorhandenen Projekt wechseln Sie zu
Enable the BigQuery API.
.
Erforderliche Berechtigungen
- Sie benötigen die IAM-Berechtigung
bigquery.datasets.create
, um das Dataset zu erstellen. Zum Erstellen der Verbindungsressource benötigen Sie die folgenden Berechtigungen:
bigquery.connections.create
bigquery.connections.get
Zum Erstellen des Modells benötigen Sie die folgenden Berechtigungen:
bigquery.jobs.create
bigquery.models.create
bigquery.models.getData
bigquery.models.updateData
bigquery.connections.delegate
Zum Ausführen von Inferenzen benötigen Sie die folgenden Berechtigungen:
bigquery.models.getData
bigquery.jobs.create
Weitere Informationen zu IAM-Rollen und Berechtigungen in BigQuery finden Sie unter Einführung in IAM.
Dataset erstellen
Erstellen Sie ein BigQuery-Dataset, um Ihr ML-Modell zu speichern:
Rufen Sie in der Google Cloud Console die Seite „BigQuery“ auf.
Klicken Sie im Bereich Explorer auf den Namen Ihres Projekts.
Klicken Sie auf
Aktionen ansehen > Dataset erstellen.Führen Sie auf der Seite Dataset erstellen die folgenden Schritte aus:
Geben Sie unter Dataset-ID
bqml_tutorial
ein.Wählen Sie als Standorttyp die Option Mehrere Regionen und dann USA (mehrere Regionen in den USA) aus.
Die öffentlichen Datasets sind am multiregionalen Standort
US
gespeichert. Der Einfachheit halber sollten Sie Ihr Dataset am selben Standort speichern.Übernehmen Sie die verbleibenden Standardeinstellungen unverändert und klicken Sie auf Dataset erstellen.
Tabelle mit Eingabedaten erstellen
Erstellen Sie eine Datentabelle, mit der Sie das Modell trainieren und bewerten können. In dieser Tabelle werden Spalten aus mehreren Tabellen im Dataset bigquery-public-data.epa_historical_air_quality
kombiniert, um tägliche Wetterdaten bereitzustellen. Außerdem erstellen Sie die folgenden Spalten, die als Eingabevariablen für das Modell verwendet werden:
date
: das Datum der Beobachtungpm25
: der durchschnittliche PM2.5-Wert je Tagwind_speed
: durchschnittliche Windgeschwindigkeit je Tagtemperature
: Temperatur: die Höchsttemperatur je Tag
In der folgenden GoogleSQL-Abfrage gibt die FROM bigquery-public-data.epa_historical_air_quality.*_daily_summary
-Klausel an, dass Sie die *_daily_summary
-Tabellen im epa_historical_air_quality
-Dataset abfragen. Diese Tabellen sind partitionierte Tabellen.
So erstellen Sie die Tabelle mit den Eingabedaten:
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:
CREATE TABLE `bqml_tutorial.seattle_air_quality_daily` AS WITH pm25_daily AS ( SELECT avg(arithmetic_mean) AS pm25, date_local AS date FROM `bigquery-public-data.epa_historical_air_quality.pm25_nonfrm_daily_summary` WHERE city_name = 'Seattle' AND parameter_name = 'Acceptable PM2.5 AQI & Speciation Mass' GROUP BY date_local ), wind_speed_daily AS ( SELECT avg(arithmetic_mean) AS wind_speed, date_local AS date FROM `bigquery-public-data.epa_historical_air_quality.wind_daily_summary` WHERE city_name = 'Seattle' AND parameter_name = 'Wind Speed - Resultant' GROUP BY date_local ), temperature_daily AS ( SELECT avg(first_max_value) AS temperature, date_local AS date FROM `bigquery-public-data.epa_historical_air_quality.temperature_daily_summary` WHERE city_name = 'Seattle' AND parameter_name = 'Outdoor Temperature' GROUP BY date_local ) SELECT pm25_daily.date AS date, pm25, wind_speed, temperature FROM pm25_daily JOIN wind_speed_daily USING (date) JOIN temperature_daily USING (date);
Eingabedaten visualisieren
Bevor Sie das Modell erstellen, können Sie Ihre Eingabezeitreihendaten optional visualisieren, um sich ein Bild von der Verteilung zu machen. Verwenden Sie dazu Looker Studio.
So visualisieren Sie die Zeitreihendaten:
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:
SELECT * FROM `bqml_tutorial.seattle_air_quality_daily`;
Klicken Sie nach Abschluss der Abfrage auf Daten auswerten > Mit Looker Studio auswerten. Looker Studio wird in einem neuen Tab geöffnet. Führen Sie die folgenden Schritte in dem neuen Tab aus.
Klicken Sie in Looker Studio auf Einfügen > Zeitreihendiagramm.
Wählen Sie im Bereich Diagramm den Tab Einrichtung aus.
Fügen Sie im Bereich Messwert die Felder pm25, temperature und wind_speed hinzu und entfernen Sie den Standardmesswert Anzahl der Datensätze. Das Diagramm sieht dann ungefähr so aus:
Im Diagramm sehen Sie, dass die Eingabezeitreihe ein wöchentliches saisonales Muster aufweist.
Zeitreihenmodell erstellen
Erstellen Sie ein Zeitreihenmodell, um Partikelwerte, die in der Spalte pm25
dargestellt sind, mit den Spaltenwerten pm25
, wind_speed
und temperature
als Eingabevariablen vorherzusagen. Trainieren Sie das Modell mit den Luftqualitätsdaten aus der Tabelle bqml_tutorial.seattle_air_quality_daily
. Wählen Sie dazu die Daten aus, die zwischen dem 1. Januar 2012 und dem 31. Dezember 2020 erfasst wurden.
In der folgenden Abfrage gibt die Klausel OPTIONS(model_type='ARIMA_PLUS_XREG',
time_series_timestamp_col='date', ...)
an, dass Sie ein ARIMA-Modell mit externen Regressoren erstellen. Die Option auto_arima
der CREATE MODEL
-Anweisung ist standardmäßig auf TRUE
festgelegt. Daher stimmt der auto.ARIMA
-Algorithmus die Hyperparameter im Modell automatisch ab. Der Algorithmus passt Dutzende von Kandidatenmodellen an und wählt das beste Modell mit dem niedrigsten Akaike-Informationskriterium (AIC) aus.
Die Option data_frequency
der CREATE MODEL
-Anweisungen hat standardmäßig den Wert AUTO_FREQUENCY
. Daher wird die Datenhäufigkeit der Eingabezeitreihe automatisch im Trainingsprozess abgeleitet.
So erstellen Sie das Modell:
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:
CREATE OR REPLACE MODEL `bqml_tutorial.seattle_pm25_xreg_model` OPTIONS ( MODEL_TYPE = 'ARIMA_PLUS_XREG', time_series_timestamp_col = 'date', # Identifies the column that contains time points time_series_data_col = 'pm25') # Identifies the column to forecast AS SELECT date, # The column that contains time points pm25, # The column to forecast temperature, # Temperature input to use in forecasting wind_speed # Wind speed input to use in forecasting FROM `bqml_tutorial.seattle_air_quality_daily` WHERE date BETWEEN DATE('2012-01-01') AND DATE('2020-12-31');
Die Abfrage dauert ungefähr 20 Sekunden. Anschließend wird das Modell
seattle_pm25_xreg_model
im Bereich Explorer angezeigt. Da die Abfrage eineCREATE MODEL
-Anweisung zum Erstellen eines Modells verwendet, werden keine Abfrageergebnisse ausgegeben.
Kandidatenmodelle bewerten
Bewerten Sie die Zeitreihenmodelle mit der Funktion ML.ARIMA_EVALUATE
. Die ML.ARIMA_EVALUATE
-Funktion zeigt die Bewertungsmesswerte aller infrage kommenden Modelle an, die während der automatischen Hyperparameter-Abstimmung bewertet wurden.
So bewerten Sie das Modell:
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:
SELECT * FROM ML.ARIMA_EVALUATE(MODEL `bqml_tutorial.seattle_pm25_xreg_model`);
Die Antwort sollte in etwa so aussehen:
Die Ausgabespalten
non_seasonal_p
,non_seasonal_d
,non_seasonal_q
undhas_drift
definieren ein ARIMA-Modell in der Trainingspipeline. Die Ausgabespaltenlog_likelihood
,AIC
undvariance
sind für den ARIMA-Modellanpassungsprozess relevant.Der
auto.ARIMA
-Algorithmus verwendet den KPSS-Test, um den besten Wert fürnon_seasonal_d
zu ermitteln, in diesem Fall1
. Wennnon_seasonal_d
1
ist, trainiert derauto.ARIMA
-Algorithmus 42 verschiedene ARIMA-Kandidatenmodelle parallel. In diesem Beispiel sind alle 42 Kandidatenmodelle gültig. Die Ausgabe enthält daher 42 Zeilen, eine für jedes ARIMA-Kandidatenmodell. Wenn einige der Modelle ungültig sind, werden sie von der Ausgabe ausgeschlossen. Diese Kandidatenmodelle werden in aufsteigender Reihenfolge nach AIC zurückgegeben. Das Modell in der ersten Zeile hat den niedrigsten AIC und gilt als bestes Modell. Das beste Modell wird als endgültiges Modell gespeichert und verwendet, wenn Sie Funktionen wieML.FORECAST
auf dem Modell aufrufen.Die Spalte
seasonal_periods
enthält Informationen zum saisonalen Muster, das in den Zeitreihendaten identifiziert wurde. Es hat nichts mit der ARIMA-Modellierung zu tun und hat daher in allen Ausgabezeilen denselben Wert. Es wird ein wöchentliches Muster angezeigt, das mit den Ergebnissen übereinstimmt, die Sie gesehen haben, wenn Sie sich entschieden haben, die Eingabedaten zu visualisieren.Die Spalten
has_holiday_effect
,has_spikes_and_dips
undhas_step_changes
enthalten Informationen zu den Eingabezeitreihendaten und haben keinen Bezug zur ARIMA-Modellierung. Diese Spalten werden zurückgegeben, weil der Wert der Optiondecompose_time_series
in derCREATE MODEL
-AnweisungTRUE
ist. Außerdem haben diese Spalten in allen Ausgabezeilen dieselben Werte.Die Spalte
error_message
enthält alle Fehler, die bei derauto.ARIMA
-Anpassung aufgetreten sind. Ein möglicher Grund für Fehler ist, dass die ausgewählten Spaltennon_seasonal_p
,non_seasonal_d
,non_seasonal_q
undhas_drift
die Zeitachse nicht stabilisieren können. Wenn Sie die Fehlermeldung aller Kandidatenmodelle abrufen möchten, legen Sie beim Erstellen des Modells die Optionshow_all_candidate_models
aufTRUE
fest.Weitere Informationen zu den Ausgabespalten finden Sie unter
ML.ARIMA_EVALUATE
-Funktion.
Koeffizienten des Modells prüfen
Prüfen Sie mit der Funktion ML.ARIMA_COEFFICIENTS
die Koeffizienten des Zeitreihenmodells.
So rufen Sie die Koeffizienten des Modells ab:
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:
SELECT * FROM ML.ARIMA_COEFFICIENTS(MODEL `bqml_tutorial.seattle_pm25_xreg_model`);
Die Antwort sollte in etwa so aussehen:
Die Ausgabespalte
ar_coefficients
enthält die Modellkoeffizienten des autoregressiven (AR) Teils des ARIMA-Modells. Ähnlich enthält die Ausgabespaltema_coefficients
die Modellkoeffizienten des gleitenden Durchschnitts (Moving Average, MA) des ARIMA-Modells. Beide Spalten enthalten Arrays, deren Längenon_seasonal_p
bzw.non_seasonal_q
entspricht. In der Ausgabe der FunktionML.ARIMA_EVALUATE
haben Sie gesehen, dass das beste Modell einennon_seasonal_p
-Wert von0
und einennon_seasonal_q
-Wert von5
hat. Daher ist in der Ausgabe vonML.ARIMA_COEFFICIENTS
der Wertar_coefficients
ein leeres Array und der Wertma_coefficients
ein Array mit fünf Elementen. Der Wertintercept_or_drift
ist der konstante Begriff im ARIMA-Modell.In den Ausgabespalten
processed_input
,weight
undcategory_weights
sind die Gewichtungen für jedes Feature und der Achsenabschnitt im linearen Regressionsmodell zu sehen. Wenn es sich um ein numerisches Feature handelt, wird die Gewichtung in derweight
-Spalte angezeigt. Wenn es sich bei dem Feature um ein kategorisches Feature handelt, istcategory_weights
ein Array von Strukturwerten, wobei jeder Strukturwert den Namen und das Gewicht einer bestimmten Kategorie enthält.Weitere Informationen zu den Ausgabespalten finden Sie unter
ML.ARIMA_COEFFICIENTS
-Funktion.
Mit dem Modell Daten prognostizieren
Mit der Funktion ML.FORECAST
können Sie zukünftige Zeitreihenwerte prognostizieren.
In der folgenden GoogleSQL-Abfrage gibt die STRUCT(30 AS horizon, 0.8 AS confidence_level)
-Klausel an, dass die Abfrage 30 zukünftige Zeitpunkte prognostiziert und ein Vorhersageintervall mit einem Konfidenzniveau von 80 % generiert.
So prognostizieren Sie Daten mit dem Modell:
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:
SELECT * FROM ML.FORECAST( MODEL `bqml_tutorial.seattle_pm25_xreg_model`, STRUCT(30 AS horizon, 0.8 AS confidence_level), ( SELECT date, temperature, wind_speed FROM `bqml_tutorial.seattle_air_quality_daily` WHERE date > DATE('2020-12-31') ));
Die Antwort sollte in etwa so aussehen:
Die Ausgabezeilen sind nach dem Wert der Spalte
forecast_timestamp
in chronologischer Reihenfolge angeordnet. Bei der Zeitreihenprognose ist das Vorhersageintervall, das durch die Spaltenwerteprediction_interval_lower_bound
undprediction_interval_upper_bound
dargestellt wird, genauso wichtig wie der Spaltenwertforecast_value
. Der Wertforecast_value
ist der Mittelpunkt des Vorhersageintervalls. Das Vorhersageintervall hängt von den Spaltenwertenstandard_error
undconfidence_level
ab.Weitere Informationen zu den Ausgabespalten finden Sie unter
ML.FORECAST
-Funktion.
Genauigkeit der Prognosen bewerten
Mit der Funktion ML.EVALUATE
können Sie die Vorhersagegenauigkeit des Modells bewerten.
In der folgenden GoogleSQL-Abfrage enthält die zweite SELECT
-Anweisung die Daten mit den zukünftigen Features, die für die Prognose der zukünftigen Werte mit den tatsächlichen Daten verwendet werden.
So bewerten Sie die Genauigkeit des Modells:
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:
SELECT * FROM ML.EVALUATE( MODEL `bqml_tutorial.seattle_pm25_xreg_model`, ( SELECT date, pm25, temperature, wind_speed FROM `bqml_tutorial.seattle_air_quality_daily` WHERE date > DATE('2020-12-31') ), STRUCT( TRUE AS perform_aggregation, 30 AS horizon));
Die Ergebnisse sollten in etwa so aussehen:
Weitere Informationen zu den Ausgabespalten finden Sie unter
ML.EVALUATE
-Funktion.
Prognoseergebnisse erklären
Mit der Funktion ML.EXPLAIN_FORECAST
können Sie zusätzlich zu Prognosedaten auch Erklärbarkeitsmesswerte abrufen. Die Funktion ML.EXPLAIN_FORECAST
prognostiziert zukünftige Zeitreihenwerte und gibt auch alle einzelnen Komponenten der Zeitreihe zurück.
Ähnlich wie bei der Funktion ML.FORECAST
gibt die Klausel STRUCT(30 AS horizon, 0.8 AS confidence_level)
, die in der Funktion ML.EXPLAIN_FORECAST
verwendet wird, an, dass die Abfrage 30 zukünftige Zeitpunkte prognostiziert und ein Vorhersageintervall mit einer Konfidenz von 80% generiert.
So erklären Sie die Ergebnisse des Modells:
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Fügen Sie die folgende Abfrage in den Abfrageeditor ein und klicken Sie auf Ausführen:
SELECT * FROM ML.EXPLAIN_FORECAST( MODEL `bqml_tutorial.seattle_pm25_xreg_model`, STRUCT(30 AS horizon, 0.8 AS confidence_level), ( SELECT date, temperature, wind_speed FROM `bqml_tutorial.seattle_air_quality_daily` WHERE date > DATE('2020-12-31') ));
Die Antwort sollte in etwa so aussehen:
Die Ausgabezeilen sind nach dem Spaltenwert
time_series_timestamp
chronologisch sortiert.Weitere Informationen zu den Ausgabespalten finden Sie unter
ML.EXPLAIN_FORECAST
-Funktion.
Bereinigen
Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.
- Sie können das von Ihnen erstellte Projekt löschen.
- Sie können das Projekt aber auch behalten und das Dataset löschen.
Dataset löschen
Wenn Sie Ihr Projekt löschen, werden alle Datasets und Tabellen entfernt. Wenn Sie das Projekt wieder verwenden möchten, können Sie das in dieser Anleitung erstellte Dataset löschen:
Rufen Sie, falls erforderlich, die Seite "BigQuery" in der Google Cloud Console auf.
Wählen Sie im Navigationsbereich das Dataset bqml_tutorial aus, das Sie erstellt haben.
Klicken Sie rechts im Fenster auf Delete dataset (Dataset löschen). Dadurch werden das Dataset, die Tabelle und alle Daten gelöscht.
Bestätigen Sie im Dialogfeld Dataset löschen den Löschbefehl. Geben Sie dazu den Namen des Datasets (
bqml_tutorial
) ein und klicken Sie auf Löschen.
Projekt löschen
So löschen Sie das Projekt:
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Nächste Schritte
- Informationen zum Erstellen einer Prognose für eine einzelne Zeitreihe mit einem univariaten Modell
- Mehrere Zeitreihen mit einem univariaten Modell prognostizieren
- Informationen zum Skalieren eines univariaten Modells bei der Prognose mehrerer Zeitreihen über viele Zeilen
- Hierarchische Prognosen für mehrere Zeitreihen mit einem univariaten Modell erstellen
- Eine Übersicht über BigQuery ML finden Sie unter Einführung in KI und ML in BigQuery.