Parquet-Daten aus Cloud Storage laden
Diese Seite bietet einen Überblick über das Laden von Parquet-Daten aus Cloud Storage in BigQuery.
Parquet ist ein spaltenorientiertes Open-Source-Datenformat, das häufig in Verbindung mit Apache Hadoop genutzt wird.
Sie können aus Cloud Storage geladene Parquet-Daten in eine neue Tabelle oder Partition laden bzw. an eine vorhandene Tabelle oder Partition anfügen. Es ist außerdem möglich, eine Tabelle oder Partition zu überschreiben. Beim Laden von Daten in BigQuery werden diese in ein Spaltenformat für Capacitor (BigQuery-Speicherformat) umgewandelt.
Wenn Sie Daten aus Cloud Storage in eine BigQuery-Tabelle laden, muss sich das Dataset, das die Tabelle enthält, am selben regionalen oder multiregionalen Standort wie der Cloud Storage-Bucket befinden.
Informationen zum Laden von Parquet-Daten aus einer lokalen Datei finden Sie unter Daten aus lokalen Dateien laden.
Beschränkungen
Beim Laden von Daten aus einem Cloud Storage-Bucket in BigQuery gilt folgende Einschränkung:
- Wenn für den Standort Ihres Datasets ein anderer Wert als die Multiregion
US
festgelegt ist, muss sich der Cloud Storage-Bucket am selben Standort wie das Dataset befinden. - BigQuery übernimmt bei externen Datenquellen keine Garantie für die Datenkonsistenz. Werden die zugrunde liegenden Daten während der Ausführung der Abfrage geändert, kann dies zu einem unerwarteten Verhalten führen.
- BigQuery unterstützt nicht die Cloud Storage-Objektversionierung. Wenn Sie dem Cloud Storage-URI eine Generierungsnummer hinzufügen, schlägt der Ladejob fehl.
Anforderungen an Eingabedateien
Beachten Sie die folgenden Richtlinien, um resourcesExceeded
-Fehler beim Laden von Parquet-Dateien in BigQuery zu vermeiden:
- Behalten Sie die Datensatzgröße bei 50 MB oder weniger.
- Wenn Ihre Eingabedaten mehr als 100 Spalten enthalten, sollten Sie die Seitengröße verringern, damit sie kleiner als die Standardseitengröße ist (1 * 1024 * 1024 Byte). Dies ist besonders hilfreich, wenn Sie eine erhebliche Komprimierung verwenden.
Hinweis
Erteilen Sie IAM-Rollen (Identity and Access Management), die Nutzern die erforderlichen Berechtigungen zum Ausführen der einzelnen Aufgaben in diesem Dokument geben.
Erforderliche Berechtigungen
Zum Laden von Daten in BigQuery benötigen Sie IAM-Berechtigungen, um einen Ladejob auszuführen und Daten in BigQuery-Tabellen und -Partitionen zu laden. Zum Laden von Daten aus Cloud Storage sind außerdem IAM-Berechtigungen für den Zugriff auf den Bucket erforderlich, der Ihre Daten enthält.
Berechtigungen zum Laden von Daten in BigQuery
Wenn Sie Daten in eine neue BigQuery-Tabelle oder -Partition laden oder eine vorhandene Tabelle oder Partition anfügen oder überschreiben möchten, benötigen Sie die folgenden IAM-Berechtigungen:
bigquery.tables.create
bigquery.tables.updateData
bigquery.tables.update
bigquery.jobs.create
Die folgenden vordefinierten IAM-Rollen enthalten jeweils die Berechtigungen, die zum Laden von Daten in eine BigQuery-Tabelle oder -Partition erforderlich sind:
roles/bigquery.dataEditor
roles/bigquery.dataOwner
roles/bigquery.admin
(einschließlich der Berechtigungbigquery.jobs.create
)bigquery.user
(einschließlich der Berechtigungbigquery.jobs.create
)bigquery.jobUser
(einschließlich der Berechtigungbigquery.jobs.create
)
Wenn Sie die Berechtigung bigquery.datasets.create
haben, können Sie außerdem mit einem Ladejob Tabellen in den von Ihnen erstellten Datasets anlegen und aktualisieren.
Weitere Informationen zu IAM-Rollen und Berechtigungen in BigQuery finden Sie unter Vordefinierte Rollen und Berechtigungen.
Berechtigungen zum Laden von Daten aus Cloud Storage
Zum Laden von Daten aus einem Cloud Storage-Bucket benötigen Sie die folgenden IAM-Berechtigungen:
storage.objects.get
storage.objects.list
(erforderlich, wenn Sie einen URI-Platzhalter verwenden)
Die vordefinierte IAM-Rolle roles/storage.objectViewer
enthält alle Berechtigungen, die Sie zum Laden von Daten aus einem Cloud Storage-Bucket benötigen.
Parquet-Schemas
Wenn Sie Parquet-Dateien in BigQuery laden, wird das Tabellenschema automatisch aus den selbstbeschreibenden Quelldaten abgeleitet. Wenn BigQuery das Schema aus den Quelldaten ableitet, wird die alphabetisch letzte Datei verwendet.
In Cloud Storage gibt es z. B. die folgenden Parquet-Dateien:
gs://mybucket/00/ a.parquet z.parquet gs://mybucket/01/ b.parquet
Wenn Sie diesen Befehl im bq
-Befehlszeilentool ausführen, werden alle Dateien (als durch Kommas getrennte Liste) geladen und das Schema wird von mybucket/01/b.parquet
abgeleitet:
bq load \ --source_format=PARQUET \ dataset.table \ "gs://mybucket/00/*.parquet","gs://mybucket/01/*.parquet"
Wenn Sie mehrere Parquet-Dateien mit unterschiedlichen Schemas laden, müssen identische Spalten, die in mehreren Schemas angegeben sind, in jeder Schemadefinition denselben Modus haben.
Wenn das Schema in BigQuery erkannt wird, werden bestimmte Parquet-Datentypen in BigQuery-Datentypen konvertiert, damit sie mit der BigQuery-SQL-Syntax kompatibel sind. Weitere Informationen finden Sie unter Parquet-Konvertierungen.
Parquet-Komprimierung
BigQuery unterstützt die folgenden Komprimierungscodecs für Datenblöcke in Parquet-Dateien:
GZip
LZO_1C
undLZO_1X
Snappy
ZSTD
Parquet-Daten in eine neue Tabelle laden
Sie können Parquet-Daten mit einer der folgenden Methoden in eine neue Tabelle laden:
- Die Console
- Mit dem Befehl
bq
desbq load
-Befehlszeilentools - Durch Aufrufen der API-Methode
jobs.insert
und Konfigurieren einesload
-Jobs - Mit den Clientbibliotheken
So laden Sie Parquet-Daten aus Cloud Storage in eine neue BigQuery-Tabelle:
Console
Rufen Sie in der Console die BigQuery-Seite auf.
- Maximieren Sie im Bereich Explorer Ihr Projekt und wählen Sie dann ein Dataset aus.
- Klicken Sie im Abschnitt Dataset-Informationen auf Tabelle erstellen.
- Geben Sie im Bereich Tabelle erstellen die folgenden Details an:
- Wählen Sie im Abschnitt Quelle in der Liste Tabelle erstellen aus die Option Google Cloud Storage aus.
Führen Sie anschließend folgende Schritte aus:
- Wählen Sie eine Datei aus dem Cloud Storage-Bucket aus oder geben Sie den Cloud Storage-URI ein.
In der Console kann zwar nur ein URI eingefügt werden, aber Platzhalter werden unterstützt. Der Cloud Storage-Bucket muss sich am selben Standort wie das Dataset befinden, das die Tabelle enthält, die Sie erstellen, anhängen oder überschreiben möchten.
- Wählen Sie als Dateiformat die Option Parquet aus.
- Wählen Sie eine Datei aus dem Cloud Storage-Bucket aus oder geben Sie den Cloud Storage-URI ein.
In der Console kann zwar nur ein URI eingefügt werden, aber Platzhalter werden unterstützt. Der Cloud Storage-Bucket muss sich am selben Standort wie das Dataset befinden, das die Tabelle enthält, die Sie erstellen, anhängen oder überschreiben möchten.
- Geben Sie im Bereich Ziel die folgenden Details an:
- Wählen Sie bei Dataset das Dataset aus, in dem Sie die Tabelle erstellen möchten.
- Geben Sie im Feld Tabelle den Namen der Tabelle ein, die Sie erstellen möchten.
- Achten Sie darauf, dass das Feld Tabellentyp auf Native Tabelle eingestellt ist.
- Im Abschnitt Schema ist keine Aktion erforderlich. Das Schema ist in Parquet-Dateien selbstbeschreibend.
- Optional: Geben Sie Partitions- und Clustereinstellungen an. Weitere Informationen finden Sie unter Partitionierte Tabellen erstellen und Geclusterte Tabellen erstellen und verwenden.
- Klicken Sie auf Erweiterte Optionen und gehen Sie so vor:
- Lassen Sie unter Write preference (Schreibeinstellung) die Option Write if empty (Schreiben, wenn leer) ausgewählt. Mit dieser Option wird eine neue Tabelle erstellt und Ihre Daten werden in diese Tabelle geladen.
- Wenn Sie Werte in einer Zeile ignorieren möchten, die im Schema der Tabelle nicht vorhanden sind, wählen Sie Unbekannte Werte aus.
- Klicken Sie unter Verschlüsselung auf Vom Kunden verwalteter Schlüssel, um einen Cloud Key Management Service-Schlüssel zu verwenden. Wenn Sie die Einstellung Von Google verwalteter Schlüssel übernehmen, verschlüsselt BigQuery inaktive Daten.
- Klicken Sie auf Tabelle erstellen.
SQL
Verwenden Sie die DDL-Anweisung LOAD DATA
.
Im folgenden Beispiel wird eine Parquet-Datei in die neue Tabelle mytable
geladen:
Rufen Sie in der Console die BigQuery-Seite auf.
Geben Sie im Abfrageeditor die folgende Anweisung ein:
LOAD DATA OVERWRITE mydataset.mytable FROM FILES ( format = 'PARQUET', uris = ['gs://bucket/path/file.parquet']);
Klicken Sie auf
Ausführen.
Informationen zum Ausführen von Abfragen finden Sie unter Interaktive Abfragen ausführen.
bq
Verwenden Sie den Befehl bq load
, geben Sie PARQUET
mit dem Flag --source_format
an und fügen Sie einen Cloud Storage-URI ein.
Sie können einen einzelnen URI, eine durch Kommas getrennte Liste von URIs oder einen URI mit Platzhalter einfügen.
Optional: Geben Sie das Flag --location
an und legen Sie als Wert Ihren Standort fest.
Andere optionale Flags sind:
--time_partitioning_type
: Aktiviert die zeitbasierte Partitionierung für eine Tabelle und legt den Partitionstyp fest. Mögliche Werte sindHOUR
,DAY
,MONTH
undYEAR
. Dieses Flag ist optional, wenn Sie eine Tabelle erstellen, die nach einerDATE
-,DATETIME
- oderTIMESTAMP
-Spalte partitioniert wird. Der Standardpartitionstyp für die zeitbasierte Partitionierung istDAY
. Sie können die Partitionierungsspezifikation für eine vorhandene Tabelle nicht ändern.--time_partitioning_expiration
: Eine Ganzzahl, die (in Sekunden) angibt, wann eine zeitbasierte Partition gelöscht werden soll. Die Ablaufzeit entspricht dem UTC-Datum der Partition plus dem ganzzahligen Wert.--time_partitioning_field
: DieDATE
- oderTIMESTAMP
-Spalte zum Erstellen einer partitionierten Tabelle. Wenn die zeitbasierte Partitionierung ohne Angabe dieses Werts aktiviert wird, erstellt BigQuery eine nach Aufnahmezeit partitionierte Tabelle.--require_partition_filter
: Wenn diese Option aktiviert ist, müssen die Nutzer eineWHERE
-Klausel zur Angabe der abzufragenden Partitionen einfügen. Das Anfordern eines Partitionsfilters kann die Kosten senken und die Leistung verbessern. Weitere Informationen finden Sie unter Partitionierte Tabellen abfragen.--clustering_fields
: Eine durch Kommas getrennte Liste mit bis zu vier Spaltennamen zum Erstellen einer geclusterten Tabelle.--destination_kms_key
: Der Cloud KMS-Schlüssel für die Verschlüsselung der Tabellendaten.Weitere Informationen zu partitionierten Tabellen finden Sie unter:
Weitere Informationen zu geclusterten Tabellen finden Sie unter:
Weitere Informationen zur Tabellenverschlüsselung finden Sie unter:
Geben Sie den folgenden Befehl ein, um Parquet-Daten in BigQuery zu laden:
bq --location=LOCATION load \ --source_format=FORMAT \ DATASET.TABLE \ PATH_TO_SOURCE
Dabei gilt:
LOCATION
: Ihr Standort. Das Flag--location
ist optional. Wenn Sie BigQuery z. B. in der Region Tokio verwenden, können Sie für das Flag den Wertasia-northeast1
festlegen. Mit der Datei .bigqueryrc können Sie einen Standardwert für den Standort festlegen.FORMAT
:PARQUET
.DATASET
: ein vorhandenes Dataset.TABLE
: der Name der Tabelle, in die Sie Daten laden.PATH_TO_SOURCE
: ein vollständig qualifizierter Cloud Storage-URI oder eine durch Kommas getrennte Liste von URIs. Platzhalter werden ebenfalls unterstützt.
Beispiele:
Mit dem folgenden Befehl werden Daten aus gs://mybucket/mydata.parquet
in eine Tabelle mit dem Namen mytable
in mydataset
geladen.
bq load \
--source_format=PARQUET \
mydataset.mytable \
gs://mybucket/mydata.parquet
Mit folgendem Befehl werden Daten aus gs://mybucket/mydata.parquet
in eine neue nach Aufnahmezeit partitionierte Tabelle mit dem Namen mytable
in mydataset
geladen.
bq load \
--source_format=PARQUET \
--time_partitioning_type=DAY \
mydataset.mytable \
gs://mybucket/mydata.parquet
Mit dem folgenden Befehl werden Daten aus gs://mybucket/mydata.parquet
in eine partitionierte Tabelle mit dem Namen mytable
in mydataset
geladen. Die Tabelle ist nach der Spalte mytimestamp
partitioniert.
bq load \
--source_format=PARQUET \
--time_partitioning_field mytimestamp \
mydataset.mytable \
gs://mybucket/mydata.parquet
Mit dem folgenden Befehl werden Daten aus mehreren Dateien in gs://mybucket/
in eine Tabelle namens mytable
in mydataset
geladen. Für den Cloud Storage-URI wird ein Platzhalter verwendet.
bq load \
--source_format=PARQUET \
mydataset.mytable \
gs://mybucket/mydata*.parquet
Mit dem folgenden Befehl werden Daten aus mehreren Dateien in gs://mybucket/
in eine Tabelle namens mytable
in mydataset
geladen. Der Befehl enthält eine durch Kommas getrennte Liste von Cloud Storage-URIs mit Platzhaltern.
bq load \
--source_format=PARQUET \
mydataset.mytable \
"gs://mybucket/00/*.parquet","gs://mybucket/01/*.parquet"
API
Erstellen Sie einen
load
-Job, der auf die Quelldaten in Cloud Storage verweist.Optional: Geben Sie Ihren Standort im Attribut
location
im AbschnittjobReference
der Jobressource an.Das Attribut
source URIs
muss vollständig qualifiziert sein und das Formatgs://BUCKET/OBJECT
haben. Jeder URI kann ein Platzhalterzeichen (*) enthalten.Geben Sie das Parquet-Datenformat an. Legen Sie dazu das Attribut
sourceFormat
aufPARQUET
fest.Rufen Sie zum Prüfen des Jobstatus
jobs.get(JOB_ID*)
auf. Ersetzen Sie dabei JOB_ID durch die ID des Jobs, der von der ersten Anfrage zurückgegeben wurde.- Wenn
status.state = DONE
zurückgegeben wird, wurde der Job erfolgreich abgeschlossen. - Wenn das Attribut
status.errorResult
vorhanden ist, schlug die Anfrage fehl und dieses Objekt enthält eine Fehlerbeschreibung. Wenn eine Anfrage fehlschlägt, wird keine Tabelle erstellt und es werden keine Daten geladen. - Wenn das Attribut
status.errorResult
nicht vorhanden ist, wurde der Job erfolgreich abgeschlossen. Es können aber einige nicht schwerwiegende Fehler aufgetreten sein, z. B. Probleme beim Importieren einiger Zeilen. Nicht schwerwiegende Fehler werden im Attributstatus.errors
des Objekts des zurückgegebenen Jobs aufgeführt.
- Wenn
API-Hinweise:
Ladejobs sind atomar und konsistent. Wenn ein Ladejob fehlschlägt, sind keine der zu ladenden Daten verfügbar. Wenn ein Ladejob erfolgreich ist, sind alle Daten verfügbar.
Erstellen Sie als Best Practice eine nur einmal vorkommende ID und übergeben Sie diese als
jobReference.jobId
, wennjobs.insert
zum Erstellen eines Ladejobs aufgerufen wird. Diese Vorgehensweise ist weniger anfällig für Netzwerkfehler, da der Client anhand der bekannten Job-ID einen Abruf oder einen neuen Versuch ausführen kann.Das Aufrufen von
jobs.insert
für eine bestimmte Job-ID ist idempotent. Das bedeutet, dass Sie den Aufruf für dieselbe Job-ID beliebig oft wiederholen können. Höchstens einer dieser Vorgänge ist dann erfolgreich.
Go
Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von Go in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Go API.
Java
Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von Java in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur BigQuery Java API.
Node.js
Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von Node.js in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Node.js API.
PHP
Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von PHP in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur BigQuery PHP API.
Python
Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von Python in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur BigQuery Python API.
Verwenden Sie die Methode Client.load_table_from_uri(), um einen Ladejob für Cloud Storage zu starten. Wenn Sie Parquet verwenden möchten, legen Sie das Attribut LoadJobConfig.source_format auf den StringPARQUET
fest und übergeben die Jobkonfiguration als job_config
-Argument an die load_table_from_uri()
-Methode.
Parquet-Daten an eine Tabelle anfügen oder Tabelle mit Parquet-Daten überschreiben
Zusätzliche Daten können entweder aus Quelldateien oder durch das Anfügen von Abfrageergebnissen in eine Tabelle geladen werden.
In der Console können Sie mit der Option Schreibeinstellung festlegen, welche Aktion beim Laden von Daten aus einer Quelldatei oder aus einem Abfrageergebnis ausgeführt werden soll.
Sie haben folgende Möglichkeiten, wenn Sie zusätzliche Daten in eine Tabelle laden:
Console-Option | bq -Tool-Flag |
BigQuery API-Attribut | Beschreibung |
---|---|---|---|
Schreiben, wenn leer | Nicht unterstützt | WRITE_EMPTY |
Daten werden nur geschrieben, wenn die Tabelle leer ist. |
An Tabelle anfügen | --noreplace oder --replace=false . Wenn --[no]replace nicht angegeben ist, werden Daten standardmäßig angefügt. |
WRITE_APPEND |
(Standard) Daten werden an das Ende der Tabelle angefügt. |
Tabelle überschreiben | --replace oder --replace=true |
WRITE_TRUNCATE |
Alle vorhandenen Daten in einer Tabelle werden gelöscht, bevor die neuen Daten geschrieben werden. Mit dieser Aktion wird auch das Tabellenschema gelöscht und alle Cloud KMS-Schlüssel werden entfernt. |
Wenn Sie Daten in eine vorhandene Tabelle laden, kann der Ladejob die Daten anfügen oder die Tabelle damit überschreiben.
Sie können eine Tabelle mit einer der folgenden Methoden anfügen oder überschreiben:
- Die Console
- Mit dem Befehl
bq
desbq load
-Befehlszeilentools - Durch Aufrufen der API-Methode
jobs.insert
und Konfigurieren einesload
-Jobs - Mit den Clientbibliotheken
So fügen Sie Parquet-Daten an eine Tabelle an oder überschreiben die Tabelle damit:
Console
Rufen Sie in der Console die BigQuery-Seite auf.
- Maximieren Sie im Bereich Explorer Ihr Projekt und wählen Sie dann ein Dataset aus.
- Klicken Sie im Abschnitt Dataset-Informationen auf Tabelle erstellen.
- Geben Sie im Bereich Tabelle erstellen die folgenden Details an:
- Wählen Sie im Abschnitt Quelle in der Liste Tabelle erstellen aus die Option Google Cloud Storage aus.
Führen Sie anschließend folgende Schritte aus:
- Wählen Sie eine Datei aus dem Cloud Storage-Bucket aus oder geben Sie den Cloud Storage-URI ein.
In der Console kann zwar nur ein URI eingefügt werden, aber Platzhalter werden unterstützt. Der Cloud Storage-Bucket muss sich am selben Standort wie das Dataset befinden, das die Tabelle enthält, die Sie erstellen, anhängen oder überschreiben möchten.
- Wählen Sie als Dateiformat die Option Parquet aus.
- Wählen Sie eine Datei aus dem Cloud Storage-Bucket aus oder geben Sie den Cloud Storage-URI ein.
In der Console kann zwar nur ein URI eingefügt werden, aber Platzhalter werden unterstützt. Der Cloud Storage-Bucket muss sich am selben Standort wie das Dataset befinden, das die Tabelle enthält, die Sie erstellen, anhängen oder überschreiben möchten.
- Geben Sie im Bereich Ziel die folgenden Details an:
- Wählen Sie bei Dataset das Dataset aus, in dem Sie die Tabelle erstellen möchten.
- Geben Sie im Feld Tabelle den Namen der Tabelle ein, die Sie erstellen möchten.
- Achten Sie darauf, dass das Feld Tabellentyp auf Native Tabelle eingestellt ist.
- Im Abschnitt Schema ist keine Aktion erforderlich. Das Schema ist in Parquet-Dateien selbstbeschreibend.
- Optional: Geben Sie Partitions- und Clustereinstellungen an. Weitere Informationen finden Sie unter Partitionierte Tabellen erstellen und Geclusterte Tabellen erstellen und verwenden. Sie können eine Tabelle nicht durch Anfügen oder Überschreiben von Daten in eine partitionierte oder geclusterte Tabelle konvertieren. Die Console unterstützt nicht das Anfügen oder Überschreiben von Daten in partitionierten oder geclusterten Tabellen in einem Ladejob.
- Klicken Sie auf Erweiterte Optionen und gehen Sie so vor:
- Wählen Sie unter Schreibeinstellung die Option An Tabelle anfügen oder Tabelle überschreiben aus.
- Wenn Sie Werte in einer Zeile ignorieren möchten, die im Schema der Tabelle nicht vorhanden sind, wählen Sie Unbekannte Werte aus.
- Klicken Sie unter Verschlüsselung auf Vom Kunden verwalteter Schlüssel, um einen Cloud Key Management Service-Schlüssel zu verwenden. Wenn Sie die Einstellung Von Google verwalteter Schlüssel übernehmen, verschlüsselt BigQuery inaktive Daten.
- Klicken Sie auf Tabelle erstellen.
SQL
Verwenden Sie die DDL-Anweisung LOAD DATA
.
Im folgenden Beispiel wird eine Parquet-Datei an die Tabelle mytable
angehängt:
Rufen Sie in der Console die BigQuery-Seite auf.
Geben Sie im Abfrageeditor die folgende Anweisung ein:
LOAD DATA INTO mydataset.mytable FROM FILES ( format = 'PARQUET', uris = ['gs://bucket/path/file.parquet']);
Klicken Sie auf
Ausführen.
Informationen zum Ausführen von Abfragen finden Sie unter Interaktive Abfragen ausführen.
bq
Geben Sie den Befehl bq load
mit dem Flag --replace
ein, um die Tabelle zu überschreiben. Verwenden Sie das Flag --noreplace
, um Daten an die Tabelle anzufügen. Wenn kein Flag angegeben ist, werden Daten standardmäßig angefügt. Geben Sie das Flag --source_format
an und setzen Sie es auf PARQUET
. Da Parquet-Schemas automatisch aus den selbstbeschreibenden Quelldaten abgerufen werden, müssen Sie keine Schemadefinition angeben.
Optional: Geben Sie das Flag --location
an und legen Sie als Wert Ihren Standort fest.
Andere optionale Flags sind:
--destination_kms_key
: Der Cloud KMS-Schlüssel für die Verschlüsselung der Tabellendaten.
bq --location=LOCATION load \ --[no]replace \ --source_format=FORMAT \ DATASET.TABLE \ PATH_TO_SOURCE
Dabei gilt:
location
: Ihr Standort. Das Flag--location
ist optional. Mit der Datei ".bigqueryrc" können Sie für den Standort einen Standardwert festlegen.format
:PARQUET
.dataset
: ein vorhandenes Dataset.table
: der Name der Tabelle, in die Sie Daten laden.path_to_source
: ein vollständig qualifizierter Cloud Storage-URI oder eine durch Kommas getrennte Liste von URIs. Platzhalter werden ebenfalls unterstützt.
Beispiele:
Der folgende Befehl lädt Daten aus gs://mybucket/mydata.parquet
und überschreibt eine Tabelle namens mytable
in mydataset
.
bq load \
--replace \
--source_format=PARQUET \
mydataset.mytable \
gs://mybucket/mydata.parquet
Mit dem folgenden Befehl werden Daten aus gs://mybucket/mydata.parquet
geladen und an eine Tabelle namens mytable
in mydataset
angefügt.
bq load \
--noreplace \
--source_format=PARQUET \
mydataset.mytable \
gs://mybucket/mydata.parquet
Informationen zum Anfügen und Überschreiben von partitionierten Tabellen über die bq
-Befehlszeile finden Sie unter Daten in partitionierten Tabellen anfügen und überschreiben.
API
Erstellen Sie einen
load
-Job, der auf die Quelldaten in Cloud Storage verweist.Optional: Geben Sie Ihren Standort im Attribut
location
im AbschnittjobReference
der Jobressource an.Das Attribut
source URIs
muss vollständig qualifiziert sein und das Formatgs://BUCKET/OBJECT
haben. Sie können mehrere URIs als durch Kommas getrennte Liste einfügen. Platzhalter werden ebenfalls unterstützt.Geben Sie das Datenformat an. Legen Sie dazu das Attribut
configuration.load.sourceFormat
aufPARQUET
fest.Geben Sie die Schreibeinstellung an. Legen Sie dazu das Attribut
configuration.load.writeDisposition
aufWRITE_TRUNCATE
oderWRITE_APPEND
fest.
Go
Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von Go in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Go API.
Java
Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von Java in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur BigQuery Java API.
Node.js
Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von Node.js in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Node.js API.
PHP
Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von PHP in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur BigQuery PHP API.
Python
Bevor Sie dieses Beispiel ausprobieren, folgen Sie den Schritten zur Einrichtung von Python in der BigQuery-Kurzanleitung: Clientbibliotheken verwenden. Weitere Informationen finden Sie in der Referenzdokumentation zur BigQuery Python API.
Wenn Sie die Zeilen in einer vorhandenen Tabelle ersetzen möchten, legen Sie das Attribut LoadJobConfig.write_disposition auf WRITE_TRUNCATE fest.Mit Hive partitionierte Parquet-Daten laden
BigQuery unterstützt das Laden von mit Hive partitionierten Parquet-Daten, die in Cloud Storage gespeichert sind, und füllt die Hive-Partitionierungsspalten so aus, als wären Sie Spalten in der verwalteten BigQuery-Zieltabelle. Weitere Informationen finden Sie unter Extern partitionierte Daten laden.
Parquet-Konvertierungen
In diesem Abschnitt wird beschrieben, wie BigQuery verschiedene Datentypen beim Laden von Parquet-Daten parst.
Einige Parquet-Datentypen (z. B. INT32
, INT64
, BYTE_ARRAY
und FIXED_LEN_BYTE_ARRAY
) können in mehrere BigQuery-Datentypen konvertiert werden. Geben Sie in der Parquet-Datei den entsprechenden Datentyp an, um sicherzustellen, dass BigQuery die Parquet-Datentypen korrekt konvertiert.
Geben Sie beispielsweise Folgendes an, um den Parquet-Datentyp INT32
in den BigQuery-Datentyp DATE
zu konvertieren:
optional int32 date_col (DATE);
BigQuery konvertiert Parquet-Datentypen in BigQuery-Datentypen, die in den folgenden Abschnitten beschrieben werden.
Typkonvertierungen
BigQuery-Datentyp | ||
---|---|---|
BOOLEAN |
– | BOOLEAN |
INT32 | Keine, INTEGER (UINT_8 , UINT_16 ,
UINT_32 , INT_8 , INT_16 ,
INT_32 )
|
INTEGER |
INT32 | DECIMAL | NUMERIC, BIGNUMERIC oder STRING |
INT32 |
DATE |
DATE |
INT64 |
Keine, INTEGER (UINT_64 , INT_64 )
|
INTEGER |
INT64 | DECIMAL | NUMERIC, BIGNUMERIC oder STRING |
INT64 |
TIMESTAMP , precision=MILLIS
(TIMESTAMP_MILLIS )
|
TIMESTAMP |
INT64 |
TIMESTAMP , precision=MICROS
(TIMESTAMP_MICROS )
|
TIMESTAMP |
INT96 |
– | TIMESTAMP |
FLOAT |
– | FLOAT |
DOUBLE |
– | FLOAT |
BYTE_ARRAY |
– | BYTES |
BYTE_ARRAY |
STRING (UTF8 ) |
STRING |
FIXED_LEN_BYTE_ARRAY | DECIMAL | NUMERIC, BIGNUMERIC oder STRING |
FIXED_LEN_BYTE_ARRAY |
– | BYTES |
Verschachtelte Gruppen werden in STRUCT
-Typen konvertiert.
Andere Kombinationen von Parquet-Typen und konvertierten Typen werden nicht unterstützt.
Nicht signierte logische Typen
Die Parquet-Typen UINT_8
, UINT_16
, UINT_32
und UINT_64
sind nicht signiert.
BigQuery behandelt Werte mit diesen Typen beim Laden in eine von BigQuery signierte Spalte INTEGER
als unsigniert. Im Fall von UINT_64
wird ein Fehler zurückgegeben, wenn der nicht signierte Wert den maximalen INTEGER
-Wert von 9.223.372.036.854.775.807 überschreitet.
Logischer Typ "decimal"
Die logischen Typen Decimal
können in die Typen NUMERIC
, BIGNUMERIC
oder STRING
umgewandelt werden. Der umgewandelte Typ hängt von den Genauigkeits- und Skalierungsparametern des logischen Typs decimal
und den angegebenen Dezimalzieltypen ab. Geben Sie den Dezimalzieltyp so an:
- Verwenden Sie für einen Ladejob mit der
jobs.insert
API das FeldJobConfigurationLoad.decimalTargetTypes
. - Verwenden Sie für einen Ladejob mit dem Befehl
bq load
imbq
-Befehlszeilentool das Flag--decimal_target_types
. - Für das Abfragen einer Tabelle mit externen Quellen verwenden Sie das Feld
ExternalDataConfiguration.decimalTargetTypes
. - Für eine nichtflüchtige externe Tabelle, die mit DDL erstellt wurde: Verwenden Sie die Option
decimal_target_types
.
Logischer Enum-Typ
Logische Enum
-Typen können in STRING
oder BYTES
umgewandelt werden. Geben Sie den Dezimalzieltyp so an:
- Verwenden Sie für einen Ladejob mit der
jobs.insert
API das FeldJobConfigurationLoad.parquetOptions
. - Verwenden Sie für einen Ladejob mit dem Befehl
bq load
imbq
-Befehlszeilentool das Flag--parquet_enum_as_string
. - Verwenden Sie für eine persistente externe Tabelle, die mit
bq mk
erstellt wurde, das Flag--parquet_enum_as_string
.
Logischen Typ auflisten
Sie können die Schemainferenz für logische Parquet-Typen LIST
aktivieren. BigQuery prüft, ob der Knoten LIST
das Standardformat oder eines der in den Abwärtskompatibilitätsregeln beschriebenen Formate aufweist:
// standard form
<optional | required> group <name> (LIST) {
repeated group list {
<optional | required> <element-type> element;
}
}
Wenn ja, wird das entsprechende Feld für den Knoten LIST
im konvertierten Schema so behandelt, als hätte der Knoten das folgende Schema:
repeated <element-type> <name>
Die Knoten „list“ und „element“ werden weggelassen.
- Verwenden Sie für einen Ladejob mit der
jobs.insert
API das FeldJobConfigurationLoad.parquetOptions
. - Verwenden Sie für einen Ladejob mit dem Befehl
bq load
imbq
-Befehlszeilentool das Flag--parquet_enable_list_inference
. - Verwenden Sie für eine persistente externe Tabelle, die mit
bq mk
erstellt wurde, das Flag--parquet_enable_list_inference
.
Konvertierungen von Spaltennamen
Ein Spaltenname darf nur Buchstaben (a–z, A–Z), Ziffern (0–9) und Unterstriche (_) enthalten und muss mit einem Buchstaben oder einem Unterstrich beginnen. Die maximale Länge des Spaltennamens beträgt 300 Zeichen. In Spaltennamen darf keines der folgenden Präfixe verwendet werden:
_TABLE_
_FILE_
_PARTITION
_ROW_TIMESTAMP
__ROOT__
_COLIDENTIFIER
Gleiche Spaltennamen sind auch bei unterschiedlicher Groß-/Kleinschreibung nicht zulässig. So wird beispielsweise der Spaltenname Column1
als identisch mit dem Spaltennamen column1
angesehen.
Es können keine Parquet-Dateien mit Spalten, in deren Namen ein Punkt (.) enthalten ist, geladen werden.
Wenn ein Parquet-Spaltenname (neben einem Punkt) andere Zeichen enthält, werden diese Zeichen durch Unterstriche ersetzt. Sie können dem Spaltennamen nachgestellte Unterstriche hinzufügen, um Konflikte zu vermeiden. Wenn eine Parquet-Datei beispielsweise die beiden Spalten Column1
und column1
enthält, können die Spalten als Column1
und column1_
geladen werden.