ORC-Daten aus Cloud Storage laden
Diese Seite bietet eine Übersicht über das Laden von ORC-Daten aus Cloud Storage in BigQuery.
ORC ist ein spaltenorientiertes Open-Source-Datenformat, das häufig in Verbindung mit Apache Hadoop genutzt wird.
Sie können aus Cloud Storage geladene ORC-Daten in eine neue Tabelle oder Partition laden bzw. an eine vorhandene Tabelle oder Partition anfügen. Sie können damit auch eine Tabelle oder Partition überschreiben. Beim Laden von Daten in BigQuery werden diese in ein Spaltenformat für Capacitor (BigQuery-Speicherformat) umgewandelt.
Wenn Sie Daten aus Cloud Storage in eine BigQuery-Tabelle laden, muss sich das Dataset, das die Tabelle enthält, am selben regionalen oder multiregionalen Standort wie der Cloud Storage-Bucket befinden.
Informationen zum Laden von ORC-Daten aus einer lokalen Datei finden Sie unter Daten aus einer lokalen Datenquelle in BigQuery laden.
Beschränkungen
Beim Laden von Daten aus einem Cloud Storage-Bucket in BigQuery gelten die folgenden Beschränkungen:
- Wenn für den Speicherort Ihres Datasets ein anderer Wert als der multiregionale Wert
US
festgelegt ist, muss sich der Cloud Storage-Bucket in derselben Region befinden oder in derselben Multiregion enthalten sein wie das Dataset. - BigQuery übernimmt bei externen Datenquellen keine Garantie für die Datenkonsistenz. Werden die zugrunde liegenden Daten während der Ausführung der Abfrage geändert, kann dies zu einem unerwarteten Verhalten führen.
- BigQuery unterstützt nicht die Cloud Storage-Objektversionierung. Wenn Sie dem Cloud Storage-URI eine Generierungsnummer hinzufügen, schlägt der Ladejob fehl.
Vorbereitung
Erteilen Sie IAM-Rollen (Identity and Access Management), über die Nutzer die erforderlichen Berechtigungen zum Ausführen der einzelnen Aufgaben in diesem Dokument erhalten, und erstellen Sie ein Dataset zum Speichern Ihrer Daten.
Erforderliche Berechtigungen
Zum Laden von Daten in BigQuery benötigen Sie IAM-Berechtigungen, um einen Ladejob auszuführen und Daten in BigQuery-Tabellen und -Partitionen zu laden. Zum Laden von Daten aus Cloud Storage sind außerdem IAM-Berechtigungen für den Zugriff auf den Bucket erforderlich, der Ihre Daten enthält.
Berechtigungen zum Laden von Daten in BigQuery
Wenn Sie Daten in eine neue BigQuery-Tabelle oder -Partition laden oder eine vorhandene Tabelle oder Partition anfügen oder überschreiben möchten, benötigen Sie die folgenden IAM-Berechtigungen:
bigquery.tables.create
bigquery.tables.updateData
bigquery.tables.update
bigquery.jobs.create
Die folgenden vordefinierten IAM-Rollen enthalten jeweils die Berechtigungen, die zum Laden von Daten in eine BigQuery-Tabelle oder -Partition erforderlich sind:
roles/bigquery.dataEditor
roles/bigquery.dataOwner
roles/bigquery.admin
(einschließlich der Berechtigungbigquery.jobs.create
)bigquery.user
(einschließlich der Berechtigungbigquery.jobs.create
)bigquery.jobUser
(einschließlich der Berechtigungbigquery.jobs.create
)
Wenn Sie die Berechtigung bigquery.datasets.create
haben, können Sie außerdem mit einem Ladejob Tabellen in den von Ihnen erstellten Datasets anlegen und aktualisieren.
Weitere Informationen zu IAM-Rollen und Berechtigungen in BigQuery finden Sie unter Vordefinierte Rollen und Berechtigungen.
Berechtigungen zum Laden von Daten aus Cloud Storage
Um die Berechtigungen zu erhalten, die Sie zum Laden von Daten aus einem Cloud Storage-Bucket benötigen, bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Storage Admin (roles/storage.admin
) für den Bucket zu erteilen.
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.
Diese vordefinierte Rolle enthält die Berechtigungen, die zum Laden von Daten aus einem Cloud Storage-Bucket erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:
Erforderliche Berechtigungen
Die folgenden Berechtigungen sind erforderlich, um Daten aus einem Cloud Storage-Bucket zu laden:
-
storage.buckets.get
-
storage.objects.get
-
storage.objects.list (required if you are using a URI wildcard)
Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.
Dataset erstellen
Erstellen Sie ein BigQuery-Dataset zum Speichern Ihrer Daten.
ORC-Schemas
Wenn Sie ORC-Dateien in BigQuery laden, wird das Tabellenschema automatisch aus den selbstbeschreibenden Quelldaten abgerufen. Wenn BigQuery das Schema aus den Quelldaten abruft, wird die alphabetisch letzte Datei verwendet.
Nehmen wir beispielsweise an, in Cloud Storage gäbe es die folgenden ORC-Dateien:
gs://mybucket/00/ a.orc z.orc gs://mybucket/01/ b.orc
Wenn Sie diesen Befehl im bq-Befehlszeilentool ausführen, werden alle Dateien (als durch Kommas getrennte Liste) geladen und das Schema wird von mybucket/01/b.orc
abgeleitet:
bq load \ --source_format=ORC \ dataset.table \ "gs://mybucket/00/*.orc","gs://mybucket/01/*.orc"
Wenn das Schema in BigQuery erkannt wird, werden bestimmte ORC-Datentypen in BigQuery-Datentypen konvertiert, damit sie mit der GoogleSQL-Syntax kompatibel sind. Alle Felder im erkannten Schema sind NULLABLE
. Weitere Informationen finden Sie unter ORC-Konvertierungen.
Wenn Sie mehrere ORC-Dateien mit unterschiedlichen Schemas laden, müssen identische Felder, also solche mit demselben Namen und demselben übergeordneten Element, die in mehreren Schemas angegeben sind, in jeder Schemadefinition demselben konvertierten BigQuery-Datentyp zugeordnet werden.
Wenn Sie ein Tabellenschema zum Erstellen externer Tabellen bereitstellen möchten, legen Sie in der BigQuery API oder im--reference_file_schema_uri
-Parameter des bq-Befehlszeilentools das referenceFileSchemaUri
-Attribut auf die URL der Referenzdatei fest.
Beispiel: --reference_file_schema_uri="gs://mybucket/schema.orc"
.
ORC-Komprimierung
BigQuery unterstützt die folgenden Komprimierungscodecs für die Inhalte von ORC-Dateien:
Zlib
Snappy
LZO
LZ4
Daten in ORC-Dateien bleiben nach dem Hochladen in BigQuery nicht komprimiert. Die Datenspeicherung wird je nach Dataset-Speicherabrechnungsmodell in logischen Byte oder physischen Byte gemeldet.
Fragen Sie die Ansicht INFORMATION_SCHEMA.TABLE_STORAGE
ab, um Informationen zur Speichernutzung zu erhalten.
ORC-Daten in eine neue Tabelle laden
Mit diesen Methoden können Sie ORC-Daten in eine neue Tabelle laden:
- Google Cloud Console verwenden
- Den Befehl
bq load
des bq-Befehlszeilentools verwenden - Durch Aufrufen der API-Methode
jobs.insert
und Konfigurieren einesload
-Jobs - Mit den Clientbibliotheken
So laden Sie ORC-Daten aus Cloud Storage in eine neue BigQuery-Tabelle:
Console
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
- Maximieren Sie im Bereich Explorer Ihr Projekt und wählen Sie dann ein Dataset aus.
- Klicken Sie im Abschnitt Dataset-Informationen auf Tabelle erstellen.
- Geben Sie im Bereich Tabelle erstellen die folgenden Details an:
- Wählen Sie im Abschnitt Quelle in der Liste Tabelle erstellen aus die Option Google Cloud Storage aus.
Führen Sie anschließend folgende Schritte aus:
- Wählen Sie eine Datei aus dem Cloud Storage-Bucket aus oder geben Sie den Cloud Storage-URI ein.
In der Google Cloud Console kann zwar nur ein URI eingefügt werden, aber Platzhalter werden unterstützt. Der Cloud Storage-Bucket muss sich am selben Standort wie das Dataset befinden, das die Tabelle enthält, die Sie erstellen, anhängen oder überschreiben möchten.
- Wählen Sie als Dateiformat die Option ORC aus.
- Wählen Sie eine Datei aus dem Cloud Storage-Bucket aus oder geben Sie den Cloud Storage-URI ein.
In der Google Cloud Console kann zwar nur ein URI eingefügt werden, aber Platzhalter werden unterstützt. Der Cloud Storage-Bucket muss sich am selben Standort wie das Dataset befinden, das die Tabelle enthält, die Sie erstellen, anhängen oder überschreiben möchten.
- Geben Sie im Bereich Ziel die folgenden Details an:
- Wählen Sie bei Dataset das Dataset aus, in dem Sie die Tabelle erstellen möchten.
- Geben Sie im Feld Tabelle den Namen der Tabelle ein, die Sie erstellen möchten.
- Achten Sie darauf, dass das Feld Tabellentyp auf Native Tabelle eingestellt ist.
- Im Abschnitt Schema ist keine wichtige Information erforderlich. Das Schema ist in ORC-Dateien selbstbeschreibend.
- Optional: Geben Sie Partitions- und Clustereinstellungen an. Weitere Informationen finden Sie unter Partitionierte Tabellen erstellen und Geclusterte Tabellen erstellen und verwenden.
- Klicken Sie auf Erweiterte Optionen und gehen Sie so vor:
- Lassen Sie unter Write preference (Schreibeinstellung) die Option Write if empty (Schreiben, wenn leer) ausgewählt. Mit dieser Option wird eine neue Tabelle erstellt und Ihre Daten werden in diese Tabelle geladen.
- Wenn Sie Werte in einer Zeile ignorieren möchten, die im Schema der Tabelle nicht vorhanden sind, wählen Sie Unbekannte Werte aus.
- Klicken Sie unter Verschlüsselung auf Vom Kunden verwalteter Schlüssel, um einen Cloud Key Management Service-Schlüssel zu verwenden. Wenn Sie die Einstellung Von Google verwalteter Schlüssel übernehmen, verschlüsselt BigQuery inaktive Daten.
- Klicken Sie auf Tabelle erstellen.
SQL
Verwenden Sie die DDL-Anweisung LOAD DATA
.
Im folgenden Beispiel wird eine ORC-Datei in die Tabelle mytable
geladen.
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Geben Sie im Abfrageeditor die folgende Anweisung ein:
LOAD DATA OVERWRITE mydataset.mytable FROM FILES ( format = 'ORC', uris = ['gs://bucket/path/file.orc']);
Klicken Sie auf
Ausführen.
Informationen zum Ausführen von Abfragen finden Sie unter Interaktive Abfrage ausführen.
bq
Verwenden Sie den Befehl bq load
, geben Sie ORC als das source_format
an und fügen Sie einen Cloud Storage-URI ein.
Sie können einen einzelnen URI, eine durch Kommas getrennte Liste von URIs oder einen URI mit Platzhalter einfügen.
Optional: Geben Sie das Flag --location
an und legen Sie als Wert Ihren Standort fest.
Andere optionale Flags sind:
--time_partitioning_type
: Aktiviert die zeitbasierte Partitionierung für eine Tabelle und legt den Partitionstyp fest. Mögliche Werte sindHOUR
,DAY
,MONTH
undYEAR
. Dieses Flag ist optional, wenn Sie eine Tabelle erstellen, die nach einerDATE
-,DATETIME
- oderTIMESTAMP
-Spalte partitioniert wird. Der Standardpartitionstyp für die zeitbasierte Partitionierung istDAY
. Sie können die Partitionierungsspezifikation für eine vorhandene Tabelle nicht ändern.--time_partitioning_expiration
: Eine Ganzzahl, die (in Sekunden) angibt, wann eine zeitbasierte Partition gelöscht werden soll. Die Ablaufzeit entspricht dem UTC-Datum der Partition plus dem ganzzahligen Wert.--time_partitioning_field
: DieDATE
- oderTIMESTAMP
-Spalte zum Erstellen einer partitionierten Tabelle. Wenn die zeitbasierte Partitionierung ohne Angabe dieses Werts aktiviert wird, erstellt BigQuery eine nach Aufnahmezeit partitionierte Tabelle.--require_partition_filter
: Wenn diese Option aktiviert ist, müssen die Nutzer eineWHERE
-Klausel zur Angabe der abzufragenden Partitionen einfügen. Der Partitionsfilter, den Sie dadurch obligatorisch machen, kann die Kosten senken und die Leistung verbessern. Weitere Informationen finden Sie unter Partitionierte Tabellen abfragen.--clustering_fields
: Eine durch Kommas getrennte Liste mit bis zu vier Spaltennamen zum Erstellen einer geclusterten Tabelle.--destination_kms_key
: Der Cloud KMS-Schlüssel für die Verschlüsselung der Tabellendaten.Weitere Informationen zu partitionierten Tabellen finden Sie unter:
Weitere Informationen zu geclusterten Tabellen finden Sie unter:
Weitere Informationen zur Tabellenverschlüsselung finden Sie unter:
Geben Sie den folgenden Befehl ein, um OCR-Daten in BigQuery zu laden:
bq --location=location load \ --source_format=format \ dataset.table \ path_to_source
Dabei gilt:
- location ist Ihr Standort. Das Flag
--location
ist optional. Wenn Sie BigQuery beispielsweise in der Region Tokio verwenden, können Sie für das Flag den Wertasia-northeast1
festlegen. Mit der Datei .bigqueryrc können Sie einen Standardwert für den Standort festlegen. - format ist
ORC
. - dataset ist ein vorhandenes Dataset.
- table ist der Name der Tabelle, in die Sie Daten laden.
- path_to_source ist ein vollständig qualifizierter Cloud Storage-URI oder eine durch Kommas getrennte Liste von URIs. Platzhalter werden ebenfalls unterstützt.
Beispiele:
Mit dem folgenden Befehl werden Daten aus gs://mybucket/mydata.orc
in eine Tabelle mit dem Namen mytable
in mydataset
geladen.
bq load \
--source_format=ORC \
mydataset.mytable \
gs://mybucket/mydata.orc
Mit dem folgenden Befehl werden Daten aus gs://mybucket/mydata.orc
in eine neue nach Aufnahmezeit partitionierte Tabelle mit dem Namen mytable
in mydataset
geladen:
bq load \
--source_format=ORC \
--time_partitioning_type=DAY \
mydataset.mytable \
gs://mybucket/mydata.orc
Mit dem folgenden Befehl werden Daten aus gs://mybucket/mydata.orc
in eine partitionierte Tabelle mit dem Namen mytable
in mydataset
geladen. Die Tabelle ist nach der Spalte mytimestamp
partitioniert.
bq load \
--source_format=ORC \
--time_partitioning_field mytimestamp \
mydataset.mytable \
gs://mybucket/mydata.orc
Mit dem folgenden Befehl werden Daten aus mehreren Dateien in gs://mybucket/
in eine Tabelle namens mytable
in mydataset
geladen. Für den Cloud Storage-URI wird ein Platzhalter verwendet.
bq load \
--source_format=ORC \
mydataset.mytable \
gs://mybucket/mydata*.orc
Mit dem folgenden Befehl werden Daten aus mehreren Dateien in gs://mybucket/
in eine Tabelle namens mytable
in mydataset
geladen. Der Befehl enthält eine durch Kommas getrennte Liste von Cloud Storage-URIs mit Platzhaltern.
bq load --autodetect \
--source_format=ORC \
mydataset.mytable \
"gs://mybucket/00/*.orc","gs://mybucket/01/*.orc"
API
Erstellen Sie einen
load
-Job, der auf die Quelldaten in Cloud Storage verweist.Optional: Geben Sie Ihren Standort im Attribut
location
im AbschnittjobReference
der Jobressource an.Das Attribut
source URIs
muss vollständig qualifiziert sein und das Formatgs://bucket/object
haben. Jeder URI kann ein Platzhalterzeichen (*) enthalten.Geben Sie das ORC-Datenformat an. Legen Sie dazu das Attribut
sourceFormat
aufORC
fest.Rufen Sie zum Prüfen des Jobstatus
jobs.get(job_id*)
auf, wobei job_id die ID des Jobs ist, der von der ursprünglichen Anfrage zurückgegeben wurde.- Wenn
status.state = DONE
zurückgegeben wird, wurde der Job erfolgreich abgeschlossen. - Wenn das Attribut
status.errorResult
vorhanden ist, schlug die Anfrage fehl und dieses Objekt enthält eine Fehlerbeschreibung. Wenn eine Anfrage fehlschlägt, wird keine Tabelle erstellt und es werden keine Daten geladen. - Wenn das Attribut
status.errorResult
nicht vorhanden ist, wurde der Job erfolgreich abgeschlossen. Es können aber einige nicht schwerwiegende Fehler aufgetreten sein, z. B. Probleme beim Importieren einiger Zeilen. Nicht schwerwiegende Fehler werden im Attributstatus.errors
des Objekts des zurückgegebenen Jobs aufgeführt.
- Wenn
API-Hinweise:
Ladejobs sind atomar und konsistent. Wenn ein Ladejob fehlschlägt, sind keine der zu ladenden Daten verfügbar. Wenn ein Ladejob erfolgreich ist, sind alle Daten verfügbar.
Erstellen Sie als Best Practice eine nur einmal vorkommende ID und übergeben Sie diese als
jobReference.jobId
, wennjobs.insert
zum Erstellen eines Ladejobs aufgerufen wird. Diese Vorgehensweise ist weniger anfällig für Netzwerkfehler, da der Client anhand der bekannten Job-ID einen Abruf oder einen neuen Versuch ausführen kann.Das Aufrufen von
jobs.insert
für eine bestimmte Job-ID ist idempotent. Sie können den Aufruf für eine bestimmte Job-ID beliebig oft wiederholen und höchstens einer dieser Vorgänge wird erfolgreich sein.
C#
Bevor Sie dieses Beispiel ausprobieren, folgen Sie der C#-Einrichtungsanleitung in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery C# API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten.
Go
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Go in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Go API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten.
Java
Node.js
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Node.js in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Node.js API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten.
PHP
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von PHP in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery PHP API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten.
Python
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Python in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Python API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten.
Ruby
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Ruby in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Ruby API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten.
ORC-Daten an eine Tabelle anfügen oder Tabelle mit ORC-Daten überschreiben
Zusätzliche Daten können entweder aus Quelldateien oder durch das Anfügen von Abfrageergebnissen in eine Tabelle geladen werden.
In der Google Cloud Console können Sie mit der Option Schreibeinstellung festlegen, welche Aktion beim Laden von Daten aus einer Quelldatei oder aus einem Abfrageergebnis ausgeführt werden soll.
Sie haben folgende Möglichkeiten, wenn Sie zusätzliche Daten in eine Tabelle laden:
Console-Option | bq-Tool-Flag | BigQuery API-Attribut | Beschreibung |
---|---|---|---|
Schreiben, wenn leer | Nicht unterstützt | WRITE_EMPTY |
Daten werden nur geschrieben, wenn die Tabelle leer ist. |
An Tabelle anfügen | --noreplace oder --replace=false . Wenn --[no]replace nicht angegeben ist, werden Daten standardmäßig angefügt. |
WRITE_APPEND |
(Standard) Daten werden an das Ende der Tabelle angefügt. |
Tabelle überschreiben | --replace oder --replace=true |
WRITE_TRUNCATE |
Alle vorhandenen Daten in einer Tabelle werden gelöscht, bevor die neuen Daten geschrieben werden. Mit dieser Aktion werden auch das Tabellenschema und die Sicherheit auf Zeilenebene gelöscht und alle Cloud KMS-Schlüssel entfernt. |
Wenn Sie Daten in eine vorhandene Tabelle laden, kann der Ladejob die Daten anfügen oder die Tabelle damit überschreiben.
Mit den folgenden Methoden können Sie Daten an Tabellen anfügen oder in diesen überschreiben:
- Google Cloud Console verwenden
- Den Befehl
bq load
des bq-Befehlszeilentools verwenden - Durch Aufrufen der API-Methode
jobs.insert
und Konfigurieren einesload
-Jobs - Mit den Clientbibliotheken
So fügen Sie ORC-Daten an eine Tabelle an oder überschreiben die Tabelle damit:
Console
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
- Maximieren Sie im Bereich Explorer Ihr Projekt und wählen Sie dann ein Dataset aus.
- Klicken Sie im Abschnitt Dataset-Informationen auf Tabelle erstellen.
- Geben Sie im Bereich Tabelle erstellen die folgenden Details an:
- Wählen Sie im Abschnitt Quelle in der Liste Tabelle erstellen aus die Option Google Cloud Storage aus.
Führen Sie anschließend folgende Schritte aus:
- Wählen Sie eine Datei aus dem Cloud Storage-Bucket aus oder geben Sie den Cloud Storage-URI ein.
In der Google Cloud Console kann zwar nur ein URI eingefügt werden, aber Platzhalter werden unterstützt. Der Cloud Storage-Bucket muss sich am selben Standort wie das Dataset befinden, das die Tabelle enthält, die Sie erstellen, anhängen oder überschreiben möchten.
- Wählen Sie als Dateiformat die Option ORC aus.
- Wählen Sie eine Datei aus dem Cloud Storage-Bucket aus oder geben Sie den Cloud Storage-URI ein.
In der Google Cloud Console kann zwar nur ein URI eingefügt werden, aber Platzhalter werden unterstützt. Der Cloud Storage-Bucket muss sich am selben Standort wie das Dataset befinden, das die Tabelle enthält, die Sie erstellen, anhängen oder überschreiben möchten.
- Geben Sie im Bereich Ziel die folgenden Details an:
- Wählen Sie bei Dataset das Dataset aus, in dem Sie die Tabelle erstellen möchten.
- Geben Sie im Feld Tabelle den Namen der Tabelle ein, die Sie erstellen möchten.
- Achten Sie darauf, dass das Feld Tabellentyp auf Native Tabelle eingestellt ist.
- Im Abschnitt Schema ist keine wichtige Information erforderlich. Das Schema ist in ORC-Dateien selbstbeschreibend.
- Optional: Geben Sie Partitions- und Clustereinstellungen an. Weitere Informationen finden Sie unter Partitionierte Tabellen erstellen und Geclusterte Tabellen erstellen und verwenden. Sie können eine Tabelle nicht durch Anfügen oder Überschreiben von Daten in eine partitionierte oder geclusterte Tabelle konvertieren. Die Google Cloud Console unterstützt nicht das Anfügen oder Überschreiben von Daten in partitionierten oder geclusterten Tabellen in einem Ladejob.
- Klicken Sie auf Erweiterte Optionen und gehen Sie so vor:
- Wählen Sie unter Schreibeinstellung die Option An Tabelle anfügen oder Tabelle überschreiben aus.
- Wenn Sie Werte in einer Zeile ignorieren möchten, die im Schema der Tabelle nicht vorhanden sind, wählen Sie Unbekannte Werte aus.
- Klicken Sie unter Verschlüsselung auf Vom Kunden verwalteter Schlüssel, um einen Cloud Key Management Service-Schlüssel zu verwenden. Wenn Sie die Einstellung Von Google verwalteter Schlüssel übernehmen, verschlüsselt BigQuery inaktive Daten.
- Klicken Sie auf Tabelle erstellen.
SQL
Verwenden Sie die DDL-Anweisung LOAD DATA
.
Im folgenden Beispiel wird eine OCR-Datei an die mytable
-Tabelle angefügt:
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Geben Sie im Abfrageeditor die folgende Anweisung ein:
LOAD DATA INTO mydataset.mytable FROM FILES ( format = 'ORC', uris = ['gs://bucket/path/file.orc']);
Klicken Sie auf
Ausführen.
Informationen zum Ausführen von Abfragen finden Sie unter Interaktive Abfrage ausführen.
bq
Geben Sie den Befehl bq load
mit dem Flag --replace
ein, um die Tabelle zu überschreiben. Verwenden Sie das Flag --noreplace
, um Daten an die Tabelle anzufügen. Wenn kein Flag angegeben ist, werden Daten standardmäßig angefügt. Geben Sie das Flag --source_format
an und setzen Sie es auf ORC
. Da ORC-Schemas automatisch aus den selbstbeschreibenden Quelldaten abgerufen werden, müssen Sie keine Schemadefinition angeben.
Optional: Geben Sie das Flag --location
an und legen Sie als Wert Ihren Standort fest.
Andere optionale Flags sind:
--destination_kms_key
: Der Cloud KMS-Schlüssel für die Verschlüsselung der Tabellendaten.
bq --location=location load \ --[no]replace \ --source_format=format \ dataset.table \ path_to_source
Dabei gilt:
- location ist Ihr Standort.
Das Flag
--location
ist optional. Mit der Datei ".bigqueryrc" können Sie für den Standort einen Standardwert festlegen. - format ist
ORC
. - dataset ist ein vorhandenes Dataset.
- table ist der Name der Tabelle, in die Sie Daten laden.
- path_to_source ist ein vollständig qualifizierter Cloud Storage-URI oder eine durch Kommas getrennte Liste von URIs. Platzhalter werden ebenfalls unterstützt.
Beispiele:
Der folgende Befehl lädt Daten aus gs://mybucket/mydata.orc
und überschreibt eine Tabelle namens mytable
in mydataset
.
bq load \
--replace \
--source_format=ORC \
mydataset.mytable \
gs://mybucket/mydata.orc
Mit dem folgenden Befehl werden Daten aus gs://mybucket/mydata.orc
geladen und an eine Tabelle namens mytable
in mydataset
angefügt.
bq load \
--noreplace \
--source_format=ORC \
mydataset.mytable \
gs://mybucket/mydata.orc
Informationen zum Anfügen und Überschreiben von partitionierten Tabellen über das bq-Befehlszeilentool finden Sie unter Daten in partitionierten Tabellen anfügen und überschreiben.
API
Erstellen Sie einen
load
-Job, der auf die Quelldaten in Cloud Storage verweist.Optional: Geben Sie Ihren Standort im Attribut
location
im AbschnittjobReference
der Jobressource an.Das Attribut
source URIs
muss vollständig qualifiziert sein und das Formatgs://bucket/object
haben. Sie können mehrere URIs als durch Kommas getrennte Liste einfügen. Platzhalter werden ebenfalls unterstützt.Geben Sie das Datenformat an. Legen Sie dazu das Attribut
configuration.load.sourceFormat
aufORC
fest.Geben Sie die Schreibeinstellung an. Legen Sie dazu das Attribut
configuration.load.writeDisposition
aufWRITE_TRUNCATE
oderWRITE_APPEND
fest.
C#
Bevor Sie dieses Beispiel ausprobieren, folgen Sie der C#-Einrichtungsanleitung in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery C# API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten.
Go
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Go in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Go API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten.
Java
Node.js
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Node.js in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Node.js API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten.
PHP
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von PHP in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery PHP API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten.
Python
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Python in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Python API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten.
Wenn Sie die Zeilen in einer vorhandenen Tabelle ersetzen möchten, legen Sie das Attribut LoadJobConfig.write_disposition auf WRITE_TRUNCATE fest.Ruby
Bevor Sie dieses Beispiel anwenden, folgen Sie den Schritten zur Einrichtung von Ruby in der BigQuery-Kurzanleitung zur Verwendung von Clientbibliotheken. Weitere Angaben finden Sie in der Referenzdokumentation zur BigQuery Ruby API.
Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten.
Hive-partitionierte ORC-Daten laden
BigQuery unterstützt das Laden von mit Hive partitionierten ORC-Daten, die in Cloud Storage gespeichert sind, und füllt die Hive-Partitionierungsspalten so aus, als wären Sie Spalten in der verwalteten BigQuery-Zieltabelle. Weitere Informationen finden Sie unter Extern partitionierte Daten aus Cloud Storage laden.
ORC-Konvertierungen
BigQuery konvertiert ORC-Datentypen in die folgenden BigQuery-Datentypen:
Einfache Typen
BigQuery-Datentyp | Hinweise | |
---|---|---|
boolean | BOOLEAN | |
byte | INTEGER | |
short | INTEGER | |
int | INTEGER | |
long | INTEGER | |
float | FLOAT | |
double | FLOAT | |
string | STRING | nur UTF-8 |
varchar | STRING | nur UTF-8 |
char | STRING | nur UTF-8 |
binary | BYTES | |
date | DATE | Bei dem Versuch, einen Wert in die ORC-Daten zu konvertieren, der kleiner als -719162 Tage oder größer als 2932896 Tage ist, wird der Fehler invalid date
value zurückgegeben. Wenn dies Sie betrifft, wenden Sie sich an den Support, um nicht unterstützte Werte entsprechend in den BigQuery-Mindestwert von 0001-01-01 oder den Höchstwert 9999-12-31 zu konvertieren. |
timestamp | TIMESTAMP |
ORC unterstützt Genauigkeit im Nanosekundenbereich, aber BigQuery konvertiert Werte unter einer Mikrosekunde in Mikrosekunden, wenn die Daten gelesen werden. Bei dem Versuch, einen Wert in die ORC-Daten zu konvertieren, der kleiner als -719162 Tage oder größer als 2932896 Tage ist, wird der Fehler |
decimal | NUMERIC, BIGNUMERIC oder STRING | Siehe Dezimaltyp. |
Dezimaltyp
Die logischen Typen Decimal
können in die Typen NUMERIC
, BIGNUMERIC
oder STRING
umgewandelt werden. Der umgewandelte Typ hängt von den Genauigkeits- und Skalierungsparametern des logischen Typs decimal
und den angegebenen Dezimalzieltypen ab. Geben Sie den Dezimalzieltyp so an:
- Verwenden Sie für einen Ladejob mit der
jobs.insert
API das FeldJobConfigurationLoad.decimalTargetTypes
. - Verwenden Sie für einen Ladejob mit dem Befehl
bq load
im bq-Befehlszeilentool das Flag--decimal_target_types
. - Für das Abfragen einer Tabelle mit externen Quellen verwenden Sie das Feld
ExternalDataConfiguration.decimalTargetTypes
. - Für eine nichtflüchtige externe Tabelle, die mit DDL erstellt wurde: Verwenden Sie die Option
decimal_target_types
.
Komplexe Typen
BigQuery-Datentyp | Hinweise | |
---|---|---|
struct | RECORD |
|
map<K,V> | RECORD | Ein ORC-Feld vom Typ "map <K, V>" wird in ein wiederholtes Feld vom Typ "RECORD" konvertiert, das zwei Felder enthält: einen Schlüssel des gleichen Datentyps wie "K" und einen Wert des gleichen Datentyps wie "V". Beide Felder sind NULLABLE. |
list | Wiederkehrende Felder | Verschachtelte Listen und Listen von Zuordnungen werden nicht unterstützt. |
union | RECORD |
|
Spaltennamen
Ein Spaltenname kann Buchstaben (az, AZ), Ziffern (0–9) und Unterstriche (_) enthalten und muss mit einem Buchstaben oder einem Unterstrich beginnen. Wenn Sie flexible Spaltennamen verwenden, unterstützt BigQuery das Starten eines Spaltennamens mit einer Zahl. Seien Sie vorsichtig, wenn Sie Spalten mit einer Zahl starten, da Sie flexible Spaltennamen mit der BigQuery Storage Read API oder der BigQuery Storage Write API verwenden müssen. Weitere Informationen zur Unterstützung flexibler Spaltennamen finden Sie unter Flexible Spaltennamen.
Spaltennamen dürfen nicht länger als 300 Zeichen sein. Spaltennamen dürfen keines der folgenden Präfixe verwenden:
_TABLE_
_FILE_
_PARTITION
_ROW_TIMESTAMP
__ROOT__
_COLIDENTIFIER
Gleiche Spaltennamen sind auch bei unterschiedlicher Groß-/Kleinschreibung nicht zulässig. So wird beispielsweise der Spaltenname Column1
als identisch mit dem Spaltennamen column1
angesehen. Weitere Informationen zu Benennungsregeln für Spalten finden Sie in der GoogleSQL-Referenz unter Spaltennamen.
Wenn ein Tabellenname (z. B. test
) mit einem der Spaltennamen identisch ist (z. B. test
) interpretiert der Ausdruck SELECT
dietest
-Spalte als STRUCT
, die alle anderen Tabellenspalten enthält. Verwenden Sie eine der folgenden Methoden, um diesen Konflikt zu vermeiden:
Vermeiden Sie die Verwendung desselben Namens für eine Tabelle und ihre Spalten.
Weisen Sie der Tabelle einen anderen Alias zu. Die folgende Abfrage weist beispielsweise der Tabelle
project1.dataset.test
einen Tabellenaliast
zu:SELECT test FROM project1.dataset.test AS t;
Geben Sie den Tabellennamen an, wenn Sie auf eine Spalte verweisen. Beispiel:
SELECT test.test FROM project1.dataset.test;
Flexible Spaltennamen
Sie haben jetzt mehr Flexibilität bei der Benennung von Spalten, darunter erweiterter Zugriff auf Zeichen in anderen Sprachen als Englisch und zusätzliche Symbole.
In flexiblen Spaltennamen werden folgende Zeichen unterstützt:
- Ein beliebiger Buchstabe in einer beliebigen Sprache, wie durch den regulären Unicode-Ausdruck
\p{L}
dargestellt. - Ein beliebiges numerisches Zeichen in einer beliebigen Sprache, wie durch den regulären Unicode-Ausdruck
\p{N}
dargestellt. - Ein beliebiges Satzzeichen eines Connectors, einschließlich Unterstriche, wie durch den regulären Unicode-Ausdruck
\p{Pc}
dargestellt. - Ein Bindestrich oder Gedankenstrich, wie durch den regulären Unicode-Ausdruck
\p{Pd}
dargestellt. - Ein beliebiges Zeichen, das ein anderes Zeichen begleiten soll, wie durch den regulären Unicode-Ausdruck
\p{M}
dargestellt. Beispiele sind Akzente, Umlaute und einschließende Rahmen. - Die folgenden Sonderzeichen:
- Ein Et-Zeichen (
&
), wie durch den regulären Unicode-Ausdruck\u0026
dargestellt. - Ein Prozentzeichen (
%
), wie durch den regulären Unicode-Ausdruck\u0025
dargestellt. - Ein Gleichheitszeichen (
=
), wie durch den regulären Unicode-Ausdruck\u003D
dargestellt. - Ein Pluszeichen (
+
), wie durch den regulären Unicode-Ausdruck\u002B
dargestellt. - Ein Doppelpunkt (
:
), wie durch den regulären Unicode-Ausdruck\u003A
dargestellt. - Ein Apostroph (
'
), wie durch den regulären Unicode-Ausdruck\u0027
dargestellt. - Ein Kleiner-als-Zeichen (
<
), wie durch den regulären Unicode-Ausdruck\u003C
dargestellt. - Ein Größer-als-Zeichen (
>
) wie durch den regulären Unicode-Ausdruck\u003E
dargestellt. - Ein Zahlenzeichen (
#
), wie durch den regulären Unicode-Ausdruck\u0023
dargestellt. - Eine vertikale Linie (
|
), wie durch den regulären Unicode-Ausdruck\u007c
dargestellt. - Leerraum.
- Ein Et-Zeichen (
Folgende Sonderzeichen werden bei flexiblen Spaltennamen nicht unterstützt:
- Ein Ausrufezeichen (
!
), wie durch den regulären Unicode-Ausdruck\u0021
dargestellt. - Ein Anführungszeichen (
"
), wie durch den regulären Unicode-Ausdruck\u0022
dargestellt. - Ein Dollar-Zeichen (
$
), wie durch den regulären Unicode-Ausdruck\u0024
dargestellt. - Eine linke Klammer (
(
), wie durch den regulären Unicode-Ausdruck\u0028
dargestellt. - Eine rechte Klammer (
)
), wie durch den regulären Unicode-Ausdruck\u0029
dargestellt. - Ein Sternchen (
*
) wie durch den regulären Unicode-Ausdruck\u002A
dargestellt. - Ein Komma (
,
), wie durch den regulären Unicode-Ausdruck\u002C
dargestellt. - Ein Punkt (
.
), wie durch den regulären Unicode-Ausdruck\u002E
dargestellt. - Ein Schrägstrich (
/
), wie durch den regulären Unicode-Ausdruck\u002F
dargestellt. - Ein Semikolon (
;
), wie durch den regulären Unicode-Ausdruck\u003B
dargestellt. - Ein Fragezeichen (
?
), wie durch den regulären Unicode-Ausdruck\u003F
dargestellt. - Ein Klammeraffe (
@
), wie durch den regulären Unicode-Ausdruck\u0040
dargestellt. - Eine linke eckige Klammer {
[
), wie durch den regulären Unicode-Ausdruck\u005B
dargestellt. - Ein umgekehrter Schrägstrich (
\
), wie durch den regulären Unicode-Ausdruck\u005C
dargestellt. - Eine rechte eckige Klammer (
]
), wie durch den regulären Unicode-Ausdruck\u005D
dargestellt. - Ein Zirkumflex-Akzent (
^
), wie durch den regulären Unicode-Ausdruck\u005E
dargestellt. - Ein Gravis-Akzent (
`
), wie durch den regulären Unicode-Ausdruck\u0060
dargestellt. - Eine linke geschweifte Klammer {
{
), wie durch den regulären Unicode-Ausdruck\u007B
dargestellt. - Eine rechte geschweifte Klammer (
}
), wie durch den regulären Unicode-Ausdruck\u007D
dargestellt. - Eine Tilde (
~
), wie durch den regulären Unicode-Ausdruck\u007E
dargestellt.
Weitere Richtlinien finden Sie unter Spaltennamen.
Die erweiterten Spaltenzeichen werden sowohl von der BigQuery Storage Read API als auch von der BigQuery Storage Write API unterstützt. Um die erweiterte Liste von Unicode-Zeichen mit der BigQuery Storage Read API zu verwenden, müssen Sie ein Flag festlegen. Mit dem displayName
-Attribut können Sie den Spaltennamen abrufen. Das folgende Beispiel zeigt, wie Sie mit dem Python-Client ein Flag festlegen:
from google.cloud.bigquery_storage import types
requested_session = types.ReadSession()
#set avro serialization options for flexible column.
options = types.AvroSerializationOptions()
options.enable_display_name_attribute = True
requested_session.read_options.avro_serialization_options = options
Um die erweiterte Liste von Unicode-Zeichen mit der BigQuery Storage Write API zu verwenden, müssen Sie das Schema mit der column_name
-Notation angeben, es sei denn, Sie verwenden das JsonStreamWriter
-Autor-Objekt. Das folgende Beispiel zeigt, wie das Schema bereitgestellt wird:
syntax = "proto2";
package mypackage;
// Source protos located in github.com/googleapis/googleapis
import "google/cloud/bigquery/storage/v1/annotations.proto";
message FlexibleSchema {
optional string item_name_column = 1
[(.google.cloud.bigquery.storage.v1.column_name) = "name-列"];
optional string item_description_column = 2
[(.google.cloud.bigquery.storage.v1.column_name) = "description-列"];
}
In diesem Beispiel sind item_name_column
und item_description_column
Platzhalternamen, die der Namenskonvention des Protokollpuffers entsprechen müssen. Beachten Sie, dass column_name
-Annotationen immer Vorrang vor Platzhalternamen haben.
- Das Laden von Parquet-Daten unterstützt flexible Spaltennamen standardmäßig nicht. Füllen Sie das Anmeldeformular aus, um sich für diese Vorschau anzumelden. Beachten Sie, dass nach der Registrierung für die Vorschau alle ungültigen Spaltennamen (z. B. die Sortierung der Spaltennamen) einen Fehler zurückgeben. Bei nicht registrierten Projekten ersetzt die Ladeanfrage die ungültigen Zeichen durch Unterstriche, anstatt einen Fehler zurückzugeben.
- Beim Laden von CSV-Daten mit der automatischen Schemaerkennung werden flexible Spaltennamen standardmäßig nicht unterstützt. Füllen Sie das Anmeldeformular aus, um sich für diese Vorschau anzumelden. Beachten Sie, dass nach der Registrierung für die Vorschau alle ungültigen Spaltennamen (z. B. die Sortierung der Spaltennamen) einen Fehler zurückgeben. Bei nicht registrierten Projekten ersetzt die Ladeanfrage die ungültigen Zeichen durch Unterstriche, anstatt einen Fehler zurückzugeben.
Beschränkungen
Flexible Spaltennamen werden bei externen Tabellen nicht unterstützt.
NULL
values
Bei Ladejobs ignoriert BigQuery NULL
-Elemente für den zusammengesetzten Typ list
, da sie andernfalls in NULL
ARRAY
-Elemente übersetzt werden würden, die in einer Tabelle nicht beibehalten werden können. Weitere Informationen finden Sie unter Datentypen.
Weitere Informationen zu ORC-Datentypen finden Sie unter Apache ORC™ Specification v1.