Abfrageergebnisse in Blob Storage exportieren
In diesem Dokument wird beschrieben, wie Sie das Ergebnis einer Abfrage exportieren, die für ein BigLake-Tabelle über Ihrem Azure Blob Storage ausgeführt wird.
Informationen zum Datenfluss zwischen BigQuery und Azure Blob Storage finden Sie unter Datenfluss beim Exportieren von Daten.
Hinweise
Es müssen die folgenden Ressourcen erstellt sein:
- Eine Verbindung für den Zugriff auf Ihren Blob Storage.
Innerhalb der Verbindung müssen Sie eine Richtlinie für den Blob Storage-Containerpfad erstellen, in den Sie exportieren möchten. Dann können Sie im Rahmen dieser Richtlinie
eine Rolle mit der
Berechtigung
Microsoft.Storage/storageAccounts/blobServices/containers/write
erstellen. - Eine Blob Storage-BigLake-Tabelle.
- Wenn Sie das kapazitätsbasierte Preismodell verwenden, stellen Sie sicher, dass Sie die BigQuery Reservation API für Ihr Projekt aktiviert haben. Informationen zu den Preisen finden Sie unter BigQuery-Omni-Preise.
Abfrageergebnisse exportieren
BigQuery Omni schreibt in den angegebenen Blob Storage-Speicherort, unabhängig von dem vorhandenen Inhalt. Die Exportabfrage kann vorhandene Daten überschreiben oder das Abfrageergebnis mit vorhandenen Daten kombinieren. Wir empfehlen, das Abfrageergebnis in einen leeren Blob Storage-Container zu exportieren.
Öffnen Sie in der Google Cloud Console die Seite BigQuery.
Geben Sie im Feld Abfrageeditor eine GoogleSQL-Exportabfrage ein:
EXPORT DATA WITH CONNECTION \`CONNECTION_REGION.CONNECTION_NAME\` OPTIONS( uri="azure://AZURE_STORAGE_ACCOUNT_NAME.blob.core.windows.net/CONTAINER_NAME/FILE_PATH/*", format="FORMAT" ) AS QUERY
Ersetzen Sie Folgendes:
CONNECTION_REGION
: die Region, in der die Verbindung erstellt wurde.CONNECTION_NAME
: der Verbindungsname, den Sie mit der erforderlichen Berechtigung zum Schreiben in den Container erstellt haben.AZURE_STORAGE_ACCOUNT_NAME
: der Name des Blob Storage-Kontos, in das Sie das Abfrageergebnis schreiben möchten.CONTAINER_NAME
: der Name des Containers, in den Sie das Abfrageergebnis schreiben möchten.FILE_PATH
: der Pfad, in den Sie die exportierte Datei schreiben möchten. Er muss genau einen Platzhalter*
im Blattverzeichnis des Pfadstrings enthalten, z. B.../aa/*
,../aa/b*c
,../aa/*bc
oder../aa/bc*
. BigQuery ersetzt*
abhängig von der Anzahl der exportierten Dateien durch0000..N
. BigQuery bestimmt die Anzahl und Größe der Dateien. Wenn BigQuery zwei Dateien exportiert, wird*
im Dateinamen der ersten Datei durch000000000000
und*
im Dateinamen der zweiten Datei durch000000000001
ersetzt.FORMAT
: Unterstützte Formate sindJSON
,AVRO
,CSV
undPARQUET
.QUERY
ist die Abfrage zur Analyse der Daten, die in einer BigLake-Tabelle gespeichert sind.
Fehlerbehebung
Wenn ein Fehler mit quota failure
angezeigt wird, prüfen Sie, ob Sie für Ihre Abfragen reservierte Kapazität haben. Weitere Informationen zu Slot-Reservierungen finden Sie in diesem Dokument unter Vorbereitung.
Beschränkungen
Eine vollständige Liste der Beschränkungen, die für BigLake-Tabellen basierend auf Amazon S3 und Blob Storage gelten, finden Sie unter Beschränkungen.
Nächste Schritte
- Weitere Informationen zu BigQuery Omni
- Tabellendaten exportieren
- Methode zum Abfragen der in Blob Storage gespeicherten Daten kennenlernen.
- VPC Service Controls für BigQuery Omni einrichten