Verwaltete E/A unterstützt die folgenden Funktionen für BigQuery:
- Dynamische Tabellen erstellen
- Dynamische Ziele
- Für Lesevorgänge verwendet der Connector die BigQuery Storage Read API.
Für Schreibvorgänge verwendet der Connector die folgenden BigQuery-Methoden:
- Wenn die Quelle unbegrenzt ist, führt der Connector direkte Schreibvorgänge in BigQuery aus, indem er die BigQuery Storage Write API im genau einmal-Modus verwendet.
- Wenn die Quelle begrenzt ist, verwendet der Connector BigQuery-Dateiuploads.
Voraussetzungen
Erfordert das Apache Beam SDK für Java Version 2.61.0 oder höher.
Konfiguration
| Konfiguration lesen und schreiben | Datentyp | Beschreibung |
|---|---|---|
table |
String | Die BigQuery-Tabelle, aus der gelesen oder in die geschrieben werden soll. Formatieren Sie den Namen als "PROJECT.DATASET.TABLE". Beispiel:
"my_project.dataset1.table1". |
kms_key |
String | Gibt einen Cloud KMS-Schlüssel (Cloud Key Management Service) an, um die BigQuery-Tabelle beim Schreiben oder alle temporären Tabellen zu verschlüsseln, die beim Lesen erstellt werden. |
| Lesekonfiguration | Datentyp | Beschreibung |
fields |
Liste mit Strings | Eine Liste der Spalten, die aus der Tabelle gelesen werden sollen. Mit diesem Parameter können Sie Daten effizienter lesen, wenn eine Tabelle viele Spalten enthält. |
query |
String | Eine SQL-Abfrage, aus der gelesen werden soll. Falls angegeben, führt der Connector die Abfrage in BigQuery aus und liest die Abfrageergebnisse. |
row_restriction |
String | Ein Prädikat, das Daten auf der Serverseite filtert. Beispiel:
"age > 18". |
| Schreibkonfiguration | Datentyp | Beschreibung |
triggering_frequency |
integer | Gibt für unbegrenzte Quellen die Häufigkeit an, mit der Dateischreiben ausgelöst werden, in Sekunden. |
Für Lesevorgänge müssen Sie entweder table oder query angeben. Für Schreibvorgänge müssen Sie table angeben.
Weitere Informationen finden Sie unter folgenden Links: