I/O gestita supporta le seguenti funzionalità per BigQuery:
- Creazione di tabelle dinamiche
- Destinazioni dinamiche
- Per le letture, il connettore utilizza l'API BigQuery Storage Read.
Per le scritture, il connettore utilizza i seguenti metodi BigQuery:
- Se l'origine è illimitata, il connettore esegue scritture dirette in BigQuery utilizzando l'API BigQuery Storage Write in modalità esattamente una volta.
- Se l'origine è limitata, il connettore utilizza caricamenti di file BigQuery.
Requisiti
Richiede Apache Beam SDK per Java versione 2.61.0 o successive.
Configurazione
| Lettura e scrittura della configurazione | Tipo di dati | Descrizione |
|---|---|---|
table |
string | La tabella BigQuery da leggere o scrivere. Formatta come
"PROJECT.DATASET.TABLE". Esempio:
"my_project.dataset1.table1". |
kms_key |
string | Specifica una chiave Cloud Key Management Service (Cloud KMS) per criptare la tabella BigQuery durante la scrittura o per criptare eventuali tabelle temporanee create durante le letture. |
| Leggi configurazione | Tipo di dati | Descrizione |
fields |
Elenco di stringhe | Un elenco di colonne da leggere dalla tabella. Questo parametro consente letture efficienti quando una tabella contiene molte colonne. |
query |
string | Una query SQL da cui leggere. Se specificato, il connettore esegue la query su BigQuery e legge i risultati della query. |
row_restriction |
string | Un predicato che filtra i dati lato server. Esempio:
"age > 18". |
| Scrittura configurazione | Tipo di dati | Descrizione |
triggering_frequency |
integer | Per le origini illimitate, specifica la frequenza con cui vengono attivate le scritture dei file in secondi. |
Per le letture, devi specificare table o query. Per le scritture, devi
specificare table.
Per ulteriori informazioni, consulta i seguenti argomenti: