I/O gestita supporta le seguenti funzionalità per Apache Iceberg:
Cataloghi |
|
---|---|
Funzionalità di lettura | Lettura batch |
Funzionalità di scrittura |
|
Per le tabelle BigQuery per Apache Iceberg,
utilizza il
connettore BigQueryIO
con l'API BigQuery Storage. La tabella deve già esistere; la creazione di tabelle dinamiche non è supportata.
Requisiti
Richiede Apache Beam SDK per Java versione 2.58.0 o successive.
Configurazione
L'I/O gestita utilizza i seguenti parametri di configurazione per Apache Iceberg:
Lettura e scrittura della configurazione | Tipo di dati | Descrizione |
---|---|---|
table |
string | L'identificatore della tabella Apache Iceberg. Esempio:
"db.table1" . |
catalog_name |
string | Il nome del catalogo. Esempio: "local" . |
catalog_properties |
mappa | Una mappa delle proprietà di configurazione per il catalogo Apache Iceberg. Le proprietà richieste dipendono dal catalogo. Per ulteriori informazioni, consulta
CatalogUtil nella documentazione di Apache Iceberg. |
config_properties |
mappa | Un insieme facoltativo di proprietà di configurazione Hadoop. Per ulteriori informazioni, consulta
CatalogUtil nella documentazione di Apache Iceberg. |
Scrittura configurazione | Tipo di dati | Descrizione |
triggering_frequency_seconds |
integer | Per le pipeline di scrittura in streaming, la frequenza con cui il sink tenta di produrre snapshot, in secondi. |
Per ulteriori informazioni ed esempi di codice, consulta i seguenti argomenti: