Questa pagina è stata tradotta dall'API Cloud Translation.

I/O gestiti da Dataflow per Apache Iceberg

I/O gestita supporta le seguenti funzionalità per Apache Iceberg:

Cataloghi	Hadoop Hive Cataloghi basati su REST Metastore BigQuery (dopo il rilascio di Beam 2.63.0)
Funzionalità di lettura	Lettura batch
Funzionalità di scrittura	Scrittura batch Scrittura in streaming Destinazioni dinamiche Creazione di tabelle dinamiche

Per le tabelle BigQuery per Apache Iceberg, utilizza il connettore BigQueryIO con l'API BigQuery Storage. La tabella deve già esistere; la creazione di tabelle dinamiche non è supportata.

Requisiti

Richiede Apache Beam SDK per Java versione 2.58.0 o successive.

L'I/O gestita utilizza i seguenti parametri di configurazione per Apache Iceberg:

Lettura e scrittura della configurazione	Tipo di dati	Descrizione
`table`	string	L'identificatore della tabella Apache Iceberg. Esempio: `"db.table1"`.
`catalog_name`	string	Il nome del catalogo. Esempio: `"local"`.
`catalog_properties`	mappa	Una mappa delle proprietà di configurazione per il catalogo Apache Iceberg. Le proprietà richieste dipendono dal catalogo. Per ulteriori informazioni, consulta `CatalogUtil` nella documentazione di Apache Iceberg.
`config_properties`	mappa	Un insieme facoltativo di proprietà di configurazione Hadoop. Per ulteriori informazioni, consulta `CatalogUtil` nella documentazione di Apache Iceberg.
Scrittura configurazione	Tipo di dati	Descrizione
`triggering_frequency_seconds`	integer	Per le pipeline di scrittura in streaming, la frequenza con cui il sink tenta di produrre snapshot, in secondi.

Per ulteriori informazioni ed esempi di codice, consulta i seguenti argomenti: