Per leggere da Apache Iceberg a Dataflow, utilizza il metodo connettore I/O gestito.
Dipendenze
Aggiungi le seguenti dipendenze al progetto:
Java
<dependency>
<groupId>org.apache.beam</groupId>
<artifactId>beam-sdks-java-managed</artifactId>
<version>${beam.version}</version>
</dependency>
<dependency>
<groupId>org.apache.beam</groupId>
<artifactId>beam-sdks-java-io-iceberg</artifactId>
<version>${beam.version}</version>
</dependency>
Configurazione
Per Apache Iceberg, l'I/O gestita utilizza i seguenti parametri di configurazione:
Nome | Tipo di dati | Descrizione |
---|---|---|
table |
string | L'identificatore della tabella Apache Iceberg. Esempio:
"db.table1" . |
catalog_name |
string | Il nome del catalogo. Esempio: "local" . |
catalog_properties |
mappa | Mappa delle proprietà di configurazione per Apache Iceberg
catalogo. Le proprietà richieste dipendono dal catalogo. Per ulteriori informazioni, consulta CatalogUtil nella documentazione di Apache Iceberg. |
config_properties |
mappa | Un insieme facoltativo di proprietà di configurazione di Hadoop. Per ulteriori informazioni, consulta CatalogUtil nella documentazione di Apache Iceberg. |
Esempio
L'esempio seguente legge da una tabella Apache Iceberg e scrive i dati in file di testo.
Java
Per eseguire l'autenticazione in Dataflow, configura le credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.