Apache Iceberg から Dataflow に読み込むには、マネージド I/O コネクタを使用します。
依存関係
プロジェクトに次の依存関係を追加します。
Java
<dependency>
<groupId>org.apache.beam</groupId>
<artifactId>beam-sdks-java-managed</artifactId>
<version>${beam.version}</version>
</dependency>
<dependency>
<groupId>org.apache.beam</groupId>
<artifactId>beam-sdks-java-io-iceberg</artifactId>
<version>2.56.0</version>
</dependency>
構成
Apache Iceberg コネクタは次の構成パラメータを使用します。
table
(文字列)。Apache Iceberg の名前です。例:"db.table1"
catalog_config
(マッピング)。カタログの構成です。次のフィールドが含まれています。catalog_name
(文字列)。カタログ名です。例:"local"
catalog_type
(文字列)。カタログのタイプです。サポートされる値:"hadoop"
、"hive"
、"rest"
warehouse_location
(文字列)。ウェアハウスのロケーションです。例:file://path/to/warehouse
例
次の例では、Apache Iceberg テーブルからデータを読み取り、テキストファイルに書き込みます。
Java
Dataflow への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証を設定するをご覧ください。