マネージド I/O は、Apache Iceberg の次の機能をサポートしています。
カタログ | バッチ読み取り | バッチ書き込み | ストリーミング書き込み | 動的テーブルの作成 | ダイナミック デスティネーション |
---|---|---|---|---|---|
Hadoop | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 |
Hive | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 |
REST ベースのカタログ | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 |
BigQuery メタストア | サポート対象 | サポート対象 | サポート対象 | サポート対象 | サポート対象 |
Apache Iceberg 用の BigQuery テーブルの場合は、BigQuery Storage API で BigQueryIO
コネクタを使用します。テーブルはすでに存在している必要があります。動的テーブルの作成はサポートされていません。
要件
Apache Beam SDK for Java バージョン 2.58.0 以降が必要です。
構成
マネージド I/O は、Apache Iceberg に次の構成パラメータを使用します。
構成の読み取りと書き込み | データ型 | 説明 |
---|---|---|
table |
文字列 | Apache Iceberg テーブルの識別子。例:
"db.table1" 。 |
catalog_name |
文字列 | カタログ名です。例: "local" 。 |
catalog_properties |
マップ | Apache Iceberg カタログの構成プロパティのマップ。必要なプロパティはカタログによって異なります。詳細については、Apache Iceberg ドキュメントの CatalogUtil をご覧ください。 |
config_properties |
マップ | オプションの Hadoop の構成プロパティのセット。詳細については、Apache Iceberg ドキュメントの CatalogUtil をご覧ください。 |
構成を書き込む | データ型 | 説明 |
triggering_frequency_seconds |
integer | ストリーミング書き込みパイプラインの場合、シンクがスナップショットの生成を試みる頻度(秒単位)。 |
詳細とコードの例については、次のトピックをご覧ください。