Dataflow から Apache Iceberg に書き込む
コレクションでコンテンツを整理
必要に応じて、コンテンツの保存と分類を行います。
Dataflow から Apache Iceberg に書き込むには、マネージド I/O コネクタを使用します。
依存関係
プロジェクトに次の依存関係を追加します。
Java
<dependency>
<groupId>org.apache.beam</groupId>
<artifactId>beam-sdks-java-managed</artifactId>
<version>${beam.version}</version>
</dependency>
<dependency>
<groupId>org.apache.beam</groupId>
<artifactId>beam-sdks-java-io-iceberg</artifactId>
<version>2.56.0</version>
</dependency>
構成
Apache Iceberg コネクタは次の構成パラメータを使用します。
table
(文字列)。Apache Iceberg の名前です。例: "db.table1"
catalog_config
(マッピング)。カタログの構成です。次のフィールドが含まれています。
catalog_name
(文字列)。カタログ名です。例: "local"
catalog_type
(文字列)。カタログのタイプです。サポートされる値: "hadoop"
、"hive"
、"rest"
warehouse_location
(文字列)。ウェアハウスのロケーションです。例: file://path/to/warehouse
例
次の例では、メモリ内の JSON データを Apache Iceberg テーブルに書き込みます。
Java
Dataflow への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証を設定するをご覧ください。
特に記載のない限り、このページのコンテンツはクリエイティブ・コモンズの表示 4.0 ライセンスにより使用許諾されます。コードサンプルは Apache 2.0 ライセンスにより使用許諾されます。詳しくは、Google Developers サイトのポリシーをご覧ください。Java は Oracle および関連会社の登録商標です。
最終更新日 2024-07-05 UTC。
[{
"type": "thumb-down",
"id": "hardToUnderstand",
"label":"Hard to understand"
},{
"type": "thumb-down",
"id": "incorrectInformationOrSampleCode",
"label":"Incorrect information or sample code"
},{
"type": "thumb-down",
"id": "missingTheInformationSamplesINeed",
"label":"Missing the information/samples I need"
},{
"type": "thumb-down",
"id": "translationIssue",
"label":"翻訳に関する問題"
},{
"type": "thumb-down",
"id": "otherDown",
"label":"その他"
}]
[{
"type": "thumb-up",
"id": "easyToUnderstand",
"label":"わかりやすい"
},{
"type": "thumb-up",
"id": "solvedMyProblem",
"label":"問題の解決に役立った"
},{
"type": "thumb-up",
"id": "otherUp",
"label":"その他"
}]