Apache Iceberg용 Dataflow 관리형 I/O

관리형 I/O는 Apache Iceberg의 다음 기능을 지원합니다.

카탈로그
읽기 기능 일괄 읽기
쓰기 기능
  • 일괄 쓰기
  • 스트리밍 쓰기
  • 동적 대상
  • 동적 테이블 생성

Apache Iceberg용 BigQuery 테이블의 경우 BigQuery Storage API와 함께 BigQueryIO 커넥터를 사용합니다. 테이블이 이미 있어야 합니다. 동적 테이블 생성은 지원되지 않습니다.

요구사항

Java용 Apache Beam SDK 버전 2.58.0 이상이 필요합니다.

구성

관리형 I/O는 Apache Iceberg에 다음 구성 매개변수를 사용합니다.

읽기 및 쓰기 구성 데이터 유형 설명
table 문자열 Apache Iceberg 테이블의 식별자입니다. 예: "db.table1"
catalog_name 문자열 카탈로그의 이름입니다. 예: "local"
catalog_properties 지도 Apache Iceberg 카탈로그의 구성 속성 맵입니다. 필요한 속성은 카탈로그에 따라 달라집니다. 자세한 내용은 Apache Iceberg 문서의 CatalogUtil을 참조하세요.
config_properties 지도 Hadoop 구성 속성의 선택적 집합입니다. 자세한 내용은 Apache Iceberg 문서의 CatalogUtil을 참조하세요.
쓰기 구성 데이터 유형 설명
triggering_frequency_seconds 정수 스트리밍 쓰기 파이프라인의 경우 싱크에서 스냅샷을 생성하려고 시도하는 빈도(초)입니다.

자세한 내용과 코드 예시는 다음 주제를 참고하세요.