Apache Iceberg용 Dataflow 관리형 I/O

관리형 I/O는 Apache Iceberg의 다음 기능을 지원합니다.

카탈로그
읽기 기능 일괄 읽기
쓰기 기능
  • 일괄 쓰기
  • 스트리밍 쓰기
  • 동적 대상
  • 동적 테이블 생성

Apache Iceberg용 BigQuery 테이블의 경우 BigQuery Storage API와 함께 BigQueryIO 커넥터를 사용합니다. 테이블이 이미 있어야 합니다. 동적 테이블을 만들 수 없습니다.

요구사항

Java용 Apache Beam SDK 버전 2.58.0 이상이 필요합니다.

구성

관리형 I/O는 Apache Iceberg에 다음 구성 파라미터를 사용합니다.

읽기 및 쓰기 구성 데이터 유형 설명
table 문자열 Apache Iceberg 테이블의 식별자입니다. 예: "db.table1"
catalog_name 문자열 카탈로그의 이름입니다. 예: "local"
catalog_properties 지도 Apache Iceberg 카탈로그의 구성 속성 맵입니다. 필요한 속성은 카탈로그에 따라 달라집니다. 자세한 내용은 Apache Iceberg 문서의 CatalogUtil을 참조하세요.
config_properties 지도 Hadoop 구성 속성의 선택적 집합입니다. 자세한 내용은 Apache Iceberg 문서의 CatalogUtil을 참조하세요.
쓰기 구성 데이터 유형 설명
triggering_frequency_seconds 정수 스트리밍 쓰기 파이프라인의 경우 싱크에서 스냅샷을 생성하려고 시도하는 빈도(초)입니다.

자세한 내용과 코드 예시는 다음 주제를 참조하세요.