Apache Kafka용 Dataflow 관리형 I/O

관리형 I/O는 Apache Kafka에 대한 읽기 및 쓰기를 지원합니다.

요구사항

다음 SDK는 Apache Kafka용 관리형 I/O를 지원합니다.

  • Java용 Apache Beam SDK 버전 2.58.0 이상
  • Python용 Apache Beam SDK 버전 2.61.0 이상

구성

BigQuery용 관리형 I/O는 다음 구성 파라미터를 지원합니다.

KAFKA 읽기

구성 유형 설명
bootstrap_servers str Kafka 클러스터에 대한 초기 연결을 설정하는 데 사용할 호스트/포트 쌍 목록입니다. 클라이언트는 부트스트랩에 지정된 서버와 관계없이 모든 서버를 사용합니다. 이 목록은 전체 서버 집합을 검색하는 데 사용되는 초기 호스트에만 영향을 미칩니다. 이 목록은 `host1:port1,host2:port2,...` 형식이어야 합니다.
주제 str 해당 사항 없음
allow_duplicates boolean Kafka 읽기에서 중복을 허용하는지 여부입니다.
confluent_schema_registry_subject str 해당 없음
confluent_schema_registry_url str 해당 없음
consumer_config_updates map[str, str] Kafka 소비자의 구성 파라미터 역할을 하는 키-값 쌍 목록입니다. 이러한 구성 대부분은 필요하지 않지만 Kafka 소비자를 맞춤설정해야 하는 경우 이를 사용할 수 있습니다. 자세한 목록은 https://docs.confluent.io/platform/current/installation/configuration/consumer-configs.html을 참조하세요.
file_descriptor_path str 프로토콜 버퍼 파일 설명자 세트 파일의 경로입니다. 이 파일은 스키마 정의 및 메시지 직렬화에 사용됩니다.
서식 str Kafka에 저장된 데이터의 인코딩 형식입니다. 유효한 옵션은 RAW,STRING,AVRO,JSON,PROTO입니다.
message_name str 스키마 추출 및 데이터 변환에 사용할 프로토콜 버퍼 메시지의 이름입니다.
offset_deduplication boolean 재분산이 오프셋 중복 삭제 모드를 사용하는지 여부입니다.
redistribute_by_record_key boolean Kafka 레코드 키로 키를 재분산하지 여부입니다.
redistribute_num_keys int32 Kafka 입력을 재분산하기 위한 키의 수입니다.
redistributed boolean Kafka 읽기를 재분산해야 하는지 여부입니다.
schema str Kafka 주제에서 데이터가 인코딩되는 스키마입니다. AVRO 데이터의 경우 AVRO 스키마 구문(https://avro.apache.org/docs/1.10.2/spec.html#schemas)으로 정의된 스키마입니다. JSON 데이터의 경우 JSON 스키마 구문(https://json-schema.org/)으로 정의된 스키마입니다. Confluent 스키마 레지스트리 URL이 제공되면 이 필드는 무시되고 스키마는 Confluent 스키마 레지스트리에서 가져옵니다.

KAFKA 쓰기

구성 유형 설명
bootstrap_servers str Kafka 클러스터에 대한 초기 연결을 설정하는 데 사용할 호스트/포트 쌍 목록입니다. 클라이언트는 부트스트랩에 지정된 서버와 관계없이 모든 서버를 사용합니다. 이 목록은 전체 서버 집합을 검색하는 데 사용되는 초기 호스트에만 영향을 미칩니다. | 형식: host1:port1,host2:port2,...
서식 str Kafka에 저장된 데이터의 인코딩 형식입니다. 유효한 옵션은 RAW,JSON,AVRO,PROTO입니다.
주제 str 해당 없음
file_descriptor_path str 프로토콜 버퍼 파일 설명자 세트 파일의 경로입니다. 이 파일은 스키마 정의 및 메시지 직렬화에 사용됩니다.
message_name str 스키마 추출 및 데이터 변환에 사용할 프로토콜 버퍼 메시지의 이름입니다.
producer_config_updates map[str, str] Kafka 프로듀서의 구성 파라미터 역할을 하는 키-값 쌍 목록입니다. 이러한 구성 대부분은 필요하지 않지만 Kafka 프로듀서를 맞춤설정해야 하는 경우 이를 사용할 수 있습니다. 자세한 목록은 https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html을 참조하세요.
schema str 해당 없음

다음 단계

자세한 내용과 코드 예시는 다음 주제를 참조하세요.