Apache Kafka

Apache Kafka 커넥터를 사용하면 Apache Kafka 데이터베이스에 대한 삽입, 삭제, 업데이트, 읽기 작업을 수행할 수 있습니다.

지원되는 버전

Apache Kafka 커넥터는 기본 클라이언트 라이브러리를 활용하여 지정된 Kafka 클러스터에 대한 연결을 설정하며 커넥터는 클라이언트 버전 3.3.1에서 작동합니다. 하지만 커넥터는 버전 3.0~3.3.1의 Kafka 클러스터에 대한 연결을 설정할 수 있습니다.

시작하기 전에

Apache Kafka 커넥터를 사용하기 전에 다음 태스크를 수행합니다.

Google Cloud 프로젝트에서:
- 커넥터를 구성하는 사용자에게 roles/connectors.admin IAM 역할을 부여합니다.
- 커넥터에 사용할 서비스 계정에 다음 IAM 역할을 부여합니다.
  - roles/secretmanager.viewer
  - roles/secretmanager.secretAccessor
  서비스 계정은 인증을 거쳐야 하며 Google API의 데이터에 액세스할 수 있는 승인을 받은 사람이 아닌 사용자를 나타내는 특별한 유형의 Google 계정입니다. 서비스 계정이 없으면 서비스 계정을 만들어야 합니다. 자세한 내용은 서비스 계정 만들기를 참조하세요.
- 다음 서비스를 사용 설정합니다.
  - secretmanager.googleapis.com(Secret Manager API)
  - connectors.googleapis.com(Connectors API)
  서비스 사용 설정 방법은 서비스 사용 설정을 참조하세요.
이러한 서비스나 권한이 이전 프로젝트에서 사용 설정되지 않았으면 커넥터를 구성할 때 서비스나 권한을 사용 설정하라는 메시지가 표시됩니다.

커넥터 구성

커넥터를 구성하려면 데이터 소스(백엔드 시스템)에 대한 연결을 만들어야 합니다. 연결은 데이터 소스와 관련이 있습니다. 즉, 데이터 소스가 많으면 데이터 소스마다 별도의 연결을 만들어야 합니다. 연결을 만들려면 다음 단계를 따르세요.

Cloud 콘솔에서 Integration Connectors > 연결 페이지로 이동한 다음 Google Cloud 프로젝트를 선택하거나 만듭니다.
연결 페이지로 이동
+ 새로 만들기를 클릭하여 연결 만들기 페이지를 엽니다.
위치 단계에서 새 Apache Kafka 연결 위치를 선택합니다.
1. 리전: 목록에서 리전을 선택합니다.
2. 다음을 클릭합니다.
연결 세부정보 단계에서 새 Apache Kafka 연결에 대한 세부정보를 제공합니다.
1. 커넥터 버전: 목록에서 사용 가능한 Apache Kafka 커넥터 버전을 선택합니다.
2. 연결 이름: Apache Kafka 연결 이름을 입력합니다.
  참고: 연결 이름은 다음 기준을 충족해야 합니다.
  - 연결 이름에 문자, 숫자, 하이픈을 사용할 수 있습니다.
  - 문자는 소문자여야 합니다.
  - 연결 이름은 문자로 시작하고 문자 또는 숫자로 끝나야 합니다.
  - 연결 이름은 63자를 초과할 수 없습니다.
3. (선택사항) 설명: 연결에 대한 설명을 입력합니다.
4. (선택사항) Cloud Logging 사용 설정: 연결의 모든 로그 데이터를 저장하려면 이 체크박스를 선택합니다.
5. 서비스 계정: Apache Kafka 연결에 필요한 IAM 역할이 있는 서비스 계정을 선택합니다.
6. 이벤트 구독, 항목, 작업 사용 설정 옵션이 Apache Kafka 연결에 기본적으로 선택됩니다.
  참고: 이 커넥터는 Enable only event subscription 옵션을 지원하지 않습니다.
7. 유형 감지 스키마: MessageOnly를 선택합니다.
8. 레지스트리 서비스: 주제 스키마 작업에 사용되는 스키마 레지스트리 서비스입니다.
9. 레지스트리 유형: 특정 주제에 지정된 스키마의 유형입니다.
10. 레지스트리 버전: 지정된 주제의 RegistryUrl에서 읽은 스키마 버전입니다.
11. 레지스트리 사용자: RegistryUrl에 지정된 서버로 승인할 사용자 이름 또는 액세스 키 값입니다.
12. 레지스트리 비밀번호: RegistryUrl에 지정된 서버로 승인할 비밀번호/보안 비밀 키 값이 포함된 Secret Manager 보안 비밀입니다.
13. 필요한 경우 연결 노드 설정을 구성합니다.
  - 최소 노드 수: 최소 연결 노드 수를 입력합니다.
  - 최대 노드 수: 최대 연결 노드 수를 입력합니다.
  노드는 트랜잭션을 처리하는 연결의 단위(또는 복제본)입니다. 연결에 대해 더 많은 트랜잭션을 처리하려면 더 많은 노드가 필요합니다. 이와 반대로 더 적은 트랜잭션을 처리하기 위해서는 더 적은 노드가 필요합니다. 노드가 커넥터 가격 책정에 미치는 영향을 파악하려면 연결 노드 가격 책정을 참조하세요. 값을 입력하지 않으면 기본적으로 최소 노드가 (높은 가용성을 위해) 2로 설정되고 최대 노드는 50으로 설정됩니다.
14. (선택사항) + 라벨 추가를 클릭하여 키/값 쌍의 형식으로 연결에 라벨을 추가합니다.
15. SSL 사용 설정: 이 필드는 SSL 사용 설정 여부를 설정합니다.
16. 다음을 클릭합니다.
대상 섹션에서 연결하려는 원격 호스트(백엔드 시스템)의 세부정보를 입력합니다.
1. 대상 유형: 대상 유형을 선택합니다.
  1. 호스트 주소 필드에 대상의 호스트 이름이나 IP 주소를 지정합니다.
    1. 백엔드 시스템에 비공개 연결을 설정하려면 다음 단계를 수행합니다.
      1. PSC 서비스 연결을 만듭니다.
      2. 엔드포인트 연결을 만든 다음 호스트 주소 필드에 엔드포인트 연결의 세부정보를 입력합니다.
    2. 추가 보안을 사용하여 백엔드 시스템에 공개 연결을 설정하려면 연결의 고정 아웃바운드 IP 주소를 구성한 후 방화벽 규칙을 구성하여 특정 고정 IP 주소만 허용 목록에 추가합니다.
  추가 대상을 입력하려면 +대상 추가를 클릭합니다.
2. 다음을 클릭합니다.
인증 섹션에서 인증 세부정보를 입력합니다.
1. 인증 유형을 선택하고 관련 세부정보를 입력합니다.
  Apache Kafka 연결에서 지원되는 인증 유형은 다음과 같습니다.
  - 사용자 이름 및 비밀번호
    - 사용자 이름: 연결에 사용할 Apache Kafka 사용자 이름입니다.
    - 비밀번호: Apache Kafka 사용자 이름과 연결된 비밀번호가 포함된 Secret Manager 보안 비밀입니다.
    - 인증 스킴: 인증에 사용되는 스킴입니다.
      Apache Kafka 연결에서 지원되는 인증 스키마는 다음과 같습니다.
      - Plain
      - SCRAM-SHA-1
      - SCRAM-SHA-256
  - 사용 불가
    익명 로그인을 사용하려면 사용할 수 없음을 선택합니다.
2. 다음을 클릭합니다.
데드 레터 구성을 입력합니다. 데드 레터를 구성하면 연결에서 처리되지 않은 이벤트를 지정된 Pub/Sub 주제에 씁니다. 다음 세부정보를 입력합니다.
1. 데드 레터 프로젝트 ID: 데드 레터 Pub/Sub 주제를 구성한 Google Cloud 프로젝트 ID입니다.
2. 데드 레터 주제: 처리되지 않은 이벤트의 세부정보를 쓰려는 Pub/Sub 주제입니다.
다음을 클릭합니다.
검토: 연결 및 인증 세부정보를 검토합니다.
만들기를 클릭합니다.

항목, 작업, 조치

모든 Integration Connectors는 연결된 애플리케이션의 객체에 대한 추상화 레이어를 제공합니다. 이 추상화를 통해서만 애플리케이션의 객체에 액세스할 수 있습니다. 추상화는 항목, 작업, 조치로 노출됩니다.

항목: 연결된 애플리케이션 또는 서비스에서 항목은 객체 또는 속성 모음으로 간주될 수 있습니다. 항목의 정의는 커넥터마다 다릅니다. 예를 들어 데이터베이스 커넥터에서는 테이블이 항목이고, 파일 서버 커넥터에서는 폴더가 항목이며 메시징 시스템 커넥터에서는 큐가 항목입니다.
그러나 커넥터가 항목을 지원하지 않거나 항목을 포함하지 않을 수 있으며, 이 경우 Entities 목록이 비어 있습니다.
작업: 작업은 항목에 대해 수행할 수 있는 활동입니다. 항목에서 다음 작업을 수행할 수 있습니다.
- 목록
- 가져오기
- 만들기
- 업데이트
- 삭제
사용 가능한 목록에서 항목을 선택하면 항목에 사용 가능한 작업 목록이 생성됩니다. 작업에 대한 자세한 설명은 커넥터 태스크의 항목 작업을 참조하세요. 그러나 커넥터가 항목 작업을 지원하지 않으면 이렇게 지원되지 않는 작업은 Operations 목록에 나열되지 않습니다.
조치: 커넥터 인터페이스를 통해 통합에 제공되는 첫 번째 클래스 함수입니다. 조치를 사용하면 항목을 변경할 수 있습니다. 조치는 커넥터마다 다릅니다. 하지만 커넥터가 조치를 지원하지 않을 수 있으며 이 경우 Actions 목록이 비어 있습니다.

시스템 제한사항

Apache Kafka 커넥터는 노드당 1초에 최대 50개의 트랜잭션을 처리할 수 있으며 이 한도를 초과하는 모든 트랜잭션을 제한합니다. 기본적으로 Integration Connectors는 가용성을 높이기 위해 연결에 2개의 노드를 할당합니다.

Integration Connectors에 적용되는 한도에 대한 자세한 내용은 한도를 참조하세요.

참고: Integration Connectors 노드 수는 사용량에 따라 동적으로 자동 확장됩니다. 하지만 자동 확장을 기다리지 않고 대용량을 예약하려면 연결의 최소 노드 값을 조정하면 됩니다. 연결에 대해 더 많은 트랜잭션을 처리하려면 더 많은 노드가 필요합니다. 이와 반대로 더 적은 트랜잭션을 처리하려면 더 적은 노드가 필요합니다. 노드 값을 구성하려면 다음 안내를 따르세요.

사용한 만큼만 지불 고객인 경우 연결 수정 페이지에서 최소 및 최대 노드 값을 구성합니다.
정기 결제 기반 고객인 경우 지원팀에 문의하세요.

노드에서 처리할 수 있는 최대 트랜잭션은 다양한 요소에 따라 달라집니다. 따라서 처리량을 늘리기 위해 최소 노드를 조정하기 전에 백엔드 시스템이 필요한 트래픽을 처리하도록 최적으로 설정되었는지 확인하는 것이 좋습니다.

작업

PublishMessage 작업

이 작업은 메시지를 Apache Kafka 주제에 게시합니다. 다음 표에서는 PublishMessage 작업의 입력 및 출력 매개변수를 설명합니다.

입력 매개변수

매개변수 이름	필수	데이터 유형	설명
주제	예	문자열	메시지를 게시할 주제의 이름입니다.
Partition	아니요	문자열	메시지가 할당된 파티션입니다. 값은 특정 주제에 유효해야 합니다. 이 값을 설정하지 않으면 기본 클라이언트에서 자동으로 설정합니다.
키	아니요	문자열	메시지 키입니다.
메시지	예	문자열	게시하려는 메시지입니다. 메시지는 문자열화된 JSON이어야 하며 지원되는 최대 메시지 크기는 10MB입니다.
HasBytes	아니요	불리언	메시지가 바이너리 형식인지 지정합니다.
MessageBytes	아니요	문자열	Base64로 인코딩 문자열 형식의 메시지입니다.
검증	아니요	불리언	주제에 대한 스키마 레지스트리에 정의된 메시지 스키마에 대해 게시할 메시지를 검증해야 하는지 여부를 지정합니다. 연결을 만들 때 스키마 레지스트리를 지정한 경우 레지스트리의 주제 스키마 정의가 유효성 검사에 사용됩니다. 이 필드의 기본값은 `false`입니다.

출력 매개변수

매개변수 이름	데이터 유형	설명
PartitionWritten	정수	메시지가 작성된 파티션입니다.
OffsetWritten	길이	메시지가 기록된 파티션의 위치입니다.
TimestampWritten	길이	메시지가 파티션에 커밋된 시간(Unix 타임스탬프)입니다.
KeyWritten	문자열	작성된 메시지 키의 값입니다. 메시지를 쓸 때 메시지 키가 제공되지 않으면 값은 NULL입니다.
성공	불리언	메시지가 게시되었는지 여부를 지정합니다.

참고: 모든 항목 작업 및 조치 결과는 통합을 실행한 후 커넥터 태스크의 connectorOutputPayload 응답 매개변수에서 JSON 응답으로 제공됩니다.

PublishMessage 작업의 샘플 응답은 다음과 같습니다.

{Success: true,
PartitionWritten: 1,
OffsetWritten: 22301,
KeyWritten: "dGVzdA==",
TimestampWritten: 1690806748}

Confluent Cloud 구성

Confluent Cloud의 구성은 앞에서 설명한 Apache Kafka 단계와 약간 다릅니다. Confluent Cloud를 만들 때 다음 사항을 고려하세요.

Confluent Cloud 클러스터 API 키는 사용자 이름으로 사용되고 키의 Secret Manager 보안 비밀은 부트스트랩 서버에 연결하기 위한 비밀번호로 사용됩니다. API 키가 없는 경우 Confluent Cloud에 API 키를 만들어야 합니다.
Connection Details 섹션에서 SSL 사용을 선택합니다.

스키마 레지스트리를 사용하는 경우 다음 값을 구성합니다.

Connection Details 섹션에서 다음을 수행합니다.
- 레지스트리 버전: 레지스트리 버전 번호를 입력합니다. 최신 버전을 사용하려면 latest를 입력합니다.
- 레지스트리 사용자: 스키마 레지스트리 API 키를 입력합니다. 스키마 레지스트리 API 키가 아직 없으면 만들어야 합니다.
- 레지스트리 비밀번호: 레지스트리 비밀번호의 Secret Manager 보안 비밀을 입력합니다.
- 보안 비밀 버전: 보안 비밀 버전 번호를 선택합니다.
- 레지스트리 유형: Confluent를 선택합니다.
- 유형 감지 스키마: MessageOnly를 선택합니다.
Destinations 섹션에서 호스트 이름 필드에 레지스트리 URL을 입력합니다.

terraform을 사용하여 연결 만들기

Terraform 리소스를 사용하여 새 연결을 만들 수 있습니다.

Terraform 구성을 적용하거나 삭제하는 방법은 기본 Terraform 명령어를 참조하세요.

연결 만들기를 위한 샘플 Terraform 템플릿을 보려면 샘플 템플릿을 참조하세요.

Terraform을 사용하여 이 연결을 만들 때는 Terraform 구성 파일에서 다음 변수를 설정해야 합니다.

매개변수 이름	데이터 유형	필수	설명
type_detection_scheme	ENUM	참	Apache Kafka 브로커에서 인증에 사용하는 스킴입니다. 지원되는 값은 MessageOnly입니다.
registry_service	ENUM	거짓	주제 스키마 작업에 사용되는 스키마 레지스트리 서비스입니다. 지원되는 값은 Confluent입니다.
registry_type	ENUM	거짓	특정 주제에 지정된 스키마의 유형입니다. 지원되는 값은 AVRO, JSON입니다.
registry_version	STRING	거짓	지정된 주제의 RegistryUrl에서 읽은 스키마 버전입니다. 레지스트리 버전에 유효한 값은 [1,2^31-1] 또는 마지막으로 등록된 스키마를 반환하는 'latest' 문자열입니다.
registry_user	STRING	거짓	RegistryUrl에 지정된 서버를 사용하여 승인할 사용자 이름입니다.
registry_password	SECRET	거짓	RegistryUrl에 지정된 서버로 승인할 비밀번호/보안 비밀 키 값이 포함된 Secret Manager 보안 비밀입니다.
usessl	부울	거짓	이 필드는 SSL 사용 설정 여부를 설정합니다.

통합에서 Apache Kafka 연결 사용

연결을 만들면 Apigee Integration 및 Application Integration에서 사용할 수 있게 됩니다. 커넥터 태스크를 통해 통합에서 연결을 사용할 수 있습니다.

Apigee Integration에서 커넥터 태스크를 만들고 사용하는 방법을 알아보려면 커넥터 태스크를 참조하세요.
Application Integration에서 커넥터 태스크를 만들고 사용하는 방법을 이해하려면 커넥터 태스크를 참조하세요.

Google Cloud 커뮤니티에서 도움 받기

Google Cloud 커뮤니티에서 Cloud 포럼에 질문을 게시하고 이 커넥터에 대해 토론할 수 있습니다.

다음 단계

연결 일시중지 및 재개 방법 알아보기
커넥터 사용량 모니터링 방법 알아보기
커넥터 로그 확인 방법 알아보기