Application Integration에 지원되는 커넥터를 참조하세요.
Apache Kafka 트리거
Apache Kafka 트리거는 Apache Kafka 연결에서 구독한 Apache Kafka 이벤트를 기반으로 통합을 호출할 수 있는 커넥터 이벤트 트리거입니다.
시작하기 전에
Apache Kafka 트리거에 대한 새 연결을 만들거나 구성하려면 프로젝트에 다음 Identity and Access Management(IAM) 역할이 있는지 확인합니다.
- 커넥터 관리자(
roles/connectors.admin
)
역할 부여에 대한 자세한 내용은 액세스 관리를 참조하세요.
Apache Kafka 트리거에 사용할 서비스 계정에 다음 IAM 역할을 부여합니다.
- Application Integration 호출자(
roles/integrations.integrationInvoker
)
서비스 계정에 역할 부여에 대한 자세한 내용은 서비스 계정에 대한 액세스 관리를 참조하세요.
제한사항
Apache Kafka 트리거에는 다음과 같은 제한사항이 적용됩니다.
- 이벤트 구독에
SASL_SSL
보안 프로토콜을 지원합니다. - 이벤트 구독에
mTLS
를 지원하지 않습니다.
Apache Kafka 트리거 추가
Apache Kafka 트리거를 통합에 추가하려면 다음 단계를 수행합니다.
- Google Cloud 콘솔에서 Application Integration 페이지로 이동합니다.
- 탐색 메뉴에서 통합을 클릭합니다.
Google Cloud 프로젝트에서 사용할 수 있는 모든 통합이 나열된 통합 목록 페이지가 나타납니다.
- 기존 통합을 선택하거나 통합 만들기를 클릭하여 새 통합을 만듭니다.
새 통합을 만드는 경우:
- 통합 만들기 창에 이름과 설명을 입력합니다.
- 통합 리전을 선택합니다.
- 통합을 위한 서비스 계정을 선택합니다. 통합 툴바의 통합 요약 창에서 언제든지 통합에 대한 서비스 계정 세부정보를 변경하거나 업데이트할 수 있습니다.
- 만들기를 클릭합니다.
통합 편집기 페이지에서 통합이 열립니다.
- 통합 편집기 탐색 메뉴에서 트리거를 클릭하여 사용 가능한 트리거 목록을 확인합니다.
- 통합 편집기에서 Apache Kafka 트리거 요소를 클릭하여 배치합니다.
Apache Kafka 트리거를 구성하려면 Integration Connectors에서 사용할 수 있는 기존 Apache Kafka 연결을 사용하거나 인라인 연결 만들기 옵션을 사용하여 새 Apache Kafka 연결을 만들면 됩니다.
기존 연결을 사용하여 Apache Kafka 트리거 구성
Integration Connectors에서 기존 Apache Kafka 연결을 사용하여 Apache Kafka 트리거를 구성할 수 있습니다. Apache Kafka 트리거는 커넥터 이벤트 트리거이므로 이벤트 구독이 사용 설정된 Apache Kafka 연결만 사용하여 트리거를 구성할 수 있습니다.
새 Apache Kafka 연결을 사용하여 Apache Kafka 트리거를 구성하는 방법은 새 연결을 사용하여 Apache Kafka 트리거 구성을 참조하세요.
기존 Apache Kafka 연결을 사용하여 Apache Kafka 트리거를 구성하려면 다음 단계를 수행합니다.
- 통합 편집기에서 Apache Kafka 트리거 요소를 클릭하여 트리거 구성 창을 엽니다.
- 트리거 구성을 클릭합니다.
- 커넥터 이벤트 트리거 편집기 페이지에서 다음 구성 세부정보를 제공합니다.
- 리전: Apache Kafka 연결의 리전을 선택합니다.
- 연결: 사용하려는 Apache Kafka 연결을 선택합니다.
Application Integration에는 활성 상태이고 이벤트 구독이 사용 설정된 Apache Kafka 연결만 표시됩니다.
- 주제 이름: 주제 이름을 입력합니다.
- 소비자 그룹 ID: 선택적으로 Kafka 소비자가 속한 소비자 그룹의 이름을 지정하는 소비자 그룹 ID를 입력합니다.
- 파티션: 특정 파티션을 구독하려면 파티션을 입력합니다. 파티션은 주제를 여러 부분으로 나누고 각 부분을 클러스터의 서로 다른 노드에 저장하는 방법입니다.
- 초기 오프셋: 오프셋 재설정 전략을 선택합니다.
- 가장 먼저를 선택하면 소비자 그룹의 수명 기간 전에 생성된 모든 메시지를 포함하여 소비되지 않은 메시지가 연결에서 사용됩니다.
- 최신을 선택하면 소비자 그룹이 생성된 후에 생성된 메시지가 연결에서 사용됩니다.
- 서비스 계정: Apache Kafka 트리거에 필요한 IAM 역할이 있는 서비스 계정을 선택합니다.
- 완료를 클릭합니다.
새 연결을 사용하여 Apache Kafka 트리거 구성
새 Apache Kafka 연결을 사용하여 Apache Kafka 트리거를 구성하려면 다음 단계를 수행합니다.
- 통합 편집기에서 Apache Kafka 트리거 요소를 클릭하여 트리거 구성 창을 엽니다.
- Apache Kafka 트리거 구성을 클릭합니다.
- 리전 필드를 건너뜁니다.
- 연결을 클릭하고 목록에서 연결 만들기 옵션을 선택합니다. 연결 만들기 창이 나타납니다.
- 위치 단계에서 새 Apache Kafka 연결 위치를 선택합니다.
- 리전: 목록에서 리전을 선택합니다.
- 다음을 클릭합니다.
- 연결 세부정보 단계에서 새 Apache Kafka 연결에 대한 세부정보를 제공합니다.
- 커넥터 버전: 목록에서 사용 가능한 Apache Kafka 커넥터 버전을 선택합니다.
- 연결 이름: Apache Kafka 연결 이름을 입력합니다.
- (선택사항) 설명: 연결에 대한 설명을 입력합니다.
- (선택사항) Cloud Logging 사용 설정: 연결의 모든 로그 데이터를 저장하려면 이 체크박스를 선택합니다.
- 서비스 계정: Apache Kafka 연결에 필요한 IAM 역할이 있는 서비스 계정을 선택합니다.
- 이벤트 구독, 항목, 작업 사용 설정 옵션이 Apache Kafka 연결에 기본적으로 선택됩니다.
- 유형 감지 스키마:
MessageOnly
를 선택합니다. - 레지스트리 서비스: 주제 스키마 작업에 사용되는 스키마 레지스트리 서비스입니다.
- 레지스트리 유형: 특정 주제에 지정된 스키마의 유형입니다.
- 레지스트리 버전: 지정된 주제의
RegistryUrl
에서 읽은 스키마 버전입니다. -
레지스트리 사용자:
RegistryUrl
에 지정된 서버로 승인할 사용자 이름 또는 액세스 키 값입니다. -
레지스트리 비밀번호:
RegistryUrl
에 지정된 서버로 승인할 비밀번호/보안 비밀 키 값이 포함된 Secret Manager 보안 비밀입니다. - 필요한 경우 연결 노드 설정을 구성합니다.
- 최소 노드 수: 최소 연결 노드 수를 입력합니다.
- 최대 노드 수: 최대 연결 노드 수를 입력합니다.
노드는 트랜잭션을 처리하는 연결의 단위(또는 복제본)입니다. 연결에 대해 더 많은 트랜잭션을 처리하려면 더 많은 노드가 필요합니다. 이와 반대로 더 적은 트랜잭션을 처리하기 위해서는 더 적은 노드가 필요합니다. 노드가 커넥터 가격 책정에 미치는 영향을 파악하려면 연결 노드 가격 책정을 참조하세요. 값을 입력하지 않으면 기본적으로 최소 노드가 (높은 가용성을 위해) 2로 설정되고 최대 노드는 50으로 설정됩니다.
- (선택사항) + 라벨 추가를 클릭하여 키/값 쌍의 형식으로 연결에 라벨을 추가합니다.
- SSL 사용 설정: 이 필드는 SSL 사용 설정 여부를 설정합니다.
- 다음을 클릭합니다.
- 대상 섹션에서 연결하려는 원격 호스트(백엔드 시스템)의 세부정보를 입력합니다.
- 대상 유형: 대상 유형을 선택합니다.
- 호스트 주소 필드에 대상의 호스트 이름이나 IP 주소를 지정합니다.
- 백엔드 시스템에 비공개 연결을 설정하려면 다음 단계를 수행합니다.
- PSC 서비스 연결을 만듭니다.
- 엔드포인트 연결을 만든 다음 호스트 주소 필드에 엔드포인트 연결의 세부정보를 입력합니다.
- 추가 보안을 사용하여 백엔드 시스템에 공개 연결을 설정하려면 연결의 고정 아웃바운드 IP 주소를 구성한 후 방화벽 규칙을 구성하여 특정 고정 IP 주소만 허용 목록에 추가합니다.
- 백엔드 시스템에 비공개 연결을 설정하려면 다음 단계를 수행합니다.
추가 대상을 입력하려면 +대상 추가를 클릭합니다.
- 호스트 주소 필드에 대상의 호스트 이름이나 IP 주소를 지정합니다.
- 다음을 클릭합니다.
- 대상 유형: 대상 유형을 선택합니다.
-
인증 섹션에서 인증 세부정보를 입력합니다.
- 인증 유형을 선택하고 관련 세부정보를 입력합니다.
Apache Kafka 연결에서 지원되는 인증 유형은 다음과 같습니다.
-
사용자 이름 및 비밀번호
- 사용자 이름: 연결에 사용할 Apache Kafka 사용자 이름입니다.
- 비밀번호: Apache Kafka 사용자 이름과 연결된 비밀번호가 포함된 Secret Manager 보안 비밀입니다.
- 인증 스킴: 인증에 사용되는 스킴입니다.
Apache Kafka 연결에서 지원되는 인증 스키마는 다음과 같습니다.
- Plain
- SCRAM-SHA-1
- SCRAM-SHA-256
-
사용 불가
익명 로그인을 사용하려면 사용할 수 없음을 선택합니다.
-
사용자 이름 및 비밀번호
- 다음을 클릭합니다.
- 인증 유형을 선택하고 관련 세부정보를 입력합니다.
- 데드 레터 구성을 입력합니다. 데드 레터를 구성하면 연결에서 처리되지 않은 이벤트를 지정된 Pub/Sub 주제에 씁니다. 다음 세부정보를 입력합니다.
- 데드 레터 프로젝트 ID: 데드 레터 Pub/Sub 주제를 구성한 Google Cloud 프로젝트 ID입니다.
- 데드 레터 주제: 처리되지 않은 이벤트의 세부정보를 쓰려는 Pub/Sub 주제입니다.
- 다음을 클릭합니다.
- 검토: 연결 및 인증 세부정보를 검토합니다.
- 만들기를 클릭합니다.
트리거 출력
Apache Kafka 트리거가 이벤트 구독 구성을 완료하는 데 몇 분 정도 걸립니다. 이벤트 구독 세부정보 아래의 트리거 구성 창에서 이벤트 구독 상태를 볼 수 있습니다.
Apache Kafka 트리거는 다음 상태를 사용하여 이벤트 구독 상태를 나타냅니다.
Creating
: 트리거가 이벤트 구독을 구독 중임을 나타냅니다.Active
: 트리거가 이벤트 구독을 성공적으로 구독했음을 나타냅니다.Error
: 구성된 이벤트 구독에 문제가 있음을 나타냅니다.
이벤트 구독 세부정보 섹션에 이벤트 구독 상태 외에도 연결 리전, 연결 이름, 이벤트 구독 이름과 같은 기타 세부정보가 표시됩니다.
트리거 출력 변수
각 이벤트에서 Apache Kafka 트리거는 다운스트림 태스크에 사용할 수 있는 ConnectorEventPayload
출력 변수(JSON 형식)를 생성합니다. 출력 변수에는 Apache Kafka 이벤트의 페이로드가 포함됩니다. 예를 들면 다음과 같습니다.
{ "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}", "contentType": "text/plain" }
이벤트 구독 보기
Integration Connectors에서 연결과 연결된 모든 이벤트 구독을 보고 관리하려면 다음을 수행합니다.
- Integration Connectors > 연결 페이지로 이동합니다.
- 구독을 보려는 연결을 클릭합니다.
- 이벤트 구독 탭을 클릭합니다.
그러면 연결된 모든 이벤트 구독이 표시됩니다.
Apache Kafka 트리거 수정
Apache Kafka 트리거를 수정하여 연결 구성과 이벤트 구독 세부정보를 변경하거나 업데이트할 수 있습니다.
Apache Kafka 트리거를 수정하려면 다음 단계를 수행합니다.
- 통합 편집기에서 Apache Kafka 트리거 요소를 클릭하여 트리거 구성 창을 엽니다.
- Apache Kafka 트리거 구성을 클릭합니다.
- 커넥터 이벤트 트리거 편집기 페이지에서 다음을 수행합니다.
- 이전에 구성한 이벤트 구독을 유지하려면 유지를 클릭하고 삭제를 클릭합니다.
- 원하는 대로 연결 구성과 이벤트 구독 세부정보를 업데이트합니다.
- 완료를 클릭합니다.
이벤트 구독 세부정보의 트리거 구성 창에서 업데이트된 연결과 이벤트 구독 세부정보를 볼 수 있습니다.