Apache Kafka

Apache Kafka 통합은 주제 요청 및 실패와 같은 브로커 측정항목을 수집합니다. 또한 브로커에서 파티션을 모니터링합니다. 통합은 Kafka 로그를 수집하고 이를 JSON 페이로드로 파싱합니다. 결과에는 로거, 수준, 메시지 필드가 포함됩니다.

Kafka에 대한 자세한 내용은 Apache Kafka 문서를 참조하세요.

기본 요건

Kafka 원격 분석을 수집하려면 운영 에이전트를 설치해야 합니다.

측정항목의 경우 버전 2.10.0 이상을 설치합니다.
로그에는 버전 2.10.0 이상을 설치합니다.

이 통합은 Kafka 버전 0.8~3.0.0을 지원합니다.

Kafka 인스턴스 구성

JMX 엔드포인트를 노출하려면 JVM을 시작할 때 com.sun.management.jmxremote.port 시스템 속성을 설정해야 합니다. 또한 com.sun.management.jmxremote.rmi.port 시스템 속성을 동일한 포트로 설정하는 것이 좋습니다. JMX 엔드포인트를 원격으로 노출하려면 java.rmi.server.hostname 시스템 속성도 설정해야 합니다.

기본적으로 이러한 속성은 Kafka 배포의 bin/kafka-run-class.sh 파일에 설정합니다.

명령줄 인수를 사용하여 시스템 속성을 설정하려면 JVM을 시작할 때 속성 이름 앞에 -D를 붙입니다. 예를 들어 com.sun.management.jmxremote.port를 포트 9999로 설정하려면 JVM을 시작할 때 다음을 지정합니다.

-Dcom.sun.management.jmxremote.port=9999

Kafka용 운영 에이전트 구성

운영 에이전트 구성 가이드에 따라 Kafka 인스턴스에서 원격 분석을 수집하는 데 필요한 요소를 추가하고 에이전트를 다시 시작합니다.

구성 예시

다음 명령어는 Kafka용 원격 분석을 수집하고 처리하는 구성을 만들고 운영 에이전트를 다시 시작합니다.

set -e

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Configure the Ops Agent.
sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    memcached:
      type: memcached
  service:
    pipelines:
      memcached:
        receivers:
          - memcached
EOF

sudo service google-cloud-ops-agent restart
sleep 60

로그 수집 구성

Kafka에서 로그를 수집하려면 Kafka로 생성되는 로그의 수신자를 만든 후 새 수신자의 파이프라인을 만들어야 합니다.

kafka 로그의 수신자를 구성하려면 다음 필드를 지정합니다.

필드	기본값	설명
`exclude_paths`		`include_paths` 중에서 일치하는 집합에서 제외할 파일 시스템 경로 패턴의 목록입니다.
`include_paths`	`[/var/log/kafka/*.log]`	각 파일을 테일링하여 읽을 파일 시스템 경로의 목록입니다. 와일드 카드 ``를 경로에 사용할 수 있습니다(예: `/var/log/kafka/*.log`).
`record_log_file_path`	`false`	`true`로 설정된 경우 로그 레코드를 가져온 특정 파일의 경로가 출력 로그 항목에 `agent.googleapis.com/log_file_path` 라벨 값으로 표시됩니다. 와일드 카드를 사용할 경우 레코드를 가져온 파일의 경로만 기록됩니다.
`type`		값은 `kafka`여야 합니다.
`wildcard_refresh_interval`	`60s`	`include_paths`의 와일드 카드 파일 경로가 새로 고쳐지는 간격입니다. time.ParseDuration으로 구문 분석할 수 있는 기간으로 제공됩니다(예: `30s` 또는 `2m`). 이 속성은 로그 파일이 기본 간격보다 빠르게 순환되는 높은 로깅 처리량에서 유용할 수 있습니다.

로깅되는 내용

logName은 구성에 지정된 수신자 ID에서 파생됩니다. LogEntry 내의 자세한 필드는 다음과 같습니다.

kafka 로그에는 LogEntry의 다음 필드가 포함됩니다.

필드	유형	설명
`jsonPayload.level`	문자열(`LogSeverity`)	로그 항목 수준
`jsonPayload.logger`	문자열(`Timestamp`)	로그가 시작된 로거의 이름입니다.
`jsonPayload.message`	문자열	로그 메시지(제공되는 경우 상세 스택 추적 포함)
`jsonPayload.source`	문자열	로그가 시작된 모듈 또는 스레드입니다.
`severity`	문자열	로그 항목 수준입니다(번역됨).
`timestamp`	문자열	요청이 수신된 시간입니다.

측정항목 수집 구성

Kafka에서 측정항목을 수집하려면 Kafka에서 생성하는 측정항목의 수신자를 만든 후 새 수신자의 파이프라인을 만들어야 합니다.

kafka 측정항목의 수신자를 구성하려면 다음 필드를 지정합니다.

필드	기본값	설명
`stub_status_url`	`localhost:9999`	서비스 URL을 구성하는 데 사용되는 JMX 서비스 URL 또는 호스트 및 포트입니다. `service:jmx:<protocol>:<sap>` 또는 `host:port` 형식이어야 합니다. `host:port` 형식의 값이 `service:jmx:rmi:///jndi/rmi://<host>:<port>/jmxrmi`의 서비스 URL을 만드는 데 사용됩니다.
`collect_jvm_metrics`	`true`	지원되는 JVM 측정항목도 수집하도록 수신자를 구성합니다.
`collection_interval`	`60s`	기간 값(예: `30s` 또는 `5m`)입니다.
`password`		JMX가 인증을 요구하도록 구성된 경우 구성된 비밀번호입니다.
`stub_status_url`	`localhost:9999`	서비스 URL을 구성하는 데 사용되는 JMX 서비스 URL 또는 호스트 및 포트입니다. 이 값은 service:jmx:: 또는 host:port 형식이어야 합니다. host:port 형식의 값은 service:jmx:rmi:///jndi/rmi://:/jmxrmi의 서비스 URL을 만드는 데 사용됩니다.
`type`		값은 `kafka`여야 합니다.
`username`		JMX가 인증을 요구하도록 구성된 경우 구성된 사용자 이름입니다.

모니터링 대상

다음 표에서는 운영 에이전트가 Kafka 인스턴스에서 수집하는 측정항목의 목록을 보여줍니다.

측정항목 유형
종류, 유형 모니터링 리소스	라벨
`workload.googleapis.com/kafka.isr.operation.count`
`CUMULATIVE`, `INT64` gce_instance	`operation`
`workload.googleapis.com/kafka.message.count`
`CUMULATIVE`, `INT64` gce_instance
`workload.googleapis.com/kafka.network.io`
`CUMULATIVE`, `INT64` gce_instance	`state`
`workload.googleapis.com/kafka.partition.count`
`GAUGE`, `INT64` gce_instance
`workload.googleapis.com/kafka.partition.offline`
`GAUGE`, `INT64` gce_instance
`workload.googleapis.com/kafka.partition.under_replicated`
`GAUGE`, `INT64` gce_instance
`workload.googleapis.com/kafka.purgatory.size`
`GAUGE`, `INT64` gce_instance	`type`
`workload.googleapis.com/kafka.request.count`
`CUMULATIVE`, `INT64` gce_instance	`type`
`workload.googleapis.com/kafka.request.failed`
`CUMULATIVE`, `INT64` gce_instance	`type`
`workload.googleapis.com/kafka.request.time.total`
`CUMULATIVE`, `INT64` gce_instance	`type`

샘플 대시보드

Kafka 측정항목을 보려면 차트 또는 대시보드가 구성되어 있어야 합니다. Cloud Monitoring은 사전 구성된 차트가 포함된 통합용 샘플 대시보드 라이브러리를 제공합니다. 이러한 대시보드 설치에 대한 자세한 내용은 샘플 대시보드 설치를 참조하세요.

구성 확인

이 섹션에서는 Kafka 수신자를 올바르게 구성했는지 확인하는 방법을 설명합니다. 운영 에이전트에서 원격 분석 수집을 시작하려면 1~2분 정도 걸릴 수 있습니다.

로그가 수집되었는지 확인하려면 로그 탐색기로 이동하고 다음 쿼리를 실행하여 Kafka 로그를 확인합니다.

resource.type="gce_instance"
log_id("kafka")

측정항목이 수집되었는지 확인하려면 측정항목 탐색기로 이동하고 MQL 탭에서 다음 쿼리를 실행합니다.

fetch gce_instance
| metric 'workload.googleapis.com/kafka.message.count'
| every 1m

다음 단계

Ansible을 사용하여 운영 에이전트를 설치하고, 타사 애플리케이션을 구성하고, 샘플 대시보드를 설치하는 방법은 운영 에이전트를 설치하여 타사 애플리케이션 문제 해결 동영상을 참조하세요.