Apache Kafka

Apache Kafka 통합은 주제 요청 및 실패와 같은 브로커 측정항목을 수집합니다. 또한 브로커에서 파티션을 모니터링합니다. 통합은 Kafka 로그를 수집하고 이를 JSON 페이로드로 파싱합니다. 결과에는 로거, 수준, 메시지 필드가 포함됩니다.

Kafka에 대한 자세한 내용은 kafka.apache.org/를 참조하세요.

기본 요건

Kafka 로그와 측정항목을 수집하려면 작업 에이전트 버전 2.10.0 이상을 설치해야 합니다.

이 수신자는 Apache Kafka 버전 0.8~3.0.0을 지원합니다.

Kafka 인스턴스 구성

JMX 엔드포인트를 노출하려면 JVM을 시작할 때 com.sun.management.jmxremote.port 시스템 속성을 설정해야 합니다. 또한 com.sun.management.jmxremote.rmi.port 시스템 속성을 동일한 포트로 설정하는 것이 좋습니다. JMX 엔드포인트를 원격으로 노출하려면 java.rmi.server.hostname 시스템 속성도 설정해야 합니다.

기본적으로 이러한 속성은 Kafka 배포의 bin/kafka-run-class.sh 파일에 설정합니다.

명령줄 인수를 사용하여 시스템 속성을 설정하려면 JVM을 시작할 때 속성 이름 앞에 -D를 붙입니다. 예를 들어 com.sun.management.jmxremote.port를 포트 9999로 설정하려면 JVM을 시작할 때 다음을 지정합니다.

-Dcom.sun.management.jmxremote.port=9999

Kafka용 작업 에이전트 구성

작업 에이전트 구성 가이드에 따라 Kafka 인스턴스에서 로그와 측정항목을 수집하는 데 필요한 요소를 추가하고 에이전트를 다시 시작합니다.

구성 예시

다음 명령어는 구성 파일을 만들어 Kafka의 로그와 측정항목을 수집하고 Linux에서 작업 에이전트를 다시 시작합니다.

sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
logging:
  receivers:
    kafka:
      type: kafka
  service:
    pipelines:
      kafka:
        receivers:
          - kafka
metrics:
  receivers:
    kafka:
      type: kafka
  service:
    pipelines:
      kafka:
        receivers:
          - kafka
EOF
sudo service google-cloud-ops-agent restart

로그 수집 구성

Kafka에서 로그를 수집하려면 Kafka로 생성되는 로그의 수신자를 만든 후 새 수신자의 파이프라인을 만들어야 합니다. kafka 로그의 수신자를 구성하려면 다음 필드를 지정합니다.

필드 기본값 설명
type 값은 kafka여야 합니다.
include_paths [/var/log/kafka/*.log] 각 파일을 테일링하여 읽을 파일 시스템 경로의 목록입니다. 와일드 카드(*)를 경로에 사용할 수 있습니다(예: /var/log/kafka*/*.log).
exclude_paths include_paths 중에서 일치하는 집합에서 제외할 파일 시스템 경로 패턴의 목록입니다.
wildcard_refresh_interval 60s include_paths의 와일드 카드 파일 경로가 새로 고쳐지는 간격입니다. 기간(예: 30s 또는 2m)으로 지정됩니다. 이 속성은 로그 파일이 기본 간격보다 빠르게 순환되는 높은 로깅 처리량에서 유용할 수 있습니다. 1의 배수여야 합니다.

로깅되는 내용

kafka 로그의 logName은 구성에 지정된 수신자 ID에서 파생됩니다. LogEntry 내의 자세한 필드는 다음과 같습니다.

필드 유형 설명
jsonPayload.source 문자열 로그가 시작된 모듈 또는 스레드입니다.
jsonPayload.logger 문자열 로그가 시작된 로거의 이름입니다.
jsonPayload.message 문자열 로그 메시지이며 제공되는 경우 상세 스택 추적을 포함합니다.
severity 문자열(LogSeverity) 로그 항목 수준입니다(번역됨).
timestamp 문자열(Timestamp) 요청이 수신된 시간입니다.

비어 있거나 누락된 필드는 로그 항목에 표시되지 않습니다.

측정항목 수집 구성

Kafka에서 측정항목을 수집하려면 Kafka 측정항목의 수신자를 만든 후 새 수신자의 파이프라인을 만들어야 합니다. Kafka 측정항목의 수신자를 구성하려면 다음 필드를 지정합니다.

필드 기본값 설명
type 값은 kafka여야 합니다.
stub_status_url localhost:9999 서비스 URL을 구성하는 데 사용되는 JMX 서비스 URL 또는 호스트 및 포트입니다. service:jmx:<protocol>:<sap> 또는 host:port 형식이어야 합니다. host:port 형식의 값이 service:jmx:rmi:///jndi/rmi://<host>:<port>/jmxrmi의 서비스 URL을 만드는 데 사용됩니다.
collect_jvm_metrics true 지원되는 JVM 측정항목도 수집하도록 수신자를 구성합니다.
username JMX가 인증을 요구하도록 구성된 경우 구성된 사용자 이름입니다.
password JMX가 인증을 요구하도록 구성된 경우 구성된 비밀번호입니다.
collection_interval 60s time.Duration 값(예: 30s 또는 5m)입니다.

모니터링 대상

다음 표에서는 작업 에이전트가 Kafka 인스턴스에서 수집하는 측정항목의 목록을 보여줍니다.

측정항목 유형
종류, 유형
모니터링 리소스
라벨
workload.googleapis.com/kafka.isr.operation.count
CUMULATIVEINT64
gce_instance
operation
workload.googleapis.com/kafka.message.count
CUMULATIVEINT64
gce_instance
 
workload.googleapis.com/kafka.network.io
CUMULATIVEINT64
gce_instance
state
workload.googleapis.com/kafka.partition.count
GAUGEINT64
gce_instance
 
workload.googleapis.com/kafka.partition.offline
GAUGEINT64
gce_instance
 
workload.googleapis.com/kafka.partition.under_replicated
GAUGEINT64
gce_instance
 
workload.googleapis.com/kafka.purgatory.size
GAUGEINT64
gce_instance
type
workload.googleapis.com/kafka.request.count
CUMULATIVEINT64
gce_instance
type
workload.googleapis.com/kafka.request.failed
CUMULATIVEINT64
gce_instance
type
workload.googleapis.com/kafka.request.time.total
CUMULATIVEINT64
gce_instance
type

구성 확인

로그 탐색기와 측정항목 탐색기를 사용하여 Kafka 수신자를 올바르게 구성했는지 확인할 수 있습니다. 작업 에이전트가 로그 및 측정항목 수집을 시작하려면 1~2분 정도 걸릴 수 있습니다.

로그가 수집되었는지 확인하려면 로그 탐색기로 이동하고 다음 쿼리를 실행하여 Kafka 로그를 확인합니다.

resource.type="gce_instance"
logName=("projects/PROJECT_ID/logs/kafka")


측정항목이 수집되었는지 확인하려면 측정항목 탐색기로 이동하고 MQL 탭에서 다음 쿼리를 실행합니다.

fetch gce_instance
| metric 'workload.googleapis.com/kafka.request.count'
| align rate(1m)
| every 1m

다음 단계

Ansible을 사용하여 작업 에이전트를 설치하고, 타사 애플리케이션을 구성하고, 샘플 대시보드를 설치하는 방법은 작업 에이전트를 설치하여 타사 애플리케이션 문제 해결 동영상을 참조하세요.