Logging 에이전트 또는 클라이언트 라이브러리 중에서 어느 것을 사용해야 하나요?

이 문서에서는 클라이언트 라이브러리 또는 Logging 에이전트를 사용하여 애플리케이션 로그를 Cloud Logging으로 프로그래매틱 방식으로 전송할지 여부를 결정하는 데 필요한 정보를 제공합니다. Logging 에이전트는 stdout 또는 파일에 작성된 데이터를 Cloud Logging에 로그로 전송합니다. Google Kubernetes Engine, App Engine 가변형 환경, Cloud Run 함수와 같은 서비스에는 통합 Logging 에이전트가 포함되어 있습니다. Compute Engine의 경우 운영 에이전트 또는 기존 Cloud Logging 에이전트를 설치할 수 있습니다. 이러한 에이전트는 알려진 파일 위치 또는 Windows Event Log, journald, syslogd 등의 로깅 서비스에서 로그를 수집합니다.

클라이언트 라이브러리나 Logging 에이전트를 사용할 수 없거나 실험만 원하는 경우 gcloud logging write 명령어를 사용하거나 Cloud Logging API 엔드포인트 entries.write에 HTTP 명령어를 전송하여 로그를 작성할 수 있습니다. Cloud Logging API는 HTTP 및 gRPC 호출을 모두 지원합니다. 운영 에이전트와 대부분의 Logging 클라이언트 라이브러리는 gRPC Logging API를 호출합니다. 일부 언어의 기존 Logging 에이전트와 클라이언트 라이브러리는 REST Logging API를 호출합니다.

에이전트 또는 클라이언트 라이브러리 선택

에이전트 또는 클라이언트 라이브러리를 결정할 때는 다음 질문을 고려하세요.

애플리케이션이 Google Cloud 외부에서 실행되고 있나요?

애플리케이션이 Google Cloud에서 실행되고 있지 않으면 로그를 Logging API로 전송하는 방법이 필요합니다. 온프레미스 시스템에서 로그를 Logging으로 라우팅하려면 BindPlane by observIQ를 사용하는 것이 좋습니다. BindPlane에 대한 자세한 내용은 observIQ 및 BindPlane 정보를 참조하세요.

또는 클라이언트 라이브러리를 사용하여 애플리케이션에서 직접 로그를 Logging으로 라우팅할 수 있습니다. 서버리스 컴퓨팅과 같은 임시 환경의 경우 클라이언트 라이브러리를 사용하여 Logging API를 직접 호출해야 합니다.

애플리케이션을 실행하는 Google Cloud 서비스에서
stdout 및 stderr 콘텐츠를 프로젝트에 작성할 수 있나요?

일부 Google Cloud 서비스는 완전 관리형이므로 에이전트를 사용하여 로그를 Google Cloud 프로젝트에 전송할 필요가 없습니다. Go, Node.js, Python 등 원하는 언어로 설정된 로깅 프레임워크를 사용하여 기본적으로 stdout 및 stderr가 지원되는 제품에서 로그를 Logging으로 전송할 수 있습니다. 클라이언트 라이브러리를 사용하는 대신 stdout 및 stderr를 사용하는 이점은 애플리케이션 비정상 종료로 인해 로그를 프로젝트에 전송이 중단되지 않는다는 점입니다. stdout 및 stderr를 통해 구조화된 로그를 전송하는 방법에 대한 자세한 내용은 애플리케이션에서 로그 형식을 유연하게 변경할 수 있나요? 섹션을 참조하세요.

Logging 클라이언트 라이브러리를 사용할 수 있지만 반드시 필요하지 않으면 로컬 테스트를 위해 Logging에 종속 항목을 도입할 수 있습니다. 클라이언트 라이브러리를 사용하려면 버퍼링과 재시도를 명시적으로 처리하는 더 복잡한 코딩이 필요할 수도 있습니다. 또한 Logging 클라이언트 라이브러리를 사용할 때마다 API에 대한 새 연결 스트림이 생성됩니다. 이러한 새 연결은 더욱 복잡하고 추가 포트를 사용하며 애플리케이션의 로그만 있는 별도의 요청을 전송하므로 로그가 많지 않으면 낭비될 수 있습니다.

로컬 환경에서 애플리케이션 로그에 액세스할 수 있어야 하나요?

디버깅 및 기타 목적으로 로컬 환경에서 애플리케이션 로그에 액세스해야 하는 경우 일부 언어의 로깅 모듈을 사용하여 stdout 및 stderr로 출력할 수 있습니다. 일부 언어의 Logging 클라이언트 라이브러리에서는 로그를 stdout 및 stderr로 라우팅할 수 있습니다.

stdout 및 stderr로 작성된 로그를 자동으로 Google Cloud 프로젝트에 전송할 수 없는 Google Cloud 서비스에서 애플리케이션을 실행하면 디스크 파일에서 stdout 및 stderr 로그를 수집하고 해당 로그를 스크레이핑하도록 에이전트를 구성한 후 Logging으로 전송할 수 있습니다. 자세한 내용은 운영 에이전트 또는 기존 Logging 에이전트의 구성 가이드를 참조하세요.

에이전트 설치 프로세스는 수동인가요, 아니면 자동인가요?

일부 서비스는 에이전트를 자동으로 설치하거나 개발자가 직접 에이전트를 설치하도록 허용합니다. 사용 중인 서비스에서 에이전트 설치를 허용하지 않는 경우에는 클라이언트 라이브러리를 사용하여 Logging을 사용해야 합니다.

시스템에서 이미 Fluentd를 실행하고 있나요?

기존 Logging 에이전트는 Fluentd를 기반으로 합니다.

시스템에서 이미 Fluentd가 실행 중이고 이 데몬을 사용하여 로그를 Logging으로 전송하려면 fluentd용 Google Cloud Logging 플러그인을 사용합니다.

Cloud Monitoring의 애플리케이션 측정항목도 수집하고 있나요?

Compute Engine VM에서 운영 에이전트는 로그와 대부분의 측정항목을 수집할 수 있습니다. 자세한 내용은 운영 에이전트 기능을 참고하세요.

작업 에이전트가 사용 사례를 해결하지 않는 경우 기존 Monitoring 에이전트 또는 Monitoring 클라이언트 라이브러리를 사용하여 측정항목을 수집할 수 있습니다.

애플리케이션에서 로그 형식을 유연하게 변경할 수 있나요?

이 질문은 애플리케이션에서 구조화된 로그를 생성할 수 있는지를 판단하는 데 도움이 됩니다. 로그를 구조화된 로깅 형식으로 Logging API로 전송하면 Logging에서 구조화된 로그를 인식합니다. 클라이언트 라이브러리는 이 형식을 처리할 수 있는 메서드를 제공합니다.

구조화된 로그를 작성하는 방법에는 두 가지가 있습니다. 하나는 LogEntry 봉투에 특정 필드를 설정하는 방법이고 다른 하나는 LogEntry 봉투 내에 jsonPayload 필드를 설정하는 방법입니다. 전자의 스키마는 Cloud Logging에 의해 결정되고 후자의 스키마는 사용자에 의해 결정됩니다.

구조화된 로그를 인식하도록 에이전트를 구성해야 합니다. 기본적으로 에이전트는 JSON 형식의 로그를 감지하고 구조화된 로그로 처리되도록 구성됩니다. 애플리케이션에 개발자가 변경할 수 없는 자체 로그 형식이 있지만 로그가 구조화된 로그로 인식되게 하려면 에이전트가 로그를 구조화된 로그로 인식할 수 있도록 로그를 구조화된 로깅 형식(일반적으로 JSON)으로 stdout 및 stderr에 작성해야 합니다. 그렇지 않으면 에이전트가 자체 형식을 이해하도록 구성해야 합니다.

각 옵션 요약

로깅 패턴의 다이어그램

  • Cloud Logging 클라이언트 라이브러리

    • 장점

      • 로그를 직접 Cloud Logging API로 라우팅할 수 있습니다.
      • 일부 언어는 라이브러리를 사용하여 로그를 stdout 및 stderr로 출력할 수 있습니다.

    • 단점

      • 애플리케이션 비정상 종료로 인해 로그가 Google Cloud 프로젝트에 전송되지 않습니다.

  • 운영 에이전트

    • 장점
      • 운영 에이전트는 안정적인 오픈소스 기술(로그 수집용 Fluent Bit, 측정항목 수집용 OpenTelemetry Collector)을 사용하여 로그와 측정항목을 전송할 수 있습니다.
      • 많은 일반적인 애플리케이션에서 로그와 측정항목을 모두 수집할 수 있습니다. 서드 파티 애플리케이션에서 로그 모니터링 및 수집을 참조하세요.
      • 로컬 환경에서 로그를 보존할 수 있습니다.
      • 애플리케이션 비정상 종료로부터 로그를 복구할 수 있습니다.
      • 운영 에이전트가 개발 중입니다.

  • 기존 Logging 에이전트

    • 장점
      • 에이전트는 Fluentd를 사용하여 로그를 수집합니다.
      • 로컬 환경에서 로그를 보존할 수 있습니다.
      • 애플리케이션 비정상 종료로부터 로그를 복구할 수 있습니다.
    • 단점
      • 에이전트가 현재 지원되지만 현재 개발되고 있지 않습니다.

  • Google Cloud 프로젝트로 자동으로 전송되는 stdout 및 stderr 로그

    • 장점
      • 이 프로세스는 로그를 로컬 환경으로 내보내는 일반적인 방법입니다.
      • 임의 로깅 라이브러리를 사용할 수 있습니다.
      • 애플리케이션 비정상 종료로부터 로그를 복구할 수 있습니다.
    • 단점
      • 모든 환경에서 자동으로 로그를 Logging으로 라우팅할 수 없습니다.