Pub/Sub로 라우팅된 로그 보기

이 문서에서는 거의 실시간으로 발생하는, Cloud Logging에서 Pub/Sub 주제로 라우팅하는 로그 항목을 찾는 방법을 설명합니다. Cloud Logging 로그를 서드 파티 소프트웨어와 통합할 때는 Pub/Sub를 사용하는 것이 좋습니다.

Pub/Sub 주제로 로그 항목을 라우팅하면 Logging에서 해당 로그 항목을 받는 즉시 Pub/Sub 메시지로 각 로그 항목을 게시합니다. 라우팅된 로그 항목은 일반적으로 Logging에 도착한 후 몇 초 이내에 사용할 수 있으며 로그 항목의 99% 는 60초 이내에 사용할 수 있습니다.

시작하기 전에

싱크에 대한 개념 설명은 라우팅 및 스토리지 모델 개요: 싱크를 참조하세요.

로그 항목을 라우팅하는 방법에 대한 자세한 내용은 지원되는 대상으로 로그 라우팅하기를 참조하세요.

로그 보기

로그가 Pub/Sub를 통해 스트리밍되는 것을 확인하려면 다음 안내를 따르세요.

  1. Google Cloud 콘솔에서 주제 페이지로 이동합니다.

    주제로 이동

    검색창을 사용하여 이 페이지를 찾는 경우 부제목이 Pub/Sub인 결과를 선택합니다.

  2. 로그 싱크에 사용된 주제에 대한 구독을 찾거나 만든 후에, 여기에서 로그 항목을 가져옵니다. 새로운 로그 항목이 게시될 때까지 기다려야 할 수도 있습니다.

로그 구성

각 메시지의 data 필드는 base64로 인코딩된 LogEntry 객체입니다. 예를 들어 Pub/Sub 구독자는 로그 항목을 수신하는 주제에서 다음과 같은 객체를 가져올 수 있습니다. 여기에 나와 있는 객체에는 하나의 메시지가 있는 목록이 포함되어 있습니다. 그러나 로그 항목이 여러 개인 경우에는 Pub/Sub에서 여러 메시지를 반환할 수 있습니다. 예시를 쉽게 읽을 수 있도록 data 값(약 600자)과 ackId 값(약 200자)이 단축 표시되었습니다.

{
 "receivedMessages": [
  {
   "ackId": "dR1JHlAbEGEIBERNK0EPKVgUWQYyODM...QlVWBwY9HFELH3cOAjYYFlcGICIjIg",
   "message": {
    "data": "eyJtZXRhZGF0YSI6eyJzZXZ0eSI6Il...Dk0OTU2G9nIjoiaGVsbG93b3JsZC5sb2cifQ==",
    "attributes": {
     "compute.googleapis.com/resource_type": "instance",
     "compute.googleapis.com/resource_id": "123456"
    },
    "messageId": "43913662360"
   }
  }
 ]
}

data 필드를 디코딩하고 형식을 지정하면 다음과 같은 LogEntry 객체를 얻게 됩니다. 

{
  "log": "helloworld.log",
  "insertId": "2015-04-15|11:41:00.577447-07|10.52.166.198|-1694494956",
  "textPayload": "Wed Apr 15 20:40:51 CEST 2015 Hello, world!",
  "timestamp": "2015-04-15T18:40:56Z",
  "labels": {
    "compute.googleapis.com\/resource_type": "instance",
    "compute.googleapis.com\/resource_id": "123456"
  },
  "severity": "WARNING"
  }
}

Pub/Sub로 서드 파티 통합

로그 항목을 Pub/Sub 주제로 라우팅합니다. 제3자가 동일한 주제를 구독하여 로그 항목을 수신합니다. Logging은 Splunk 또는 Datadog과 같은 타사와의 로깅 통합을 지원합니다. 현재 통합 목록은 파트너에서 Google Cloud Observability 통합을 참조하세요.

통합을 수행하려면 일반적으로 다음과 같은 작업을 수행해야 합니다.

  1. 로그 항목이 시작되는 프로젝트에서 기본 구독으로 Pub/Sub 주제를 만듭니다.

    1. Pub/Sub API를 사용 설정합니다.

      API 사용 설정

    2. Google Cloud 콘솔에서 주제 페이지로 이동합니다.

      주제로 이동

      검색창을 사용하여 이 페이지를 찾는 경우 부제목이 Pub/Sub인 결과를 선택합니다.

    3. 주제 만들기를 클릭합니다.

    4. 주제 ID 필드에 주제의 ID를 입력합니다. 예를 들면 projects/my-project-id/topics/my-pubsub-topic입니다.

      주제로 전송한 각 메시지에는 Pub/Sub 메시지 attributes의 라우팅된 로그 항목에 대한 타임스탬프가 포함됩니다. 예를 들면 다음과 같습니다.

      "attributes": {
  "logging.googleapis.com/timestamp": "2024-07-01T00:00:00Z"
}

    5. 기본 구독 추가 옵션을 유지합니다. 다른 옵션은 선택하지 마세요.

    6. 주제 만들기를 클릭합니다.

  2. 로그 항목이 시작된 프로젝트에서 로그 항목을 주제로 라우팅하도록 Logging을 구성합니다.

    1. Google Cloud 콘솔에서 로그 라우터 페이지로 이동합니다.

      로그 라우터로 이동

      검색창을 사용하여 이 페이지를 찾은 경우 부제목이 Logging인 결과를 선택합니다.

    2. 싱크 만들기를 클릭하고, 싱크의 이름과 설명을 입력하고, 다음을 클릭합니다.
    3. 싱크 서비스 메뉴에서 Cloud Pub/Sub 주제를 선택하고 Pub/Sub 주제를 선택한 후 다음을 클릭합니다.
    4. 싱크에 포함할 로그 항목을 선택한 후 다음을 클릭합니다.
    5. (선택사항) 제외할 로그 항목을 선택합니다.

    6. 싱크 만들기를 클릭합니다.

      싱크 생성됨 메시지가 포함된 대화상자가 나타납니다. 이 메시지는 앞으로 일치하는 로그 항목을 선택한 대상으로 라우팅할 수 있는 권한을 사용해서 싱크가 성공적으로 생성되었음을 나타냅니다.

    7. Pub/Sub 게시자(roles/pubsub.publisher) 역할을 싱크의 작성자 ID에 부여합니다. 작성자 ID를 가져오고 역할을 부여하는 방법에 대한 자세한 내용은 대상 권한 설정을 참조하세요.

    이제 Cloud Logging이 Pub/Sub 주제로 로그 항목을 보냅니다.

  3. 구독을 만듭니다.

    예를 들어 Dataflow를 사용해서 Pub/Sub 주제에서 데이터를 가져와 Datadog로 전송하는 경우 다음 두 단계를 수행해야 합니다.

    1. 서비스 계정을 만들거나 가져온 다음 주제를 구독하는 데 필요한 IAM 역할을 부여하세요. 서비스 계정에는 최소한 다음 역할이 필요합니다.

      자세한 내용은 다음 문서를 참조하세요.

    2. 템플릿에서 작업을 만든 후 이 작업을 실행합니다. 이 예시에서는 Pub/Sub to Datadog 템플릿을 사용합니다.

제3자가 즉시 로그 항목을 수신하기 시작합니다.

Pub/Sub를 사용하는 일반적인 로그 라우팅 시나리오를 살펴보려면 Cloud Logging 데이터 내보내기 시나리오: Splunk를 참조하세요.

문제 해결

로그 항목이 싱크 대상에서 누락된 것으로 보이거나 싱크가 로그 항목을 올바르게 라우팅하지 않는 것으로 의심되는 경우 로그 라우팅 문제 해결을 참조하세요.

가격 책정

Cloud Logging은 로그를 지원되는 대상으로 라우팅하는 데 비용을 청구하지 않지만 대상에 요금이 부과될 수 있습니다. _Required 로그 버킷을 제외하고 Cloud Logging은 로그를 로그 버킷으로 스트리밍하고 로그 버킷의 기본 보관 기간보다 긴 스토리지에 대해 요금을 청구합니다.

Cloud Logging은 로그 복사 또는 로그 탐색기 페이지나 로그 애널리틱스 페이지를 통해 실행된 쿼리에 대해서는 요금을 청구하지 않습니다.

자세한 내용은 다음 문서를 참조하세요.