지원되는 대상으로 로그 라우팅

이 문서에서는 로그 항목을 지원되는 대상으로 라우팅하기 위해 싱크를 만들고 관리하는 방법을 설명합니다.

Cloud Logging은 현재 Google Cloud 프로젝트에서 로그 버킷이 아닌 대상으로 로그를 라우팅하는 로그 싱크의 서비스 계정을 자동으로 만들고 관리합니다. 여러 프로젝트의 싱크에서 사용하는 서비스 계정을 만들고 관리할 수 있습니다. 자세한 내용은 사용자 관리형 서비스 계정으로 로그 싱크 구성을 참조하세요.

개요

싱크는 Cloud Logging의 로그 라우팅 방법을 제어합니다. 싱크를 사용하면 로그의 일부 또는 전부를 다음 대상으로 라우팅할 수 있습니다.

  • Cloud Logging 버킷: Cloud Logging에서 스토리지를 제공합니다. 로그 버킷은 여러 Google Cloud 프로젝트에서 수신한 로그 항목을 저장할 수 있습니다. Cloud Logging 데이터를 다른 데이트와 결합하려면, 로그 애널리틱스를 사용하도록 로그 버킷을 업그레이드한 후 연결된 BigQuery 데이터 세트를 만들면 됩니다. 로그 버킷에 저장된 로그 항목을 보는 방법을 자세히 알아보려면 쿼리 및 로그 보기 개요와 Cloud Logging 버킷으로 라우팅된 로그 보기를 참조하세요.
  • BigQuery 데이터 세트: BigQuery 데이터 세트에서 로그 항목의 스토리지를 제공합니다. 저장된 로그 항목에서 빅데이터 분석 기능을 사용할 수 있습니다. Cloud Logging 데이터를 다른 데이터 소스와 결합하려면, 로그 애널리틱스를 사용하도록 로그 버킷을 업그레이드한 후 연결된 BigQuery 데이터 세트를 만드는 것이 좋습니다. BigQuery로 라우팅된 로그 항목을 보는 방법을 자세히 알아보려면 BigQuery로 라우팅된 로그 보기를 참조하세요.
  • Cloud Storage 버킷: Cloud Storage에서 로그 항목의 스토리지를 제공합니다. 로그 항목은 JSON 파일로 저장됩니다. Cloud Storage로 라우팅된 로그 항목을 보는 방법을 자세히 알아보려면 Cloud Storage로 라우팅된 로그 보기를 참조하세요.
  • Pub/Sub 주제: 서드 파티 통합을 지원합니다. 로그 항목은 JSON 형식으로 지정된 후 Pub/Sub 주제로 라우팅됩니다. Pub/Sub로 라우팅된 로그 항목을 보는 방법을 자세히 알아보려면 Pub/Sub로 라우팅된 로그 보기를 참조하세요.
  • Splunk: Splunk를 지원합니다. 로그 항목을 Pub/Sub 주제로 라우팅한 다음 Splunk를 사용하여 해당 주제를 구독해야 합니다.
  • Google Cloud 프로젝트: 로그 항목을 다른 Google Cloud 프로젝트로 라우팅합니다. 다른 Google Cloud 프로젝트로 로그 항목을 라우팅하면 대상 프로젝트의 로그 라우터가 로그 항목을 수신하고 처리합니다. 수신된 로그 항목의 라우팅 방법은 대상 프로젝트의 싱크에 따라 결정됩니다. 대상 프로젝트가 로그 항목을 대상 프로젝트 소유의 로그 버킷으로 라우팅할 때, Error Reporting을 이용해 해당 로그 항목을 분석할 수 있습니다.
  • 기타 리소스: 로그 항목을 다른 프로젝트에 있는 지원 가능한 대상으로 라우팅합니다. 사용할 경로에 대해 자세히 알아보려면 대상 경로 형식을 참조하세요.

싱크는 Google Cloud 프로젝트, 결제 계정, 폴더, 조직 등 지정된 Google Cloud 리소스에 속합니다. 리소스가 로그 항목을 수신하면 해당 리소스에 포함된 싱크에 따라 로그 항목을 라우팅합니다. 로그 항목은 일치하는 각 싱크와 연결된 대상으로 전송됩니다.

집계 싱크는 조직 또는 폴더에 포함된 Google Cloud 리소스의 로그 항목을 결합하고 라우팅하는 싱크 유형입니다. 자세한 내용은 조직 수준 로그를 수집하여 지원되는 대상으로 라우팅을 참조하세요.

Google Cloud 콘솔, Cloud Logging API, Google Cloud CLI를 사용하여 싱크를 만들고 관리할 수 있습니다. Google Cloud 콘솔을 사용하면 다른 방법을 사용할 때에 비해 다음과 같은 이점이 있습니다.

  • 한 곳에서 모든 싱크를 보고 관리합니다.
  • 싱크를 만들기 전에 싱크의 필터와 일치하는 로그 항목을 미리 확인하세요.
  • 싱크의 대상 위치를 만들고 승인합니다.

시작하기 전에

이 문서의 안내에서는 Google Cloud 프로젝트 수준에서 싱크를 만들고 관리하는 방법을 설명합니다. 결제 계정, 폴더, 조직에 대한 비집계 싱크를 만들 수도 있습니다.

시작하려면 다음 안내를 따르세요.

  1. 로그 탐색기에서 볼 수 있는 로그가 포함된 Google Cloud 프로젝트가 있는지 확인합니다.

  2. Enable the Cloud Logging API.

    Enable the API

  3. 싱크를 생성, 수정 또는 삭제하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 로그 구성 작성자(roles/logging.configWriter) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 액세스 관리를 참조하세요.

    커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

    IAM 역할 부여에 대한 자세한 내용은 Logging 액세스 제어 가이드를 참조하세요.

  4. 지원되는 대상에 리소스가 있거나 이를 만들 수 있어야 합니다.

    로그를 대상으로 라우팅하려면 싱크를 만들기 전에 대상이 있어야 합니다. 모든 조직의 모든 Google Cloud 프로젝트에서 대상을 만들 수 있습니다.

    로그를 다른 대상으로 라우팅하는 경우 몇 가지 제한사항이 적용될 수 있습니다. 자세한 내용은 대상 제한사항을 참조하세요.

싱크 만들기

Google Cloud 프로젝트에서 싱크를 만드는 방법은 다음과 같습니다. Google Cloud 프로젝트 대신 결제 계정, 폴더, 조직을 지정할 수 있습니다.

Google Cloud 프로젝트당 최대 200개의 싱크를 만들 수 있습니다.

싱크를 만든 후에는 Logging에 싱크 대상에 로그를 쓸 수 있는 적절한 권한이 있는지 확인해야 합니다. 대상 권한 설정을 참조하세요.

싱크를 만들려면 다음을 수행합니다.

콘솔

  1. Google Cloud 콘솔에서 로그 라우터 페이지로 이동합니다.

    로그 라우터로 이동

    검색창을 사용하여 이 페이지를 찾은 경우 부제목이 Logging인 결과를 선택합니다.

  2. 기존 Google Cloud 프로젝트를 선택합니다.

  3. 싱크 만들기를 선택합니다.

  4. 싱크 세부정보 패널에서 다음 세부정보를 입력합니다.

    • 싱크 이름: 싱크의 식별자를 제공합니다. 싱크를 만든 후에는 싱크 이름을 바꿀 수 없지만 이를 삭제하고 새 싱크를 만들 수 있습니다.

    • 싱크 설명(선택사항): 싱크의 목적 또는 사용 사례를 설명합니다.

  5. 싱크 대상 패널에서 싱크 서비스 선택 메뉴를 사용하여 싱크 서비스와 대상을 선택합니다.

    1. 동일한 Google Cloud 프로젝트에 있는 서비스로 로그를 라우팅하려면 다음 옵션 중 하나를 선택합니다.

      • Cloud Logging 버킷: Logging 버킷을 선택하거나 만듭니다.
      • BigQuery 데이터 세트: 라우팅된 로그를 수신할 특정 데이터 세트를 선택하거나 만듭니다. 파티션을 나눈 테이블도 사용할 수 있습니다.
      • Cloud Storage 버킷: 라우팅된 로그를 수신할 특정 Cloud Storage 버킷을 선택하거나 만듭니다.
      • Pub/Sub 주제: 라우팅된 로그를 수신할 특정 주제를 선택하거나 만듭니다.
      • Splunk: Splunk 서비스에 대한 Pub/Sub 주제를 선택합니다.
      • Google Cloud 프로젝트: 라우팅된 로그를 수신할 Google Cloud 프로젝트를 선택하거나 만듭니다.
      • 기타 리소스: 로그 항목을 다른 프로젝트에 있는 지원되는 대상으로 라우팅하려면 이 옵션을 선택합니다. 사용할 경로에 대해 자세히 알아보려면 대상 경로 형식을 참조하세요.

  6. 싱크에 포함할 로그 선택 패널에서 다음을 수행합니다.

    1. 포함 필터 빌드 필드에서 포함하려는 로그 항목과 일치하는 필터 표현식을 입력합니다. 필터를 작성하는 문법에 대한 자세한 내용은 Logging 쿼리 언어를 참조하세요.

      필터를 설정하지 않으면 선택한 리소스의 모든 로그가 대상으로 라우팅됩니다.

      예를 들어 데이터 액세스 로그를 단일 Logging 버킷으로 라우팅하도록 필터를 빌드해야 할 수 있습니다. 이 필터는 다음과 같습니다.

      log_id("cloudaudit.googleapis.com/data_access") OR log_id("externalaudit.googleapis.com/data_access")

      필터의 길이는 20,000자를 초과할 수 없습니다.

    2. 올바른 필터를 입력했는지 확인하려면 미리보기 로그를 선택합니다. 그러면 필터가 미리 채워진 새 탭에서 로그 탐색기가 열립니다.

  7. (선택사항) 싱크를 필터링할 로그 선택 패널에서 다음을 수행합니다.

    1. 제외 필터 이름 필드에 이름을 입력합니다.

    2. 제외 필터 빌드 필드에서 제외할 로그 항목과 일치하는 필터 표현식을 입력합니다. 또한 sample 함수를 사용하여 제외할 로그 항목 부분을 선택할 수 있습니다.

    싱크당 최대 50개의 제외 필터를 만들 수 있습니다. 필터의 길이는 20,000자를 초과할 수 없습니다.

  8. 싱크 만들기를 선택합니다.

API

  1. Google Cloud 프로젝트에서 로깅 싱크를 만들려면 Logging API에서 projects.sinks.create를 사용합니다. LogSink 객체에서 메서드 요청 본문에 적절한 필수 값을 제공합니다.

    • name: 싱크의 식별자입니다. 싱크를 만든 후에는 싱크 이름을 바꿀 수 없지만 이를 삭제하고 새 싱크를 만들 수 있습니다.

    • destination: 로그를 라우팅하려는 서비스 및 대상입니다. 로그를 다른 프로젝트 또는 다른 프로젝트에 있는 대상으로 라우팅하려면 대상 경로 형식에 설명된 대로 destination 필드를 적절한 경로로 설정합니다.

      예를 들어 싱크 대상이 BigQuery 데이터 세트이면 destination이 다음과 같습니다.

      bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID

  2. LogSink 객체에서 적절한 선택적 정보를 제공합니다.

    • filter 속성을 설정합니다. 필터를 설정하지 않으면 Google Cloud 프로젝트의 모든 로그가 대상으로 라우팅됩니다. 필터의 길이는 20,000자를 초과할 수 없습니다.
    • exclusions: 싱크에서 제외하려는 로그 항목과 일치하도록 이 속성을 설정합니다. 또한 sample 함수를 사용하여 제외할 로그 항목 부분을 선택할 수 있습니다. 싱크당 최대 50개의 제외 필터를 만들 수 있습니다.
    • description: 이 속성을 설정하여 싱크의 목적 또는 사용 사례를 기술합니다.

  3. projects.sinks.create를 호출하여 싱크를 만듭니다.

  4. API 응답에 "writerIdentity"라는 라벨이 지정된 JSON 키가 포함된 경우 싱크의 서비스 계정에 싱크 대상에 대한 쓰기 권한을 부여합니다. 자세한 내용은 대상 권한 설정을 참조하세요.

    API 응답에 "writerIdentity"라는 라벨이 지정된 JSON 키가 포함되지 않은 경우 대상 권한을 설정할 필요가 없습니다.

Logging API를 사용하여 싱크 만들기에 대한 자세한 내용은 LogSink 참조를 확인하세요.

gcloud

싱크를 만들려면 다음 gcloud logging sinks create명령어를 실행합니다.

다음과 같이 명령어에서 변수에 대해 적절한 값을 제공합니다.

  • SINK_NAME: 싱크의 식별자입니다. 싱크를 만든 후에는 싱크 이름을 바꿀 수 없지만 이를 삭제하고 새 싱크를 만들 수 있습니다.

  • SINK_DESTINATION: 로그를 라우팅하려는 서비스 및 대상입니다. 로그를 다른 프로젝트 또는 다른 프로젝트에 있는 대상으로 라우팅하려면 대상 경로 형식에 설명된 대로 SINK_DESTINATION을 적절한 경로로 설정합니다.

    예를 들어 싱크 대상이 BigQuery 데이터 세트이면 SINK_DESTINATION이 다음과 같습니다.

    bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID

  • OPTIONAL_FLAGS에는 다음 플래그가 포함됩니다.

    • --log-filter: 이 플래그를 사용하여 싱크에 포함하려는 로그 항목과 일치하는 필터를 설정합니다. 필터를 설정하지 않으면 Google Cloud 프로젝트의 모든 로그가 대상으로 라우팅됩니다.
    • --exclusion: 이 플래그를 사용하여 싱크에서 제외하려는 로그 항목에 대해 제외 필터를 설정합니다. 또한 sample 함수를 사용하여 제외할 로그 항목 부분을 선택할 수 있습니다. 이 플래그는 반복 가능합니다. 싱크당 최대 50개까지 제외 필터를 만들 수 있습니다.
    • --description: 이 플래그를 사용하여 싱크의 목적 또는 사용 사례를 기술할 수 있습니다.
gcloud logging sinks create SINK_NAME SINK_DESTINATION OPTIONAL_FLAGS

예를 들어 Logging 버킷에 대해 싱크를 만들려는 경우 명령어가 다음과 같습니다.

gcloud logging sinks create my-sink logging.googleapis.com/projects/myproject123/locations/global/buckets/my-bucket \
  --log-filter='logName="projects/myproject123/logs/matched"' --description="My first sink"

더 많은 플래그 및 예시를 비롯해 Google Cloud CLI를 사용하여 싱크를 만드는 방법에 대한 자세한 내용은 gcloud logging sinks 참조를 확인하세요.

Cloud Storage 버킷에 대한 새 로그 싱크가 로그 라우팅을 시작하는 데 몇 시간이 걸릴 수 있습니다. Cloud Storage로의 싱크가 매시간 처리되지만 다른 대상 유형은 실시간으로 처리됩니다.

싱크는 BigQuery 데이터 세트의 스키마를 정의하지 않습니다. 대신 BigQuery에서 수신한 첫 번째 로그 항목은 대상 테이블의 스키마를 결정합니다. 자세한 내용은 라우팅된 로그의 BigQuery 스키마를 참조하세요.

싱크 대상에서 로그를 확인하는 방법에 대한 자세한 내용은 Cloud Logging 버킷으로 라우팅된 로그 보기를 참조하세요.

싱크를 만든 후 logging.googleapis.com/exports/ 측정항목을 사용하여 수신된 로그 항목의 수와 볼륨을 볼 수 있습니다.

오류 알림을 받으면 라우팅 및 싱크 문제 해결을 참조하세요.

싱크 필터에 민감한 정보를 넣지 마세요. 싱크 필터는 서비스 데이터로 취급됩니다.

대상 경로 형식

다른 프로젝트에 있는 대상으로 라우팅하는 경우 Logging, BigQuery, Cloud Storage, Pub/Sub 서비스 및 대상 정보를 제공해야 합니다.

  • 다른 Google Cloud 프로젝트에 있는 Cloud Logging 로그 버킷으로 로그 항목을 라우팅하려면 싱크 대상은 다음과 같습니다.

    logging.googleapis.com/projects/DESTINATION_PROJECT_ID/locations/LOCATION/buckets/BUCKET_NAME

  • 다른 Google Cloud 프로젝트로 로그 항목을 라우팅하려면 싱크 대상 경로는 다음과 같습니다.

    logging.googleapis.com/projects/DESTINATION_PROJECT_ID

  • 로그 항목을 BigQuery 데이터 세트로 라우팅하려면 싱크 대상은 다음과 같습니다.

    bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID

  • Cloud Storage 버킷으로 로그 항목을 라우팅하려면 싱크 대상은 다음과 같습니다.

    storage.googleapis.com/BUCKET_NAME

  • Pub/Sub 주제로 로그 항목을 라우팅하려면 싱크 대상은 다음과 같습니다.

    pubsub.googleapis.com/projects/PROJECT_ID/topics/TOPIC_ID

싱크 관리

싱크가 생성된 후 다음 작업을 수행할 수 있습니다.

  • 싱크 세부정보 보기
  • 싱크 업데이트
  • 싱크 사용 중지
  • 싱크 삭제
  • 싱크 문제 해결
  • 싱크 로그 볼륨 및 오류율 보기

싱크를 삭제하기 전에 먼저 다음을 고려하세요.

  • _Default 및 _Required 싱크를 삭제할 수 없지만 _Default 싱크를 사용 중지하여 _Default Logging 버킷으로의 로그 라우팅을 중지할 수 있습니다.
  • 싱크가 삭제되면 로그 항목 라우팅이 중지됩니다.
  • 싱크에 전용 서비스 계정이 있으면 싱크를 삭제할 때 서비스 계정도 삭제됩니다. 2023년 5월 22일 이전에 생성된 싱크에는 전용 서비스 계정이 포함됩니다. 2023년 5월 22일 이후에 생성된 싱크에는 공유 서비스 계정이 포함됩니다. 싱크를 삭제해도 공유 서비스 계정이 삭제되지 않습니다.

싱크에서 변경사항을 적용하는 데 몇 분 정도 걸릴 수 있습니다.

Google Cloud 프로젝트에서 싱크를 관리하는 방법은 다음과 같습니다. Google Cloud 프로젝트 대신 결제 계정, 폴더, 조직을 지정할 수 있습니다.

콘솔

  1. Google Cloud 콘솔에서 로그 라우터 페이지로 이동합니다.

    로그 라우터로 이동

    검색창을 사용하여 이 페이지를 찾은 경우 부제목이 Logging인 결과를 선택합니다.

  2. Google Cloud 콘솔 내 원하는 위치에서 리소스 선택기를 사용하여 싱크가 포함된 Google Cloud 프로젝트를 선택합니다.

    드롭다운 메뉴에서 프로젝트 선택

  3. 집계 싱크를 보려면 싱크가 포함된 조직, 폴더 또는 결제 계정을 선택하세요.

로그 라우터 인터페이스에는 싱크가 요약된 테이블이 있습니다. 각 테이블 행에는 싱크의 속성에 대한 정보가 포함됩니다.

  • 사용 설정: 싱크 상태가 사용 설정 또는 사용 중지되었는지를 나타냅니다.
  • 유형: 싱크의 대상 서비스입니다. 예를 들면 Cloud Logging bucket입니다.
  • 이름: 싱크가 생성될 때 제공된 대로의 싱크 식별자입니다. 예를 들면 _Default입니다.
  • 설명: 싱크가 생성될 때 제공된 대로의 싱크 설명입니다.
  • 대상: 라우팅된 로그 항목이 전송되는 대상의 전체 이름입니다.
  • 생성됨: 싱크가 생성된 날짜 및 시간입니다.
  • 최종 업데이트됨: 싱크가 마지막으로 수정된 날짜 및 시간입니다.

각 테이블 행에 대해 작업 더보기 메뉴에서 다음 옵션을 제공합니다.

  • 싱크 세부정보 보기: 싱크의 이름, 설명, 대상 서비스, 대상, 포함 필터, 제외 필터를 표시합니다. 수정을 선택하면 싱크 수정 패널이 열립니다.
  • 싱크 수정: 싱크 매개변수를 업데이트할 수 있는 싱크 수정 패널이 열립니다.
  • 싱크 사용 중지: 싱크를 사용 중지하고 싱크의 대상 위치로 로그 라우팅을 중지합니다. 싱크 사용 중지에 대한 자세한 내용은 로그 버킷에 로그 저장 중지를 참조하세요.
  • 싱크 사용 설정: 사용 중지된 싱크를 사용 설정하고 싱크의 대상 위치로 로그 라우팅을 다시 시작합니다.
  • 싱크 삭제: 싱크를 삭제하고 싱크 대상으로의 로그 라우팅을 중지할 수 있습니다.
  • 싱크 문제 해결: 싱크로 오류 문제를 해결할 수 있는 로그 탐색기가 열립니다.
  • 싱크 로그 볼륨 및 오류율 보기: 싱크에서 데이터를 보고 분석할 수 있는 측정항목 탐색기를 엽니다.

열 이름을 클릭하여 데이터를 오름차순 또는 내림차순으로 정렬할 수 있습니다.

API

  • Google Cloud 프로젝트의 싱크를 보려면 projects.sinks.list를 호출합니다.

  • 싱크의 세부정보를 보려면 projects.sinks.get을 호출합니다.

  • 싱크를 업데이트하려면 projects.sink.update를 호출합니다.

    싱크의 대상, 필터, 설명을 업데이트할 수 있습니다. 싱크를 사용 중지하거나 다시 사용 설정할 수도 있습니다.

  • 싱크를 사용 중지하려면 projects.sink.update를 호출하고 disabled 속성을 true로 설정합니다.

    싱크를 다시 사용 설정하려면 projects.sink.update를 호출하고 disabled 속성을 false로 설정합니다.

  • 싱크를 삭제하려면 projects.sinks.delete를 호출합니다.

    Logging API를 사용하여 싱크를 관리하기 위한 이러한 메서드에 대한 자세한 내용은 LogSink 참조를 확인하세요.

gcloud

  • Google Cloud 프로젝트의 싱크 목록을 보려면 Logging API 메서드 projects.sinks.list에 해당하는 gcloud logging sinks list 명령어를 사용하세요.

    gcloud logging sinks list

    집계 싱크 목록을 보려면 적절한 플래그를 사용하여 싱크가 포함된 리소스를 지정합니다. 예를 들어 조직 수준에서 싱크를 만든 경우 --organization=ORGANIZATION_ID 플래그를 사용하여 조직의 싱크를 나열합니다.

  • 싱크를 설명하려면 gcloud logging sinks describe 명령어를 사용합니다. 이 명령어는 Logging API 메서드 projects.sinks.get에 해당합니다.

    gcloud logging sinks describe SINK_NAME

  • 싱크를 업데이트하려면 gcloud logging sinks update 명령어를 사용합니다. 이 명령어는 API 메서드 projects.sink.update에 해당합니다.

    대상, 필터, 설명을 변경하기 위해 또는 싱크를 사용 중지하거나 다시 사용 설정하기 위해 싱크를 업데이트할 수 있습니다.

    gcloud logging sinks update SINK_NAME NEW_DESTINATION --log-filter=NEW_FILTER

    해당 파트가 변경되지 않으면 NEW_DESTINATION 또는 --log-filter를 생략합니다.

    예를 들어 my-project-sink라는 싱크 대상을 my-second-gcs-bucket이라는 새로운 Cloud Storage 버킷 대상으로 업데이트할 때 명령어는 다음과 같습니다.

    gcloud logging sinks update  my-project-sink  storage.googleapis.com/my-second-gcs-bucket

  • 싱크를 사용 중지하려면 gcloud logging sinks update 명령어를 사용합니다. 이 명령어는 API 메서드 projects.sink.update에 해당하며 --disabled 플래그를 포함합니다.

    gcloud logging sinks update _Default  --disabled

    싱크를 다시 설정하려면 gcloud logging sinks update 명령어를 사용하고, --disabled 플래그를 삭제하고, --no-disabled 플래그를 포함합니다.

    gcloud logging sinks update _Default  --no-disabled

  • 싱크를 삭제하려면 gcloud logging sinks delete 명령어를 사용합니다. 이 명령어는 API 메서드 projects.sinks.delete에 해당합니다.

    gcloud logging sinks delete SINK_NAME

    Google Cloud CLI를 사용하여 싱크를 관리하는 방법에 대한 자세한 내용은 gcloud logging sinks 참조를 확인하세요.

로그 버킷에 로그 저장 중지

Google Cloud 프로젝트마다 Logging은 _Required와 _Default라는 두 개의 로그 버킷을 자동으로 만듭니다. Logging은 해당 이름으로 지정된 버킷으로 로그를 라우팅하는 _Required 및 _Default라는 로그 싱크 2개를 자동으로 만듭니다.

_Required 싱크는 사용 중지할 수 없습니다. _Default 싱크를 사용 중지하여 로그가 _Default 버킷에 저장되지 않도록 할 수 있습니다. 또한 모든 사용자 정의 싱크를 사용 중지할 수 있습니다.

_Default 버킷에 로그를 전송하는 Google Cloud 프로젝트의 모든 싱크를 사용 중지하면 새 로그가 해당 로그 버킷에 저장되지 않습니다. _Default 버킷에서 이전에 저장된 모든 로그가 버킷의 보관 기간을 완료했으면 _Default 버킷이 비어 있습니다.

로그를 _Default 버킷에 라우팅하는 Google Cloud 프로젝트를 중지하려면 다음 단계를 수행합니다.

콘솔

  1. Google Cloud 콘솔에서 로그 라우터 페이지로 이동합니다.

    로그 라우터로 이동

    검색창을 사용하여 이 페이지를 찾은 경우 부제목이 Logging인 결과를 선택합니다.

  2. 로그를 _Default 버킷으로 라우팅하는 모든 싱크를 찾으려면 싱크를 대상별로 필터링한 후 _Default를 입력합니다.

    로그를 기본 버킷으로 라우팅하는 모든 싱크 찾기

  3. 싱크마다 메뉴를 선택한 후 싱크 사용 중지를 선택합니다.

이제 싱크가 중지되고 Google Cloud 프로젝트가 더 이상 로그를 _Default 버킷으로 라우팅하지 않습니다.

사용 중지된 싱크를 다시 사용 설정하고 싱크 대상으로 로그 라우팅을 다시 시작하려면 다음을 수행합니다.

  1. Google Cloud 콘솔에서 로그 라우터 페이지로 이동합니다.

    로그 라우터로 이동

    검색창을 사용하여 이 페이지를 찾은 경우 부제목이 Logging인 결과를 선택합니다.

  2. 이전에 로그를 _Default 버킷으로 라우팅하도록 구성된 모든 사용 중지된 싱크를 찾으려면 대상으로 싱크를 필터링한 후 _Default를 입력합니다.

  3. 싱크마다 메뉴를 선택한 후 싱크 사용 설정을 선택합니다.

API

  1. Google Cloud 프로젝트의 싱크를 보려면 Logging API 메서드 projects.sinks.list를 호출합니다.

    _Default 버킷으로 라우팅하는 싱크를 식별합니다.

  2. 예를 들어 _Default 싱크를 사용 중지하려면 projects.sink.update를 호출하고 disabled 속성을 true로 설정합니다.

이제 _Default 싱크가 사용 중지되고, 더 이상 로그를 _Default 버킷으로 라우팅하지 않습니다.

Google Cloud 프로젝트에서 _Default 버킷으로 라우팅하는 다른 싱크를 중지하려면 위 단계를 반복합니다.

싱크를 다시 사용 설정하려면 projects.sink.update를 호출하고 disabled 속성을 false로 설정합니다.

gcloud

  1. Google Cloud 프로젝트의 싱크 목록을 보려면 Logging API 메서드 projects.sinks.list에 해당하는 gcloud logging sinks list 명령어를 사용하세요.

    gcloud logging sinks list

  2. _Default 버킷으로 라우팅하는 싱크를 식별합니다. 대상 이름 보기를 포함하여 싱크를 설명하려면 gcloud logging sinks describe 명령어를 사용합니다. 이 명령어는 Logging API 메서드 projects.sinks.get에 해당합니다.

    gcloud logging sinks describe SINK_NAME

  3. 예를 들어 _Default 싱크를 사용 중지하려면 gcloud logging sinks update 명령어를 사용하고 --disabled 플래그를 포함합니다.

    gcloud logging sinks update _Default  --disabled

이제 _Default 싱크가 사용 중지되고, 더 이상 로그를 _Default 버킷으로 라우팅하지 않습니다.

Google Cloud 프로젝트에서 _Default 버킷으로 라우팅하는 다른 싱크를 중지하려면 위 단계를 반복합니다.

싱크를 다시 설정하려면 gcloud logging sinks update 명령어를 사용하고, --disabled 플래그를 삭제하고, --no-disabled 플래그를 포함합니다.

gcloud logging sinks update _Default  --no-disabled

대상 권한 설정

이 섹션에서는 Logging에 Identity and Access Management 권한을 부여하여 싱크의 대상에 로그를 작성할 수 있는 방법을 설명합니다. Logging 역할과 권한 전체 목록은 액세스 제어를 참조하세요.

Cloud Logging은 필요한 서비스 계정이 이미 존재하지 않는 한 로그 싱크가 생성될 때 리소스의 공유 서비스 계정을 만듭니다. 기본 리소스의 모든 싱크에 동일한 서비스 계정이 사용되기 때문에 서비스 계정이 존재할 수 있습니다. 리소스는 Google Cloud 프로젝트, 조직, 폴더 또는 결제 계정이 될 수 있습니다.

싱크의 작성자 ID는 해당 싱크와 연결된 서비스 계정의 식별자입니다. 현재 Google Cloud 프로젝트의 로그 버킷에 쓰는 싱크를 제외한 모든 싱크는 작성자 ID를 가집니다. 싱크 대상이 현재 Google Cloud 프로젝트의 로그 버킷인 경우 싱크에 추가 대상 권한이 필요하지 않습니다. 따라서 작성자 ID 필드 값은 콘솔에 None으로 나열되고 API 및 Google Cloud CLI 명령어로 보고되지 않습니다.

다음은 싱크가 대상으로 라우팅되도록 Google Cloud 프로젝트 수준 권한을 설정하는 방법에 대한 안내입니다. Google Cloud 프로젝트 대신 결제 계정, 폴더, 조직을 지정할 수 있습니다.

콘솔

  1. 새로운 싱크에서 싱크의 작성자 ID(이메일 주소)를 가져오려면 다음을 수행하세요.

    1. Google Cloud 콘솔에서 로그 라우터 페이지로 이동합니다.

      로그 라우터로 이동

      검색창을 사용하여 이 페이지를 찾은 경우 부제목이 Logging인 결과를 선택합니다.

    2. 메뉴를 선택한 다음 싱크 세부정보 보기를 선택합니다. 작성자 ID가 싱크 세부정보 패널에 표시됩니다.

  2. writerIdentity 필드 값에 이메일 주소가 포함된 경우 다음 단계로 진행합니다. 값이 None이면 싱크에 대한 대상 권한을 구성할 필요가 없습니다.

  3. 싱크의 작성자 ID를 클립보드에 복사하려면 복사를 클릭합니다.

  4. 대상에 대한 소유자 액세스 권한이 있으면 서비스 계정을 대상 프로젝트에서 IAM 주 구성원으로 추가합니다.

    • 대상 위치가 Cloud Storage이면 IAM을 사용하여 싱크의 작성자 ID를 주 구성원으로 추가한 후 스토리지 객체 생성자 역할(roles/storage.objectCreator)을 부여합니다.
    • 대상 위치가 BigQuery이면 IAM을 사용하여 싱크의 작성자 ID를 주 구성원으로 추가한 후 BigQuery 데이터 편집자 역할(roles/bigquery.dataEditor)을 부여합니다.
    • Splunk를 포함한 Pub/Sub 대상의 경우, IAM을 사용하여 싱크의 작성자 ID를 주 구성원으로 추가한 후Pub/Sub 게시자 역할(roles/pubsub.publisher)을 부여합니다.
    • 다른 Google Cloud 프로젝트에 있는 Logging 버킷 대상의 경우 IAM을 사용하여 싱크의 작성자 ID를 주 구성원으로 추가한 후 로그 버킷 작성자 역할(roles/logging.bucketWriter)을 부여합니다.
    • Google Cloud 프로젝트 대상의 경우 IAM을 사용하여 싱크의 작성자 ID를 주 구성원으로 추가한 후 로그 작성자 역할(roles/logging.logWriter)을 부여합니다. 특히 주 구성원에게는 logging.logEntries.route 권한이 필요합니다.
    싱크의 대상에에 소유자 액세스 권한이 없으면 프로젝트 소유자에게 작성자 ID를 주 구성원으로 추가하도록 요청하세요.

API

  1. API 메서드 projects.sinks.list를 호출하여 Google Cloud 프로젝트의 싱크를 나열합니다.

  2. 권한을 수정할 싱크를 찾고 싱크 세부정보에 "writerIdentity"라는 라벨이 지정된 JSON 키가 포함된 경우 다음 단계로 진행합니다. 세부정보에 "writerIdentity" 필드가 포함되지 않으면 싱크에 대한 대상 권한을 구성할 필요가 없습니다.

  3. 대상에 대한 IAM 소유자 액세스 권한이 있는 경우 다음을 수행하여 대상에 서비스 계정을 추가합니다.

    • 대상 위치가 Cloud Storage이면 IAM을 사용하여 싱크의 작성자 ID를 주 구성원으로 추가한 후 스토리지 객체 생성자 역할(roles/storage.objectCreator)을 부여합니다.
    • 대상 위치가 BigQuery이면 IAM을 사용하여 싱크의 작성자 ID를 주 구성원으로 추가한 후 BigQuery 데이터 편집자 역할(roles/bigquery.dataEditor)을 부여합니다.
    • Splunk를 포함한 Pub/Sub 대상의 경우, IAM을 사용하여 싱크의 작성자 ID를 주 구성원으로 추가한 후Pub/Sub 게시자 역할(roles/pubsub.publisher)을 부여합니다.
    • 다른 Google Cloud 프로젝트에 있는 Logging 버킷 대상의 경우 IAM을 사용하여 싱크의 작성자 ID를 주 구성원으로 추가한 후 로그 버킷 작성자 역할(roles/logging.bucketWriter)을 부여합니다.
    • Google Cloud 프로젝트 대상의 경우 IAM을 사용하여 싱크의 작성자 ID를 주 구성원으로 추가한 후 로그 작성자 역할(roles/logging.logWriter)을 부여합니다. 특히 주 구성원에게는 logging.logEntries.route 권한이 필요합니다.
    싱크의 대상에에 소유자 액세스 권한이 없으면 프로젝트 소유자에게 작성자 ID를 주 구성원으로 추가하도록 요청하세요.

gcloud

  1. 싱크 writerIdentity 필드에서 서비스 계정을 가져옵니다.

    gcloud logging sinks describe SINK_NAME

  2. 권한을 수정할 싱크를 찾고 싱크 세부정보에 writerIdentity 줄이 포함된 경우 다음 단계로 진행합니다. 세부정보에 writerIdentity 필드가 포함되지 않으면 싱크에 대한 대상 권한을 구성할 필요가 없습니다.

    다음 단계의 SERVICE_ACCT_NAME 필드 값은 작성자 ID이며, 이 ID는 다음과 유사합니다.

    serviceAccount:service-123456789012@gcp-sa-logging.iam.gserviceaccount.com

  3. 대상에 대한 IAM 소유자 액세스 권한이 있는 경우 다음을 수행하여 대상에 서비스 계정을 추가합니다.

    • 대상 위치가 Cloud Storage이면 IAM을 사용하여 싱크의 작성자 ID를 주 구성원으로 추가한 후 스토리지 객체 생성자 역할(roles/storage.objectCreator)을 부여합니다.
    • 대상 위치가 BigQuery이면 IAM을 사용하여 싱크의 작성자 ID를 주 구성원으로 추가한 후 BigQuery 데이터 편집자 역할(roles/bigquery.dataEditor)을 부여합니다.
    • Splunk를 포함한 Pub/Sub 대상의 경우, IAM을 사용하여 싱크의 작성자 ID를 주 구성원으로 추가한 후Pub/Sub 게시자 역할(roles/pubsub.publisher)을 부여합니다.
    • 다른 Google Cloud 프로젝트에 있는 Logging 버킷 대상의 경우 IAM을 사용하여 싱크의 작성자 ID를 주 구성원으로 추가한 후 로그 버킷 작성자 역할(roles/logging.bucketWriter)을 부여합니다.
    • Google Cloud 프로젝트 대상의 경우 IAM을 사용하여 싱크의 작성자 ID를 주 구성원으로 추가한 후 로그 작성자 역할(roles/logging.logWriter)을 부여합니다. 특히 주 구성원에게는 logging.logEntries.route 권한이 필요합니다.
    싱크의 대상에에 소유자 액세스 권한이 없으면 프로젝트 소유자에게 작성자 ID를 주 구성원으로 추가하도록 요청하세요.

    예를 들어 my-test-project 프로젝트의 서비스 계정 service-123456789012@gcp-sa-logging.iam.gserviceaccount.com에 로그 작성자 역할(roles/logging.logWriter)을 부여하려면 다음 명령어를 실행합니다.

    gcloud projects add-iam-policy-binding my-test-project --member='serviceAccount:service-123456789012@gcp-sa-logging.iam.gserviceaccount.com' --role='roles/logging.logWriter'

대상 제한사항

로그를 라우팅하는 대상에 따라 몇 가지 제한사항이 있을 수 있습니다.

다른 Google Cloud 프로젝트의 로그 버킷 라우팅

다른 Google Cloud 프로젝트의 로그 버킷으로 로그를 라우팅할 때 다음 제한사항이 적용됩니다.

  • Error Reporting은 고객 관리 암호화 키를 사용하는 로그 버킷에 저장된 로그에서 사용 중지됩니다.

다른 Google Cloud 프로젝트로 라우팅

로그를 다른 Google Cloud 프로젝트로 라우팅하는 경우 다음 제한사항이 적용됩니다.

  • 하나의 홉 제한이 있습니다. 예를 들어 프로젝트 A에서 프로젝트 B로 로그 항목을 라우팅하는 경우 프로젝트 B의 로그 항목을 다른 프로젝트로 라우팅할 수 없습니다.

  • 감사 로그는 대상 프로젝트의 _Required 버킷으로 라우팅되지 않습니다. 다른 싱크나 버킷을 만들어 저장해야 합니다.

  • 라우팅할 Google Cloud 프로젝트가 포함된 조직 또는 폴더에 기존 집계 싱크가 있는 경우 이러한 집계 싱크로 로그가 라우팅되지 않습니다.

코드 샘플

클라이언트 라이브러리 코드를 사용하여 선택한 언어로 싱크를 구성하려면 Logging 클라이언트 라이브러리: 로그 싱크를 참조하세요.

필터 예시

다음은 싱크를 만들 때 특히 유용한 몇 가지 필터 예시입니다.

포함 필터 및 제외 필터를 만들 때 유용할 수 있는 추가 예시는 샘플 쿼리를 참조하세요.

_Default 싱크 필터 복원

_Default 싱크의 필터를 수정한 경우 기본 필터를 복원해야 할 수 있습니다. 이렇게 하려면 다음 포함 필터를 입력합니다.

  NOT log_id("cloudaudit.googleapis.com/activity") AND NOT \
  log_id("externalaudit.googleapis.com/activity") AND NOT \
  log_id("cloudaudit.googleapis.com/system_event") AND NOT \
  log_id("externalaudit.googleapis.com/system_event") AND NOT \
  log_id("cloudaudit.googleapis.com/access_transparency") AND NOT \
  log_id("externalaudit.googleapis.com/access_transparency")

Google Kubernetes Engine 컨테이너 및 포드 로그 제외

GKE 시스템 namespaces에 대해 Google Kubernetes Engine 컨테이너 및 포드 로그를 제외하려면 다음 필터를 사용합니다.

resource.type = ("k8s_container" OR "k8s_pod")
resource.labels.namespace_name = (
"cnrm-system" OR
"config-management-system" OR
"gatekeeper-system" OR
"gke-connect" OR
"gke-system" OR
"istio-system" OR
"knative-serving" OR
"monitoring-system" OR
"kube-system")

GKE 시스템 logNames에 대해 Google Kubernetes Engine 노드 로그를 제외하려면 다음 필터를 사용합니다.

resource.type = "k8s_node"
logName:( "logs/container-runtime" OR
"logs/docker" OR
"logs/kube-container-runtime-monitor" OR
"logs/kube-logrotate" OR
"logs/kube-node-configuration" OR
"logs/kube-node-installation" OR
"logs/kubelet" OR
"logs/kubelet-monitor" OR
"logs/node-journal" OR
"logs/node-problem-detector")

Google Kubernetes Engine 노드, 포드, 로그 버킷에 저장된 컨테이너 로그의 볼륨을 보려면 Cloud Monitoring의 측정항목 탐색기를 사용합니다.

지원 용이성에 필요하지 않은 Dataflow 로그 제외

지원 용이성에 필요하지 않은 Dataflow 로그를 제외하려면 다음 필터를 사용합니다.

resource.type="dataflow_step"
labels."dataflow.googleapis.com/log_type"!="system" AND labels."dataflow.googleapis.com/log_type"!="supportability"

로그 버킷에 저장된 Dataflow 로그 볼륨을 보려면 Cloud Monitoring의 측정항목 탐색기를 사용합니다.

지원 용이성

Cloud Logging에서 로그가 로그 버킷에 저장되지 않도록 제외할 수 있는 기능을 제공하지만 지원 용이성에 도움이 되는 로그를 유지하고 싶을 수 있습니다. 이러한 로그를 사용하면 애플리케이션의 문제를 신속하게 해결하고 식별할 수 있습니다.

예를 들어 클러스터에서 발생하는 이벤트에 대해 생성되기 때문에 GKE 애플리케이션 및 클러스터를 문제 해결하는 데 유용합니다. 이러한 로그는 애플리케이션 코드 또는 기본 GKE 클러스터가 애플리케이션 오류를 일으키는지 확인하는 데 도움이 될 수 있습니다. GKE 시스템 로그에는 또한 Kubernetes API 서버 구성요소에서 생성되는 Kubernetes Audit Logging이 포함됩니다. 여기에는 kubectl 명령어 및 Kubernetes 이벤트를 사용하여 수행된 변경사항이 포함됩니다.

Dataflow의 경우 최소한 시스템 로그(labels."dataflow.googleapis.com/log_type"="system") 및 지원 로그(labels."dataflow.googleapis.com/log_type"="supportability")를 기록하는 것이 좋습니다. 이러한 로그는 개발자가 Dataflow 파이프라인을 관찰하고 문제를 해결하는 데 필수적이며, 사용자는 Dataflow 작업 세부정보 페이지를 사용하여 작업 로그를 보지 못할 수 있습니다.

다음 단계