Dataform에 대해 Cloud Logging 보기

이 문서에서는 Dataform 워크플로 호출의 Cloud Logging 로그를 보는 방법을 보여줍니다.

각 Dataform 워크플로 호출은 Cloud Logging을 사용하여 로깅됩니다. 로깅은 Dataform 워크플로 호출에 자동으로 사용 설정되며, Cloud Logging 청구 요금이 발생할 수 있습니다. 자세한 내용은 Dataform 가격 책정을 참조하세요.

권한 및 역할

로그 뷰어 역할(roles/logging.viewer)은 Logging의 모든 기능에 대한 읽기 전용 액세스 권한을 제공합니다. Cloud Logging 데이터에 적용되는 IAM 권한 및 역할에 대한 자세한 내용은 Cloud Logging 액세스 제어 가이드를 참조하세요.

로그 보기

로그를 확인하려면 로그 탐색기로 이동하세요.

로그 탐색기로 이동

로그 탐색기에서 Cloud Logging 로그를 필터링하는 방법에 대한 자세한 내용은 로그 탐색기를 사용하여 로그 보기를 참고하세요.

Dataform 로그는 Dataform 저장소에서 색인이 생성됩니다.

로그 형식

Dataform은 다음 형식으로 워크플로 호출 로그 메시지를 전송합니다.

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

로깅되는 내용

Dataform 로그 항목에는 워크플로 호출을 모니터링하고 디버깅하는 데 유용한 정보가 포함됩니다.

로그 항목은 다음과 같은 유형의 정보를 담고 있습니다.

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: INFO, WARNING 또는 ERROR일 수 있습니다.
  • terminalState: SUCCEEDED, CANCELED 또는 FAILED일 수 있습니다.
  • timestamp
  • @type

Cloud Monitoring으로 측정항목 및 알림 구성

Cloud Monitoring을 사용하여 로그의 추세를 관찰하고 사용자가 지정한 조건이 발생하면 알림을 받을 수 있습니다.

Cloud Monitoring에 로그의 데이터를 제공하기 위해 Cloud Logging에서는 다음과 같은 항목을 제공합니다.

  • 로그 기반 측정항목(다음 용도로 사용 가능):
    • 시간 경과에 따른 변경사항을 알리는 알림 정책 만들기
    • 시간 경과에 따른 변화를 표시하는 차트 만들기
  • 로그 기반 알림은 특정 이벤트가 로그에 나타날 때마다 알림을 제공합니다.

로그 기반 측정항목 및 로그 기반 알림에 대한 자세한 내용은 로그 모니터링을 참조하세요.

Dataform 워크플로 호출에 대한 로그 기반 알림을 구성하는 방법을 알아보려면 실패한 워크플로 호출에 대한 알림 구성을 참고하세요.

다음 단계